相对编码与绝对编码组合的数据采集编码方案

提出在数字化测图的数据采集中,宏观采用相对编码微观采用相对编码与绝对编码相配合的方式,实现在全要素编码测图中,仅需输入两三位字符的编码方式,即可实现连线地物的编码连线。本方法不仅编码短,而且编码简单,可极大降低编码输入人员的劳动强度和提高编码的质量。

基于相对成像时刻编码遗传算法的敏捷成像卫星任务规划

基于相对成像时刻编码方式,提出一种适用于敏捷成像卫星任务规划的自适应遗传算法(RITCAGA)。首先,综合考虑对地凝视成像点目标观测收益与卫星姿态转移期间能耗,构建了卫星任务规划指标函数;其次,基于线性化的姿态动力学模型求解了单次目标间能量最优姿态机动;再次,为确保遗传算法对决策变量有完整的搜索空间并提升迭代效率,设计了一种相对成像时刻编码与解码规则,可适用于规划周期长、卫星对目标有多个时间窗口的情况。最后,通过典型任务规划算例下的对比仿真实验验证了本文所设计方法的有效性与优越性。

探空报、测风报扩充报文相对时间编码SnSSSS的解析

对高空探空报、测风报扩充报文相对时间定位编码进行比较,并进行解析。

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC⁃reID两大主流数据集中评估测试,Rank⁃1指标分别达到97.5%和93.5%,平均精度均值(mean Average precision,mAP)分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。

不等长编码系统的设计与实现

针对物资编码中的不等长编码问题，将树形数据结构应用于编码系统的数据库设计，提出了纯数字不等长编码系统的设计方案，并通过对树形数据结构的分析，证明了该方案编码的唯一性。这种编码方法不仅可以为各类物资提供统一的编码界面，而巳能够有效地提高编码效率，避免错编和漏编，因而是一种良好的物资编码方案：

融合词汇边界信息的合同实体识别方法

针对合同中实体表达形式复杂多变、识别粒度细的特点,及合同文本中实体较长问题,提出一种融合词汇边界信息的合同实体识别方法。利用预训练语言模型动态生成语义向量作为模型输入;运用相对位置编码对Transformer结构进行改进,使其在编码过程中融合词汇信息,进一步丰富语义特征;通过条件随机场(CRF)结构进行解码,得到输入序列的标签预测。实验结果表明,该方法可以有效确定合同文本中的实体边界,具有良好的泛化性能。

相对增量传感器实验的设计

论述了相对增量传感器实验设计的目的、设计的原理。

一种改进的DETR输电线通道山火烟雾检测方法

输电线通道中的火灾会对电力系统的正常运行造成极大的安全隐患,但由于山火烟雾的形状、大小和颜色变化多样导致传统图像方法检测精度较差.为了提高山火检测精度,本文提出一种基于改进DETR的输电线通道山火检测方法.首先,在特征提取阶段加入多尺度特征信息,并利用空洞卷积提高算法对底层特征的感知能力;然后,引入相对位置编码对Transformer模块中的自注意力机制进行改进;其次,利用CIOU对算法的损失函数进行调整;最后,在标注好的输电线通道山火数据集上对改进后算法进行模型训练和测试.实验结果表明,本文所提出的改进后的DETR模型平均精度可达到84.77%,与原始DETR算法相比提高了6.52%,与其它主流目标检测算法对比,本文提出的山火检测模型可有效识别输电线通道中的山火目标并达到较高的检测精度.

基于Transformer编码器的中文命名实体识别模型

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息。提出一种基于Transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对Transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进Transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列。实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7%和58.2%,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度。

基于改进位置编码的谣言检测模型

随着在线社交网络的兴起,人们传播和获取信息的方式发生了翻天覆地的变化。社交媒体在方便人们生活的同时,也加速了谣言的产生和传播。因此,如何准确高效地检测谣言成为了亟待解决的问题。为了提高谣言检测的精度,对基于全局-局部注意网络的谣言检测模型进行了改进,考虑到文本中词与词之间的位置关系对谣言检测的影响,引入了一种新的相对位置编码方法来改进原有模型的局部特征提取模块。该方法能够更准确地提取谣言中文本的语义信息和位置信息并将它们聚合,得到更优的区分谣言与非谣言的文本特征,将该特征和描述转发行为的全局特征相结合,进而提升对谣言的检测效果。实验结果表明,与其他主流检测方法相比,所提方法在微博数据集上的F1值可达95.0%,具有更好的检测效果。

基于编码器-解码器的离线手写数学公式识别

提出一种改进的编码器-解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维LaTeX序列。通过相对位置编码嵌入图像位置信息和LaTeX符号位置信息。实验结果表明,模型在官方CROHME 2014数据集上取得了优异的性能,相比于当前最先进的方法,其公式识别准确率提高了3.55%,字错误率降低了1.41%。

Robust-InTemp:基于对抗扰动和局部信息增强的进阀温度预测

预测进阀温度的变化趋势对阀冷系统的运行状态有重要参考价值.针对传统方法存在数据收集时间跨度大和传感器存在误差等问题,本文提出了一种基于对抗扰动和局部信息增强的进阀温度预测模型Robust-InTemp.具体来说,Robust-InTemp通过对原始数据添加基于规则的高斯噪声,并使用基于梯度的对抗训练方法(projected gradient descent,PGD),增强了模型的泛化能力和抵抗噪声干扰的鲁棒性.同时,引入相对位置编码、一维卷积以及门控线性单元(gated linear unit,GLU),以增强模型对局部特征的学习能力,从而提高预测准确性.实验结果表明,与多种基准模型相比,Robust-InTemp在预测性能和抗干扰能力方面均有明显优势,进一步的消融实验也验证了模型中各个组件的有效性.

基于改进Transformer模型的运动想象脑电分类方法研究

运动想象(MI)脑电信号本身是由一组较长且连续的特征值组成的信号序列,传统Transformer模型无法捕捉较长序列之间的依赖,设置固定长度的序列又会产生碎片化问题,因此有待进一步调整和优化。针对上述问题,在传统Transformer模型中加入了片段重用的循环机制和重用之前片段信息的相对位置编码机制,使Transformer模型能够学习更长特征序列的特征信息,同时解决重用片段之间的位置编码信息错乱和重用等问题。然后,通过并行多分支CNN进一步捕捉脑电局部特征。最后,利用竞赛数据集2008 BCI-Competition 2A对改进的Transformer模型性能进行评估。结果表明,在不做任何人工特征提取的前提下,对于四分类数据集,改进Transformer模型的平均准确率和kappa值分别为94.27%和87.34%。

基于高分辨率图像的多尺度作物分类

基于无人机平台获取的地面影像有着较高的空间分辨率,但提供丰富的细节信息的同时,也为农作物分类带来很多“干扰”,尤其是在利用深度模型进行作物识别时,存在边缘信息提取不充分及相似纹理作物误分,导致分类效果欠佳等问题.因此,通过多尺度注意力特征提取的思路构建模型,有效提取边缘信息,提高作物分类精度.所提出的多尺度注意力模型(multi-scale attention network,MSAT)通过多尺度块嵌入获取同一层级不同尺度的作物信息,多尺度特征图被映射为多条序列独立地馈送到因子注意力模块中,增强对农作物上下文信息的关注,提高模型对地块边缘信息的提取,因子注意力模块内置的卷积相对位置编码增强块内部局部信息的建模,提高对相似纹理作物的区分能力,最后通过融合局部特征与全局特征,实现粗细双重信息的提取.在水稻、甘蔗、玉米、香蕉和柑橘5种作物上的分类结果表明,MSAT模型的MIoU(mean intersection over union)和OA(overall accuracy)指标达0.816、98.10%,验证了基于高分辨率图像的精细作物分类方法可行且设备成本低.

基于图神经网络的固定骨架蛋白质设计方法研究

针对图神经网络(GNN)ProteinSolver结构特征约束不充分的问题,增加了骨架二面角、配对氨基酸的相对位置编码和相对方向等结构约束,提出了一种基于GNN的固定骨架蛋白质设计方法。实现了基于Transformer多头注意力机制的GNN架构,将物理坐标添加到消息传递和更新步骤中,提高了原子坐标的等变特性。在CATH数据集上的训练和测试结果显示:该文模型平均困惑度为8.12,比ProteinSolver的平均困惑度8.97降低了0.85;在掩盖率为50%时,ProteinSolver的恢复率为28.7%;然后,增加更多的结构约束,恢复率达到了30.3%;随后,将ProteinSolver的GNN替换成基于Transformer的GNN,恢复率达到了34.3%;最后,通过再引入等变特性,恢复率进一步提高到35.0%。

基于改进自注意力神经网络的X光安检识别

针对X光安检图像中存在背景信息复杂以及物体相互遮挡的情况,以YOLOv5m模型为基础,改进自注意力机制,提出新的视觉自注意力机制与卷积模型结合的叠加混合模型YOLOv5m-CRCS。该网络在视觉自注意力机制中,加入相对位置编码,引入高效变体卷积(TVConv)和动态归一化(DTN),增强图像特征中的全局语义信息和位置信息。在网络特征融合阶段将坐标注意力(CA)与改进后的自注意力机制结合,进一步加强输出特征中的位置关系信息,同时引入改进的双自注意力模块,将残差卷积模块(CSPLayer)与双自注意力叠加混合,使得每个输出在原有特征的基础上增加了全局特征的相关性。在X光安检数据集上的实验结果表明,与原始目标检测网络相比,所提出模型的识别精度提高了4.72%,明显降低了由于X光安检图像中的背景信息复杂、相互遮挡而出现的漏检情况。

Transformer神经网络和轴心轨迹在燃机转子故障诊断中的应用

针对目前国内燃机电厂转子故障诊断主要依靠振动分析,无自动识别轴心轨迹设备的现状,将在自然语言处理领域大放异彩的Transformer神经网络引入转子轴心轨迹监测与识别领域,通过独立成分分析(Independent Component Analysis,ICA)与Transformer结合提升燃机转子故障诊断准确性。使用ICA代替Transformer自身的线性变换提取图片特征信息构建输入样本,为了解决自注意力机制无法捕捉位置信息的问题,提出相对位置编码方法,区别于使用较多的绝对位置编码,通过嵌入相对位置编码子层,将相对位置信息注入自注意力机制,使得Attention模块能够学习到序列的相对位置信息,可进一步提高图像识别模型的准确性,该模型对于轴心轨迹故障类型平均识别率达到93.8%。实验结果表明ICA-Transformer模型对转子轴心轨迹的识别准确率较高,对电厂运维具有一定的指导意义。

改进DAB⁃DETR算法的非规则交通对象检测

非规则交通对象主要指任何在车辆行驶过程中可能对车辆行驶起到阻碍作用的物体,例如坑洼、落石、树枝等影响车辆正常驾驶的目标。针对道路中的非规则交通对象检测问题,提出一种基于改进DAB⁃DETR算法的非规则交通对象目标检测算法,经过对原始模型结构的分析,发现在图像特征输入编码器前加入绝对位置编码来弥补图像位置信息的缺失,只能隐式地表达特征间的相对位置信息,因此改进DAB⁃DETR在Transformer的编码结构中的多头自注意力机制中添加了针对图像的相对位置编码;其次发现在原始训练策略中,对得到的检测定位结果与类别信息进行二分匹配并计算损失值时,只是简单地将定位损失和分类损失加权求和,这样会导致性能下降,所以在训练策略中增加了将分类、定位损失集成在一个统一参数化公式中的AP损失函数。实验结果表明:改进DAB⁃DETR算法的检测精度达到了82.00%,比原始模型提高了3.3%,比传统模型Faster R⁃CNN、YOLOv5分别提高了6.20%、7.71%。

工程机械远程监测动态实时数据压缩

针对长时间连续远程监测工程机械运行状态信息数据流量很大的问题,分析了实时监测过程中的数据流模型,充分利用数据流本身的冗余特性,提出了多种数据压缩方法混合的压缩策略,包括对时间标签预测编码以及对GPS数据与CAN总线数据字符串相对编码等.应用表明,该算法实现简单、实时性好,且具有较高的压缩效率.

基于改进Informer的蒸汽管网流量预测

提出了一种基于改进Informer的蒸汽管网流量预测模型Informer_BEST。该模型通过引入扩展的因果卷积、相对位置和季节特征编码以及梯度中心化技术等3种算法,对Informer模型进行了改进和优化。对5种预测模型进行实验,结果表明,所提出的Informer_BEST预测模型展现了令人满意的测试结果,预测曲线与实际数据的变化趋势相吻合,对供热调度决策具有良好的指导作用。