基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

基于Transformer生成对抗网络的跨模态哈希检索算法

考虑生成对抗网络在保持跨模态数据之间的流形结构的优势,并结合Transformer利用自注意力和无须使用卷积的优点,提出一种基于Transformer生成对抗网络的跨模态哈希检索算法。首先在ImageNet数据集上预训练Vision Transformer框架,并将其作为图像特征提取的主干网络,然后将不同模态的数据分割为共享特征和私有特征。接着,构建对抗学习模块减少不同模态的共享特征的分布距离与保持语义一致性,同时增大不同模态的私有特征分布距离与保持语义非一致性。最后将通用的特征表示映射为紧凑的哈希码,实现跨模态哈希检索。实验结果表明,在公共数据集上,所提算法优于对比算法。

融合Transformer和卷积LSTM的轨迹分类网络

为了减少原始轨迹数据的噪声,充分提取轨迹的时空特征,提高基于轨迹数据的交通模式分类精度,提出一种融合堆叠降噪自编码器、Transformer和卷积长短期记忆网络的轨迹分类网络(networks fusing stacked denoising auto-encoder, Transformer and ConvLSTM,SDAETC)。通过堆叠降噪自编码器减少原始轨迹数据中的噪声;利用结合了Transformer的递归图自编码器,提取到更为丰富的时间特征,同时利用特征图自编码器提取空间特征;改进卷积长短期记忆网络,充分提取轨迹中的时空特征,并与提取到的时间特征和空间特征相融合,从而实现交通模式分类。实验结果表明,提出的SDAETC与基线模型相比,在GeoLife和SHL数据集上的准确率分别提升了1.8%和2%。此外,消融实验结果和模型训练时间分析表明,引入堆叠降噪自编码器、Transfomer和ConvLSTM虽然增加了时间消耗,但是对分类精度有积极贡献。

基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测

风电超短期功率预测过程中对时间依赖性的有效捕捉与建模,将直接影响风电功率时间序列预测模型的稳定性和泛化性。为此,提出一种新型时序Transformer风电功率预测模型。模型架构在逻辑上分为时间块自编码、隐空间Transformer自注意力时序自回归、随机方差缩减梯度(stochastic variance reduce gradient,SVRG)优化3个部分。首先,依稀疏约束及低秩近似规则,风电功率时空数据被半监督映射至隐空间;其次,隐空间编码经由多头自注意力网络完成时序自回归预测;最后,模型采用方差缩减SVRG优化算法降低噪声,达到更高预测效能。实验结果表明,所提新型Transformer架构能稳定有效进行超短期风电功率预测,预测结果在准确性、泛化性方面相较于传统机器学习模型都有明显提升。

基于编码-解码网络的大容量鲁棒图像隐写方案

针对基于编码-解码网络的大容量隐写模型存在鲁棒性弱、无法抵抗噪声攻击和信道压缩的问题,提出一种基于编码-解码网络的大容量鲁棒图像隐写方案。首先,设计了基于密集连接卷积网络(DenseNet)的编码器、解码器和判别器,编码器将秘密信息和载体图像联合编码成隐写图像,解码器提取秘密信息,判别器用于区分载体图像和隐写图像。在编码器和解码器中间加入噪声层,采用Dropout、JPEG压缩、高斯模糊、高斯噪声和椒盐噪声模拟真实环境下的各类噪声攻击,编码器输出的隐写图像经过不同种类的噪声处理,再由解码器解码;通过训练模型,解码器能够对噪声处理后的隐写图像提取秘密信息,以抵抗噪声攻击。实验结果表明,所提方案在360×360像素的图像上隐写容量达到0.45~0.95 bpp,与次优的鲁棒隐写方案相比,相对嵌入容量提升了2.04倍;解码准确率可达0.72~0.97;与未添加噪声层的隐写方案相比,平均解码准确率提高了44个百分点。所提方案在保证高嵌入量、高编码图片质量的同时具有更强的抗噪声攻击能力。

一种基于Transformer编码器与LSTM的飞机轨迹预测方法

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合Transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即Transformer-Encoder-LSTM模型。新模型可同时提供LSTM和Transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

融合双阶段特征与Transformer编码的交互式图像分割

为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感.

融合Transformer和DeepLabv3+的电力线语义分割网络

为解决目前语义分割算法在电力线分割领域存在预测速度缓慢和分割精度不高的双重问题,提出一种电力线分割网络STDC-DeepLabv3+。首先,为提升网络预测速度,在编码器部分采用Swin Transformer V2设计轻量化的主干特征提取网络;其次,为提高分割精度,针对电力线的细长结构以及贯穿整幅图片的特点,提出动态蛇形空间金字塔池化(DSASPP)模块,同时,在解码器部分设计多尺度特征融合模块,使网络更好地利用不同层次的语义信息提取电力线特征,减少网络对电力线的漏分割现象;最后,引入坐标注意力(CA)机制减少背景干扰,进一步提升分割的准确率。实验结果表明,改进后的算法平均交并比(MIoU)和平均像素精度(MPA)分别达到了84.18%和92.85%,与现有分割算法相比,分割精度和预测速度均有所提升,预测速度与DeepLabv3+相比提升了93.92%。

基于DRSN融合Transformer编码器的轴承故障诊断方法研究

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合Transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的噪声信息,并使用注意力机制增强提取到的特征;然后,采用Transformer编码器来进一步解决振动信号中的长期依赖性问题;最后,利用Softmax函数实现多故障模式识别。在凯斯西储大学轴承数据集上通过不同噪声等级对提出的模型进行测试,实验结果表明,该方法实现了对轴承故障分类,强噪声环境下准确率更高,训练时间更快。

基于CNN-Transformer网络融合模型的动态肌肉疲劳状态识别研究

为了解决现有的肌肉疲劳状态分类较少以及识别准确率不高的问题,提出一种基于表面肌电信号的CNN-Transformer肌肉疲劳识别模型,实现了动态肌肉疲劳的准确分类.该模型将传统的卷积神经网络与Transformer编码器模块相结合,相比单一卷积神经网络模型有更好的全局信息捕捉能力,对运动性肌肉疲劳识别具有更好的分类精度.首先,对15名健康受试者进行肘关节屈伸运动疲劳实验并基于疲劳程度划分了四种状态;其次,将获取的表面肌电信号数据进行预处理,并提取近似熵和排列熵两个非线性特征作为机器学习的特征输入;最后,利用原始表面肌电信号数据构建CNN-Transformer识别模型,与卷积神经网络、Transformer、随机森林模型进行比较.结果表明,在识别肌肉疲劳状态准确率方面CNN-Transformer模型比卷积神经网络、Transformer和随机森林模型分别高出2.89%、5.48%、7.24%,可见该模型具有良好的分类效果.

基于Transformer_LSTM编解码器模型的船舶轨迹异常检测方法

[目的]为提升船舶轨迹异常检测的精度和效率,解决传统异常检测方法存在的特征表征能力有限、补偿精度不足、容易出现梯度消失、过拟合等问题,提出一种基于Transformer_LSTM编解码器模型的无监督船舶轨迹异常检测方法。[方法]该方法基于编码器解码器架构,由Transformer_LSTM模块替代传统神经网络实现轨迹特征提取和轨迹重构;将Transformer嵌入LSTM的递归机制,结合循环单元和注意力机制,利用自注意力和交叉注意力实现对循环单元状态向量的计算,实现对长序列模型的有效构建;通过最小化重构输出和原始输入之间的差异,使模型学习一般轨迹的特征和运动模式,将重构误差大于异常阈值的轨迹判定为异常轨迹。[结果]采用2021年1月的船舶AIS数据进行实验,结果表明,模型在准确率、精确率以及召回率上相较于LOF,DBSCAN,VAE,LSTM等经典模型有着明显提升;F1分数相较于VAE_LSTM模型提升约8.11%。[结论]该方法的异常检测性能在各项指标上显著优于传统算法,可有效、可靠地运用于海上船舶轨迹异常检测。

基于新型编码解码网络的复杂输电线识别

构建新型编码解码网络实现图像中多根交叉复杂输电线的高精度快速识别.为了减少网络参数,编码器取常规MobileNetV3的前16层,并且采用坐标注意力机制代替常规MobileNetV3的挤压和激励注意力机制,获取特征图的通道信息和位置信息;解码器通过金字塔池化模块获取输电线多尺度特征信息,提高识别精度;采用跳跃链接将编码器第2、4、7、11和13层特征图经锐化核卷积处理后分别与解码器的特征图堆叠,加强复杂输电线边缘特征提取;引入混合损失函数解决图像中输电线像素少、背景像素多的类别不平衡问题;利用迁移学习加快网络训练速度.实验结果表明,新型编码解码网络的平均像素精度(MPA)、平均交并比(MIOU)和识别速度分别为92.18%、84.27%和32帧/s,优于PSPNet、U2Net和其他输电线识别网络的.

基于Transformer的多编码器端到端语音识别

当前广泛使用的Transformer模型具有良好的全局依赖关系捕捉能力,但其在浅层时容易忽略局部特征信息。针对该问题,文中提出了一种使用多个编码器来改善语音特征信息提取能力的方法。通过附加一个额外的卷积编码器分支来强化对局部特征信息的捕捉,弥补浅层Transformer对局部特征信息的忽视,有效实现音频特征序列全局和局部依赖关系的融合,即提出了基于Transformer的多编码器模型。在开源中文普通话数据集Aishell-1上的实验表明,在没有外部语言模型的情况下,相比于Transformer模型,基于Transformer的多编码器模型的字符错误率降低了4.00%。在内部非公开的上海话方言数据集上,文中所提模型的性能提升更加明显,其字符错误率从19.92%降低至10.31%,降低了48.24%。

基于双自编码器和Transformer网络的异常检测方法

基于自编码器(AE)的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一个Transformer网络组成的异常检测方法——DATN-ND。首先,Transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征,从而在训练集中增加异常数据信息;其次,双AE将带有异常数据信息的瓶颈特征尽可能地重构为正常数据,增加异常数据与正常数据的重构误差差别。与记忆增强自编码器(MemAE)相比,DATN-ND在MNIST、Fashion-MNIST、CIFAR-10数据集上ROC曲线下面积(AUC)分别提升6.8、12.0和2.5个百分点。实验结果表明,DATN-ND能够有效扩大正常数据和异常数据在重构误差上的差别。

基于Transformer的高效自适应语义分割网络

基于Transformer的语义分割网络存在2个问题:分辨率变化引起的分割精度显著下降,自注意力机制计算复杂度过高。为此,利用零值填充的卷积可保留位置信息的特性,提出自适应卷积位置编码模块;利用自注意力计算中特定矩阵的维度可相互抵消的特性,提出降低自注意力计算量的联合重采样自注意力模块;设计用于融合不同阶段特征图的解码器,构造能够自适应不同分辨率输入的高效分割网络EA-Former. EA-Former在数据集ADE20K、Cityscapes上的最优平均交并比分别为51.0%、83.9%.与主流分割算法相比,EA-Former能够以更低的计算复杂度得到具有竞争力的分割精度,由输入分辨率变化引起的分割性能下降问题得以缓解.

应用自编码——解码架构的ConvGRU网络空变子波提取方法

地震勘探的成像和反演质量取决于地震子波的提取精度。地震子波在传播过程中主频和相位会改变,即子波形态会出现变化。现有的子波估计方法未能充分考虑子波的空变特性,同时传统空变子波提取方法对测井资料等先验信息依赖性较强,且受各类假设限制。为此,提出了一种使用自编码—解码架构与卷积门控循环单元(ConvGRU)网络的空变子波提取方法。该方法使用卷积运算与门控运算同步提取不同地震道子波的主频和相位变化特征;将提取的子波变化特征经编码得到特征变量,特征变量经解码器可更高效地提取横向道间和纵向时间上的变化特征。使用有限差分正演和非平稳褶积模型建立符合实际数据分布特点的训练数据;搭建自编码—解码网络并迭代训练网络,得到空变子波提取模型;使用该模型提取地震多道空变子波。数值仿真实验验证了该方法比传统子波提取方法具有更高的精度;中国西部实际地震资料处理结果表明,该空变子波提取方法具有一定的实际应用价值。

基于三维特征和Transformer的数字化古籍文档图像矫正

古籍文档图像矫正是古籍文档数字化中的一个关键环节,对提高古籍数字化质量具有重要的现实意义。针对古籍中普遍存在的氧化弯曲、粘连折叠、装订方式特殊等原因导致的形变复杂、矫正难度大的问题,本文提出了一种基于深度学习和三维特征信息提取的古籍文档图像矫正方法。首先使用U-Net形式的编码器-解码器提取古籍文档图像的三维特征,然后基于Transformer模型对得到的三维特征图进行后向映射,最后使用双线性插值得到矫正后的图像。为了验证所提出方法的有效性,在两个自制测试集上分别进行实验。实验结果表明,该方法在局部失真(Local Distortion,LD)概率上,相较于DewarpNet模型降低了2.61%~6.58%。实验证明所提出的方法能有效完成古籍文档图像的矫正任务,提升古籍数字化质量。

基于卡尔曼滤波算法优化Transformer模型的锂离子电池健康状态预测方法

回顾了锂离子电池健康状态(state of health,SOH)的预测方法,本文提出了一种基于卡尔曼滤波器(Kalman filter)优化的Transformer网络,利用历史数据预测电池SOH。首先,通过添加高斯噪声、自动编码器重构对电池数据进行预处理,去除电池数据中原始噪声并强化数据特征;其次,利用提出的KF-Transformer(Kalman filter-transformer)算法模型提取电池健康状态变化特征,使得Transformer网络能够更好地捕捉电池健康状态的非线性变化;最后,通过线性层完成电池健康状态变化特征到电池健康状态预测的映射,得到锂离子电池健康状态的预测结果。本文使用3个不同充放电策略、不同测试环境下的锂离子电池数据集[分别为美国国家航空航天局(NASA)数据集、马里兰大学CALCE CS2数据集和CALCE CX2数据集]来验证本文提出的锂离子电池健康状态预测算法的鲁棒性和准确性,且本文算法对于SOH不同状态、不同循环次数的预测均具有较好的结果。研究结果显示,本文方法的平均绝对百分比误差(mean absolute percentage error,MAPE)能控制在2%,决定系数(R-square,R2)为0.987,并与多层感知机(MLP,multilayer perceptron)、循环神经网络(RNN,recurrent neura network)、长短时记忆(LSTM,long short-term memory)、门控循环单元(GRU,gated recurrent unit)进行比较,证明了本文方法的优越性。

考虑多变量相关性改进的风电场Transformer中长期预测模型

挖掘风电场多变量相关性对提高中长期的预测精度具有积极影响。针对Transformer模型在捕获多变量间相关性方面的不足,提出考虑多变量相关性的多变量中长期预测模型。首先,采用多变量独立嵌入(MIE)对风电场多变量进行独立建模;然后,使用二维概率稀疏注意力(TPSA)提取时间和变量间的特征信息;最后,通过多层式编码器-解码器(MED)将多尺度的特征信息聚合,一次性输出预测结果。算例分析表明,所提模型与LSTM模型、Transformer模型、Informer模型相比,均方误差在各预测时长分别降低了42.58%~66.83%,32.58%~53.49%,14.38%~30.92%,并通过消融实验验证和分析了所提改进的有效性。

基于编码-解码网络的车道线检测算法

为解决在车道线磨损、被遮挡以及光照变化等复杂场景中车道线检测精度较低的问题,提出了一种基于编码-解码网络的车道线检测算法。首先,对Resnet18网络进行改进和优化,组成编码网络;然后,结合ASPP模块和金字塔注意力机制组成解码网络,对图像进行像素级的语义分割,识别并区分车道线;最后基于自适应拟合算法拟合车道线。在Tusimple公开数据集上进行训练和测试,结果表明,该算法的准确率、检测速率、误检率和漏检率分别为:96.45%、35帧/秒、2.59%、1.41%,在复杂场景下的检测精度较高,鲁棒性较强。