FMA-DETR:一种无编码器的Transformer目标检测方法

DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比DETR参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-DETR)实现了与DETR相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。

一种基于Transformer编码器与LSTM的飞机轨迹预测方法

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合Transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即Transformer-Encoder-LSTM模型。新模型可同时提供LSTM和Transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

融合双阶段特征与Transformer编码的交互式图像分割

为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感.

基于DRSN融合Transformer编码器的轴承故障诊断方法研究

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合Transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的噪声信息,并使用注意力机制增强提取到的特征;然后,采用Transformer编码器来进一步解决振动信号中的长期依赖性问题;最后,利用Softmax函数实现多故障模式识别。在凯斯西储大学轴承数据集上通过不同噪声等级对提出的模型进行测试,实验结果表明,该方法实现了对轴承故障分类,强噪声环境下准确率更高,训练时间更快。

基于Transformer的多编码器端到端语音识别

当前广泛使用的Transformer模型具有良好的全局依赖关系捕捉能力,但其在浅层时容易忽略局部特征信息。针对该问题,文中提出了一种使用多个编码器来改善语音特征信息提取能力的方法。通过附加一个额外的卷积编码器分支来强化对局部特征信息的捕捉,弥补浅层Transformer对局部特征信息的忽视,有效实现音频特征序列全局和局部依赖关系的融合,即提出了基于Transformer的多编码器模型。在开源中文普通话数据集Aishell-1上的实验表明,在没有外部语言模型的情况下,相比于Transformer模型,基于Transformer的多编码器模型的字符错误率降低了4.00%。在内部非公开的上海话方言数据集上,文中所提模型的性能提升更加明显,其字符错误率从19.92%降低至10.31%,降低了48.24%。

融合模体感知和图Transformer编码的社区检测

针对已有社区检测方法存在忽略高阶结构信息,且在信息引入过程中极易产生碎片的问题,提出了一种融合模体感知和图Transformer编码的社区检测方法。首先,将原图中的极大完全子图视为模体,并以模体为顶点对原图进行重构,捕获模体邻接矩阵。同时,使用混阶外切边编码获取原图的残留边信息,解决碎片问题,利用位置编码和内权边编码捕获重构图上的位置信息和边信息。其次,使用图Transformer提取原图携带的初始特征,再对编码所得的位置信息和边信息及初始特征进行融合,获得模体嵌入矩阵,实现社区检测。最后,在几个不同数据集上的实验结果表明,所提方法可以有效提高社区检测的性能,而且,对重叠社区检测和多社区公共顶点检测也是有效的。

基于Transformer的多尺度工件编码识别算法

提出了一种基于Transformer结构的多尺度工件编码识别算法,旨在解决当前工件编码识别中存在的挑战与局限性.描述了多尺度特征提取和融合的实现方法,重点介绍了Transformer模块的优化策略.通过卷积和池化操作获得了一组在不同尺度和层级上的特征,针对这些特征引入了一个创新的缩放因子,用于调整Transformer模块中的注意力权重,更精确地捕捉和融合不同尺度的特征信息.提出了缩放因子计算方法,该方法直接依赖于查询(Query)和键(Key)的信息,可以更为直观地反映出不同尺度特征在注意力计算中的重要性.实验结果表明,此方法在处理多尺度工件编码特征时表现出了较高的准确率和稳健性,可有效提升工件编码识别的性能.

CT-CPI:基于整合CNN模块与Transformer的化合物–蛋白质相互作用深度学习模型

本文构建了一个新的预测化合物–蛋白质关联关系的端到端的模型,可直接输入样本序列后直接输出预测结果,命名为“CT-CPI”。在此方法中,模型主要由嵌入模块、CNN模块、transformer模块、合并模块以及多层感知机模块组成。本文对嵌入方法、transformer模型进行了改进,主要表现为优化了嵌入样本信息的语义可解释性以及在模型中将样本信息充分利用。该模型在基于不同的数据集进行实验时结果显示:基于Davis数据库提供的数据集作为实验数据下,模型预测的AUC值达到了95.6%,模型以DrugBank数据库为数据集时,模型预测效果达到了95.8%。结果表明:与传统模型相比,我们的模型具有更好的预测结果。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

基于Transformer和CNN交错混合的肺结节分割网络

针对肺结节尺寸多样、形状异质化高等问题,提出基于Transformer和卷积神经网络(CNN)交错混合(IMTC)的肺结节分割网络,该网络是一个对称的层次连接网络,具有很强的多尺度特征提取能力。该网络通过集成2种方案分别解决肺结节多尺寸与形状异质化问题:(1)采用感知注意力模块(inception attention module,IAM),通过并联多个不同大小的卷积核来增加浅层网络的感受野组合,以此捕获更为丰富的浅层特征;(2)为获取更具表示能力的高级语义特征,利用由Transformer和CNN组成的基本骨干网络交错提取结节特征,使得全局特征与局部特征充分融合,从而提高结节特征表示的泛化能力和鲁棒性。实验结果表明:本文模型可以准确分割直径较小以及边缘复杂的肺结节,在LUNA16公开数据集上分割性能良好,Dice和IOU分别达到86.15%和76.10%。

基于改进Transformer的滚动轴承剩余寿命预测方法

针对现有的滚动轴承剩余使用寿命预测方法存在预测准确度不足、训练效率不高等问题,提出一种时频分析结合改进Transformer的轴承剩余使用寿命预测方法。首先用短时傅里叶变换提取轴承的时频特征,为了改善Transformer的特征提取能力,研究了基于膨胀因果卷积的可变长度数据分析结构,并设计了自适应位置编码模块替代Transformer的传统编码方式,改进的模型增强了对时频数据的分析能力,实现了高效、准确的端到端的滚动轴承剩余寿命预测。在PHM2012轴承数据集上的实验结果表明提出的方法的效率比LSTM高20%,同时预测精度相比于多种现有传统方法均具有16%以上的提升。

基于Transformer的多方面特征编码图像描述生成算法

由目标检测算法提取的目标特征在图像描述生成任务中发挥重要作用,但仅使用对图像进行目标检测的特征作为图像描述任务的输入会导致除关键目标信息以外的其余信息获取缺失,且生成的文本描述对图像内目标之间的关系缺乏准确表达。针对上述不足,提出用于编码图像内目标特征的目标Transformer编码器,以及用于编码图像内关系特征的转换窗口Transformer编码器,从不同角度对图像内不同方面的信息进行联合编码。通过拼接方法将目标Transformer编码的目标特征与转换窗口Transformer编码的关系特征相融合,达到图像内部关系特征和局部目标特征融合的目的,最终使用Transformer解码器将融合后的编码特征解码生成对应的图像描述。在MS-COCO数据集上进行实验,结果表明,所构建模型性能明显优于基线模型,BLEU-4、METEOR、ROUGE-L、CIDEr指标分别达到38.6%、28.7%、58.2%和127.4%,优于传统图像描述网络模型,能够生成更详细准确的图像描述。

基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测

风电超短期功率预测过程中对时间依赖性的有效捕捉与建模,将直接影响风电功率时间序列预测模型的稳定性和泛化性。为此,提出一种新型时序Transformer风电功率预测模型。模型架构在逻辑上分为时间块自编码、隐空间Transformer自注意力时序自回归、随机方差缩减梯度(stochastic variance reduce gradient,SVRG)优化3个部分。首先,依稀疏约束及低秩近似规则,风电功率时空数据被半监督映射至隐空间;其次,隐空间编码经由多头自注意力网络完成时序自回归预测;最后,模型采用方差缩减SVRG优化算法降低噪声,达到更高预测效能。实验结果表明,所提新型Transformer架构能稳定有效进行超短期风电功率预测,预测结果在准确性、泛化性方面相较于传统机器学习模型都有明显提升。

基于Transformer生成对抗网络的跨模态哈希检索算法

考虑生成对抗网络在保持跨模态数据之间的流形结构的优势,并结合Transformer利用自注意力和无须使用卷积的优点,提出一种基于Transformer生成对抗网络的跨模态哈希检索算法。首先在ImageNet数据集上预训练Vision Transformer框架,并将其作为图像特征提取的主干网络,然后将不同模态的数据分割为共享特征和私有特征。接着,构建对抗学习模块减少不同模态的共享特征的分布距离与保持语义一致性,同时增大不同模态的私有特征分布距离与保持语义非一致性。最后将通用的特征表示映射为紧凑的哈希码,实现跨模态哈希检索。实验结果表明,在公共数据集上,所提算法优于对比算法。

融合Transformer和卷积LSTM的轨迹分类网络

为了减少原始轨迹数据的噪声,充分提取轨迹的时空特征,提高基于轨迹数据的交通模式分类精度,提出一种融合堆叠降噪自编码器、Transformer和卷积长短期记忆网络的轨迹分类网络(networks fusing stacked denoising auto-encoder, Transformer and ConvLSTM,SDAETC)。通过堆叠降噪自编码器减少原始轨迹数据中的噪声;利用结合了Transformer的递归图自编码器,提取到更为丰富的时间特征,同时利用特征图自编码器提取空间特征;改进卷积长短期记忆网络,充分提取轨迹中的时空特征,并与提取到的时间特征和空间特征相融合,从而实现交通模式分类。实验结果表明,提出的SDAETC与基线模型相比,在GeoLife和SHL数据集上的准确率分别提升了1.8%和2%。此外,消融实验结果和模型训练时间分析表明,引入堆叠降噪自编码器、Transfomer和ConvLSTM虽然增加了时间消耗,但是对分类精度有积极贡献。

基于桥接Transformer的小样本优化鸟声识别网络

针对实际鸟类监测环境中,收集鸟声声频数据分布不均匀,导致神经网络训练不充分,分类识别测试准确率低的问题,设计了一种桥接Transformer神经网络模型。该网络首先利用原始鸟声声频信号生成短时傅里叶变换语谱图作为输入特征,之后将语谱图输入到由注意力模块和卷积模块桥接组成的Transformer网络中,完成对语谱图中全局特征和局部特征的信息交互,最后利用单层Transformer编码器实现对每一个批次样本的损失优化,得到最终的分类结果。在Birdsdata和xeno-canto鸟声数据集上进行小样本实验,分别获得了91.34%和82.63%的平均准确率,与其他鸟声识别网络进行了对比实验,验证了该网络的有效性。

基于改进Transformer的井下人员检测算法

针对现有井下人员检测算法的特定后处理步骤,如锚点生成和非极大抑制,导致训练过程复杂的情况,提出了一种基于改进Transformer的检测方法,旨在提高井下作业人员检测的准确性。算法以Detection Transformer为基础检测框架,将主干网络ResNet替代为轻量级的Swin Transformer网络;同时向输入序列中添加可学习的检测块,并采用一种重新配置的注意力模块;以更好地处理多尺度特征的融合,使用轻量级的无编码颈部结构,减少计算开销。通过采集不同工作场景监控视频并制作数据集进行实验,结果表明,提出的方法在自建井下人员检测数据集上表现出色,平均检测准确度达到97.8%,优于其他井下人员检测网络,此外检测速度达到32帧/s。

融合Transformer与多阶段学习框架的点云上采样网络

借鉴Transformer在自然语言和计算机视觉领域强大的特征编码能力,同时受多阶段学习框架的启发,设计了一种融合Transformer与多阶段学习框架的点云上采样网络——MSPUiT。该网络采用二阶段网络模型,第一阶段是密集点生成网络,利用多层Transformer编码器逐步实现从输入点云的局部几何信息、局部特征信息到点云高级语义特征的转换,特征扩充模块在特征空间中,对点云特征上采样,坐标回归模块将点云从特征空间重新映射回欧氏空间中初步生成密集点云M′;第二阶段是逐点优化网络,使用Transformer编码器对密集点云M′中潜藏的语义特征进行编码,联合上一阶段语义特征得到点云完整的语义特征,特征精炼单元从M′的几何信息和语义特征中提取点的误差信息特征,误差回归模块从误差信息特征中计算得到欧氏空间中点的坐标偏移量,实现对点云M′的逐点优化,使得点云上点的分布更加均匀,并且更加贴近真实物体表面。在大型合成数据集PU1K上进行了大量实验,MSPUiT生成的高分辨率点云在倒角距离(CD)、豪斯多夫距离(HD)、生成点云到原始点云块的距离(P2F)上的指标分别降至0.501×10^(-3),5.958×10^(-3),1.756×10^(-3)。实验结果表明,MSPUiT上采样后的点云表面更加光滑,噪声点更少,生成的点云质量高于当前主流的点云上采样网络。

基于Transformer_LSTM编解码器模型的船舶轨迹异常检测方法

[目的]为提升船舶轨迹异常检测的精度和效率,解决传统异常检测方法存在的特征表征能力有限、补偿精度不足、容易出现梯度消失、过拟合等问题,提出一种基于Transformer_LSTM编解码器模型的无监督船舶轨迹异常检测方法。[方法]该方法基于编码器解码器架构,由Transformer_LSTM模块替代传统神经网络实现轨迹特征提取和轨迹重构;将Transformer嵌入LSTM的递归机制,结合循环单元和注意力机制,利用自注意力和交叉注意力实现对循环单元状态向量的计算,实现对长序列模型的有效构建;通过最小化重构输出和原始输入之间的差异,使模型学习一般轨迹的特征和运动模式,将重构误差大于异常阈值的轨迹判定为异常轨迹。[结果]采用2021年1月的船舶AIS数据进行实验,结果表明,模型在准确率、精确率以及召回率上相较于LOF,DBSCAN,VAE,LSTM等经典模型有着明显提升;F1分数相较于VAE_LSTM模型提升约8.11%。[结论]该方法的异常检测性能在各项指标上显著优于传统算法,可有效、可靠地运用于海上船舶轨迹异常检测。

基于双自编码器和Transformer网络的异常检测方法

基于自编码器(AE)的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一个Transformer网络组成的异常检测方法——DATN-ND。首先,Transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征,从而在训练集中增加异常数据信息;其次,双AE将带有异常数据信息的瓶颈特征尽可能地重构为正常数据,增加异常数据与正常数据的重构误差差别。与记忆增强自编码器(MemAE)相比,DATN-ND在MNIST、Fashion-MNIST、CIFAR-10数据集上ROC曲线下面积(AUC)分别提升6.8、12.0和2.5个百分点。实验结果表明,DATN-ND能够有效扩大正常数据和异常数据在重构误差上的差别。