FMA-DETR:一种无编码器的Transformer目标检测方法

DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比DETR参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-DETR)实现了与DETR相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。

孪生Transformer编码胶囊数控机床主轴故障分类网络研究

主轴作为数控机床最重要的机械模块之一,及时检测其故障可保障机床的运转效能和加工精度。由此,提出一种孪生Transformer编码胶囊数控机床主轴故障分类网络。利用二维化预处理模块,得到较完整的原始数控机床主轴轴承振动数据;采用改进Transformer编码特征提取模块,获得深层次振动信号特征;通过高级胶囊特征转移网络实现特征映射;最后,使用孪生Transformer编码胶囊分类网络完成数控机床主轴故障样本的分类。选择XK7145型铣床完成健康轴承、内外圈故障轴承及滚珠故障下的无磨损刀具与磨损刀具故障诊断实验。结果表明:文中方法的平均主轴故障诊断准确率可达95.1%,相对于ISERAVF-net、VSCPC-net方法的平均准确率升高6.9%和12.3%,且文中方法的可视化分类效果较优,采用文中方法检测主轴故障的实验效果更佳。

一种基于Transformer编码器与LSTM的飞机轨迹预测方法

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合Transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即Transformer-Encoder-LSTM模型。新模型可同时提供LSTM和Transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

锂离子电池健康状态的DCAE-Transformer预测方法研究

提出了一种基于Transformer的DCAE-Transformer模型,旨在改善健康状态(SOH)估计的准确性.该方法通过Pearson相关系数筛选关键特征,利用去噪自编码器(DAE)和卷积神经网络(CNN)相结合进行数据预处理和特征提取,再将数据输入Transformer框架完成预测.使用NASA和CALCE提供的数据集进行验证,DCAE-Transformer模型在NASA电池样本上的误差指标(EMA、EMAP和ERMS)均低于1%,R2值超过99.5%;在CALCE样本上,误差指标低于5%,R2值超过98%.结果表明,该模型在锂电池SOH估计方面具有较高的精确性和泛化性.

融合双阶段特征与Transformer编码的交互式图像分割

为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感.

基于Transformer的业务流程剩余时间预测及编码方式评估方法

业务流程剩余时间预测对于预防流程超时风险有着重要意义。深度学习模型的应用显著提高了剩余时间预测的准确率,但由于输入信息单一,难以发挥模型自身优势;此外,有效的活动编码包含丰富的上下文关系,有助于提升预测效果。针对上述问题,本研究提出一种基于Transformer的业务流程剩余时间预测方法。首先,基于Transformer网络架构构建剩余时间预测模型,选取活动和时间属性作为模型的输入特征。然后,为捕获业务流程活动间的时序关系,选取4种主流自然语言处理领域的编码方式训练活动的表示向量,以编码方式与剩余时间预测任务的匹配性、编码维度两个角度对4种编码方式进行评估。最后,采用6个真实事件日志进行实验测试,结果表明本研究所提方法与已有方法相比预测准确率显著提升,采用连续词袋模型方式训练的活动编码取得了更好的预测效果,并且基于不同规模的事件日志推荐了适用的编码维度。

基于DRSN融合Transformer编码器的轴承故障诊断方法研究

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合Transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的噪声信息,并使用注意力机制增强提取到的特征;然后,采用Transformer编码器来进一步解决振动信号中的长期依赖性问题;最后,利用Softmax函数实现多故障模式识别。在凯斯西储大学轴承数据集上通过不同噪声等级对提出的模型进行测试,实验结果表明,该方法实现了对轴承故障分类,强噪声环境下准确率更高,训练时间更快。

基于Transformer的多编码器端到端语音识别

当前广泛使用的Transformer模型具有良好的全局依赖关系捕捉能力,但其在浅层时容易忽略局部特征信息。针对该问题,文中提出了一种使用多个编码器来改善语音特征信息提取能力的方法。通过附加一个额外的卷积编码器分支来强化对局部特征信息的捕捉,弥补浅层Transformer对局部特征信息的忽视,有效实现音频特征序列全局和局部依赖关系的融合,即提出了基于Transformer的多编码器模型。在开源中文普通话数据集Aishell-1上的实验表明,在没有外部语言模型的情况下,相比于Transformer模型,基于Transformer的多编码器模型的字符错误率降低了4.00%。在内部非公开的上海话方言数据集上,文中所提模型的性能提升更加明显,其字符错误率从19.92%降低至10.31%,降低了48.24%。

融合模体感知和图Transformer编码的社区检测

针对已有社区检测方法存在忽略高阶结构信息,且在信息引入过程中极易产生碎片的问题,提出了一种融合模体感知和图Transformer编码的社区检测方法。首先,将原图中的极大完全子图视为模体,并以模体为顶点对原图进行重构,捕获模体邻接矩阵。同时,使用混阶外切边编码获取原图的残留边信息,解决碎片问题,利用位置编码和内权边编码捕获重构图上的位置信息和边信息。其次,使用图Transformer提取原图携带的初始特征,再对编码所得的位置信息和边信息及初始特征进行融合,获得模体嵌入矩阵,实现社区检测。最后,在几个不同数据集上的实验结果表明,所提方法可以有效提高社区检测的性能,而且,对重叠社区检测和多社区公共顶点检测也是有效的。

基于Transformer的多尺度工件编码识别算法

提出了一种基于Transformer结构的多尺度工件编码识别算法,旨在解决当前工件编码识别中存在的挑战与局限性.描述了多尺度特征提取和融合的实现方法,重点介绍了Transformer模块的优化策略.通过卷积和池化操作获得了一组在不同尺度和层级上的特征,针对这些特征引入了一个创新的缩放因子,用于调整Transformer模块中的注意力权重,更精确地捕捉和融合不同尺度的特征信息.提出了缩放因子计算方法,该方法直接依赖于查询(Query)和键(Key)的信息,可以更为直观地反映出不同尺度特征在注意力计算中的重要性.实验结果表明,此方法在处理多尺度工件编码特征时表现出了较高的准确率和稳健性,可有效提升工件编码识别的性能.

CT-CPI:基于整合CNN模块与Transformer的化合物–蛋白质相互作用深度学习模型

本文构建了一个新的预测化合物–蛋白质关联关系的端到端的模型,可直接输入样本序列后直接输出预测结果,命名为“CT-CPI”。在此方法中,模型主要由嵌入模块、CNN模块、transformer模块、合并模块以及多层感知机模块组成。本文对嵌入方法、transformer模型进行了改进,主要表现为优化了嵌入样本信息的语义可解释性以及在模型中将样本信息充分利用。该模型在基于不同的数据集进行实验时结果显示:基于Davis数据库提供的数据集作为实验数据下,模型预测的AUC值达到了95.6%,模型以DrugBank数据库为数据集时,模型预测效果达到了95.8%。结果表明:与传统模型相比,我们的模型具有更好的预测结果。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

融合Transformer和卷积LSTM的轨迹分类网络

为了减少原始轨迹数据的噪声,充分提取轨迹的时空特征,提高基于轨迹数据的交通模式分类精度,提出一种融合堆叠降噪自编码器、Transformer和卷积长短期记忆网络的轨迹分类网络(networks fusing stacked denoising auto-encoder, Transformer and ConvLSTM,SDAETC)。通过堆叠降噪自编码器减少原始轨迹数据中的噪声;利用结合了Transformer的递归图自编码器,提取到更为丰富的时间特征,同时利用特征图自编码器提取空间特征;改进卷积长短期记忆网络,充分提取轨迹中的时空特征,并与提取到的时间特征和空间特征相融合,从而实现交通模式分类。实验结果表明,提出的SDAETC与基线模型相比,在GeoLife和SHL数据集上的准确率分别提升了1.8%和2%。此外,消融实验结果和模型训练时间分析表明,引入堆叠降噪自编码器、Transfomer和ConvLSTM虽然增加了时间消耗,但是对分类精度有积极贡献。

基于Transformer和CNN交错混合的肺结节分割网络

针对肺结节尺寸多样、形状异质化高等问题,提出基于Transformer和卷积神经网络(CNN)交错混合(IMTC)的肺结节分割网络,该网络是一个对称的层次连接网络,具有很强的多尺度特征提取能力。该网络通过集成2种方案分别解决肺结节多尺寸与形状异质化问题:(1)采用感知注意力模块(inception attention module,IAM),通过并联多个不同大小的卷积核来增加浅层网络的感受野组合,以此捕获更为丰富的浅层特征;(2)为获取更具表示能力的高级语义特征,利用由Transformer和CNN组成的基本骨干网络交错提取结节特征,使得全局特征与局部特征充分融合,从而提高结节特征表示的泛化能力和鲁棒性。实验结果表明:本文模型可以准确分割直径较小以及边缘复杂的肺结节,在LUNA16公开数据集上分割性能良好,Dice和IOU分别达到86.15%和76.10%。

基于改进Transformer的滚动轴承剩余寿命预测方法

针对现有的滚动轴承剩余使用寿命预测方法存在预测准确度不足、训练效率不高等问题,提出一种时频分析结合改进Transformer的轴承剩余使用寿命预测方法。首先用短时傅里叶变换提取轴承的时频特征,为了改善Transformer的特征提取能力,研究了基于膨胀因果卷积的可变长度数据分析结构,并设计了自适应位置编码模块替代Transformer的传统编码方式,改进的模型增强了对时频数据的分析能力,实现了高效、准确的端到端的滚动轴承剩余寿命预测。在PHM2012轴承数据集上的实验结果表明提出的方法的效率比LSTM高20%,同时预测精度相比于多种现有传统方法均具有16%以上的提升。

基于Transformer的多方面特征编码图像描述生成算法

由目标检测算法提取的目标特征在图像描述生成任务中发挥重要作用,但仅使用对图像进行目标检测的特征作为图像描述任务的输入会导致除关键目标信息以外的其余信息获取缺失,且生成的文本描述对图像内目标之间的关系缺乏准确表达。针对上述不足,提出用于编码图像内目标特征的目标Transformer编码器,以及用于编码图像内关系特征的转换窗口Transformer编码器,从不同角度对图像内不同方面的信息进行联合编码。通过拼接方法将目标Transformer编码的目标特征与转换窗口Transformer编码的关系特征相融合,达到图像内部关系特征和局部目标特征融合的目的,最终使用Transformer解码器将融合后的编码特征解码生成对应的图像描述。在MS-COCO数据集上进行实验,结果表明,所构建模型性能明显优于基线模型,BLEU-4、METEOR、ROUGE-L、CIDEr指标分别达到38.6%、28.7%、58.2%和127.4%,优于传统图像描述网络模型,能够生成更详细准确的图像描述。

基于改进Transformer的电力负载预测

针对电力负载预测任务,提出了一种改进的Transformer模型。使用全连接层替换原来的解码器结构,在降低模型复杂度的同时使模型更加契合电力负载数据,使用AdamW方法优化了深度学习中普遍存在的权重衰减处理上的缺陷。实验结果表明,在洛杉矶、纽约和萨克拉门托三个城市的真实电力负载数据集上,相较于ELM、RNN、LSTM和传统的Transformer模型,改进的Transformer模型可以更准确地进行电力负载预测。

结合极化自注意力和Transformer的结直肠息肉分割方法

针对传统结直肠息肉图像分割方法存在的目标分割不够精确、对比度不足,以及边缘细节模糊等问题,文中结合极化自注意力和Transformer提出了一种新的结直肠息肉图像分割方法。首先,设计了一种改进的相位感知混合模块,通过动态捕捉Transformer结直肠息肉图像的多尺度上下文信息,以使目标分割更加精确。其次,在新方法中引入了极化自注意力机制,实现了图像的自我注意力强化,使得到的图像特征可以直接用于息肉分割任务中,以达到提高病灶区域与正常组织区域对比度的目的。另外,利用线索交叉融合模块加强动态分割时对图像几何结构的捕捉能力,以达到提升结果图像边缘细节的目的。实验结果表明,文中提出的方法不仅能够有效地提升结直肠息肉分割的精确度和对比度,并且还能够较好地克服分割图像细节模糊的问题。在数据集CVC-ClinicDB、Kvasir、CVC-ColonDB和ETIS-LaribPolypDB上的测试结果表明,文中所提新方法能够取得更好的分割效果,其Dice相似性指数分别为0.946、0.927、0.805和0.781。

基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测

风电超短期功率预测过程中对时间依赖性的有效捕捉与建模,将直接影响风电功率时间序列预测模型的稳定性和泛化性。为此,提出一种新型时序Transformer风电功率预测模型。模型架构在逻辑上分为时间块自编码、隐空间Transformer自注意力时序自回归、随机方差缩减梯度(stochastic variance reduce gradient,SVRG)优化3个部分。首先,依稀疏约束及低秩近似规则,风电功率时空数据被半监督映射至隐空间;其次,隐空间编码经由多头自注意力网络完成时序自回归预测;最后,模型采用方差缩减SVRG优化算法降低噪声,达到更高预测效能。实验结果表明,所提新型Transformer架构能稳定有效进行超短期风电功率预测,预测结果在准确性、泛化性方面相较于传统机器学习模型都有明显提升。

基于Transformer生成对抗网络的跨模态哈希检索算法

考虑生成对抗网络在保持跨模态数据之间的流形结构的优势,并结合Transformer利用自注意力和无须使用卷积的优点,提出一种基于Transformer生成对抗网络的跨模态哈希检索算法。首先在ImageNet数据集上预训练Vision Transformer框架,并将其作为图像特征提取的主干网络,然后将不同模态的数据分割为共享特征和私有特征。接着,构建对抗学习模块减少不同模态的共享特征的分布距离与保持语义一致性,同时增大不同模态的私有特征分布距离与保持语义非一致性。最后将通用的特征表示映射为紧凑的哈希码,实现跨模态哈希检索。实验结果表明,在公共数据集上,所提算法优于对比算法。