一种基于Transformer编码器与LSTM的飞机轨迹预测方法

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合Transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即Transformer-Encoder-LSTM模型。新模型可同时提供LSTM和Transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

融合双阶段特征与Transformer编码的交互式图像分割

为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感.

基于DRSN融合Transformer编码器的轴承故障诊断方法研究

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合Transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的噪声信息,并使用注意力机制增强提取到的特征;然后,采用Transformer编码器来进一步解决振动信号中的长期依赖性问题;最后,利用Softmax函数实现多故障模式识别。在凯斯西储大学轴承数据集上通过不同噪声等级对提出的模型进行测试,实验结果表明,该方法实现了对轴承故障分类,强噪声环境下准确率更高,训练时间更快。

基于残差U-Net和自注意力Transformer编码器的磁场预测方法

利用有限元方法对几何结构复杂的电机和变压器进行磁场分析,存在仿真时间长且无法复用的问题。因此,该文提出一种基于残差U-Net和自注意力Transformer编码器的磁场预测方法。首先建立永磁同步电机(PMSM)和非晶合金变压器(AMT)有限元模型,得到深度学习训练所需的数据集;然后将Transformer模块与U-Net模型结合,并引入短残差机制建立ResUnet-Transformer模型,通过预测图像的像素实现磁场预测;最后通过Targeted Dropout算法和动态学习率调整策略对模型进行优化,解决拟合问题并提高预测精度。计算实例证明,ResUnet-Transformer模型在PMSM和AMT数据集上测试集的平均绝对百分比误差(MAPE)均小于1%,且仅需500组样本。该文提出的磁场预测方法能减少实际工况和多工况下精细模拟和拓扑优化的时间和资源消耗,亦是虚拟传感器乃至数字孪生的关键实现方法之一。

联合多视角Transformer编码与在线融合互学习的乳腺癌病理图像分类模型

乳腺癌是女性最常见的癌症.单一网络在乳腺癌病理图像分类中存在缺陷,卷积神经网络无法提取全局上下文,而Transformer不能准确描述局部细节.本文提出联合多视角Transformer编码与在线融合互学习的乳腺癌病理图像分类模型(Multi-View Transformer Online Fusion Mutual Learning,MVT-OFML).采用ResNet-50(Residual Network-50)提取图像局部特征,设计多视角Transformer编码模块,捕获图像中全局上下文;联合Logits和中间特征层构建OFML框架,实现ResNet-50与多视角Transformer编码模块间双向传递知识,使2个网络优势互补以完成乳腺癌病理图像分类.实验表明,在BreakHis和BACH数据集上,MVT-OFML的准确率比最强基线分别提升0.90%和2.26%,F1均值比最强基线分别提升4.75%和3.21%.

基于Transformer编码器和残差网络的信贷违约预测模型

针对传统信贷违约预测模型对高维稀疏类别特征缺乏有效处理,性能受到人工特征工程影响较大的问题,提出一种基于Transformer编码器和残差网络的信贷违约预测模型(TE-ResNet)。该模型首先利用嵌入层对类别特征进行处理,将它们转化为低维度的稠密向量;然后将连续特征和嵌入后的类别特征连接,输入到堆叠的Transformer编码器中进行特征提取,捕捉输入特征之间的关系,得到有用信息的高层特征表示;最后使用结合了通道注意力机制的一维残差网络模型进行违约预测。在训练过程中,模型采用加权交叉熵损失函数,以解决信贷数据不平衡的问题。实验结果表明,与8种主流基准模型的最佳表现相比,TE-ResNet在LendingClub数据集、天池贷款数据集上的各项指标均有提升:AUC指标分别提升了0.58%和2.85%,F1-Score指标分别提升了0.85%和11.92%,G-mean指标分别提升了2.94%和16.19%。TE-ResNet能够提高信贷违约预测的性能,减少人工特征工程,实现端到端的学习。因此,TE-ResNet模型具有实际应用的潜力,并可为信贷业务提供更加精确和可靠的风险评估服务。

基于Transformer编码器的合成语声检测系统

自动说话人认证系统是一种常用的目标说话人身份认证方案,但它在合成语声的攻击下表现出脆弱性,合成语声检测系统试图解决这一问题。该文提出了一种基于Transformer编码器的合成语声检测方法,利用自注意力机制学习输入特征内部的长期依赖关系。合成语声检测问题并不关注句子的抽象语义特征,用参数量较小的模型也能得到较好的检测性能。该文分别测试了4种常用合成语声检测特征在Transformer编码器上的表现,在国际标准的ASVspoof2019挑战赛的逻辑攻击数据集上,基于线性频率倒谱系数特征和Transformer编码器的系统等错误率与串联检测代价函数分别为3.13%和0.0708,且模型参数量仅为0.082 M,在较小参数量下得到了较好的检测性能。

基于Transformer编码器的多级表示与融合特征输入的语音情感识别方法

为了提高语音情感识别的准确度,探讨了将Transformer应用于语音情感识别的可能性.将对数梅尔尺度谱图及其一阶差分特征相融合作为输入,使用Transformer来提取分层语音表示,分析注意头个数和Transformer编码器层数的变化对识别精度的影响.结果表明,在ABC、CASIA、DES、EMODB和IEMOCAP语音情感数据库上,相比以MFCC为特征的Transformer,所提模型的精度分别提高了13.98%、8.14%、24.34%、8.16%和20.9%.该模型表现优于递归神经网络(RNN)、卷积神经网络(CNN)、Transformer等其他模型.

基于自注意力Transformer编码器的多阶段电力系统暂态稳定评估方法

人工智能方法在电力系统暂态稳定评估研究中已经取得了一定的成果。常规深层网络普遍被视为“黑盒”模型,这限制了智能算法在实际工程应用中的可信赖性;同时,常规算法对电力系统时序信息的提取能力不足。针对以上问题,构建基于Transformer编码器的多阶段暂态稳定评估方法,其多阶段预测能够有效降低失稳漏判率。和常规算法相比,Transformer模型具有良好的可解释性,其注意力机制引导模型自适应识别并聚焦于关键特征,在一定程度上揭示深层网络内部工作决策过程。此外,采用多时刻信息构建特征空间,Transformer通过注意力机制实现全局感受野,使模型快速捕获电力系统前后时刻间的状态依赖。IEEE-39节点系统上的仿真结果表明,所提方法相比常见数据驱动模型具有更高的暂稳评估准确性,呈现出良好的可解释性,并在数据污染时依然维持较高的性能。

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC⁃reID两大主流数据集中评估测试,Rank⁃1指标分别达到97.5%和93.5%,平均精度均值(mean Average precision,mAP)分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。

基于CNN‐Head Transformer编码器的中文命名实体识别

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性。

基于Transformer编码器的中文命名实体识别模型

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息。提出一种基于Transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对Transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进Transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列。实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7%和58.2%,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度。

基于Transformer编码器的语义相似度算法研究

语义相似度计算旨在计算文本之间在语义层面的相似程度,是自然语言处理中一项重要的任务。针对现有的计算方法不能充分表示句子的语义特征的问题,提出基于Transformer编码器的语义特征抽取的模型TEAM,利用Transformer模型的上下文语义编码能力充分提取句子内的语义信息,对句子进行深层语义编码。此外,通过引入交互注意力机制,在编码两个句子时利用交互注意力机制提取两个句子之间关联的相似特征,使模型更擅长捕捉句子内部重要的语义信息,提高了模型对语义的理解和泛化能力。实验结果表明,该模型在英文和中文的语义相似度计算任务上能够提高结果的准确性,较已有方法表现出更好的效果。

基于Transformer编码器的金融文本情感分析方法

目前针对文本情感分析的研究大多集中在商品评论和微博的情感分析领域,对金融文本的情感分析研究较少。针对该问题,文中提出一种基于Transformer编码器的金融文本情感分析方法。Transformer编码器是一种基于自注意力机制的特征抽取单元,在处理文本序列信息时可以把句中任意两个单词联系起来不受距离限制,克服了长程依赖问题。文中所提方法使用Transformer编码器构建情感分析网络。Transformer编码器采用多头注意力机制,对同一句子进行多次计算以捕获更多的隐含在上下文中的语义特征。文中在以金融新闻为基础构建的平衡语料数据集上进行实验,并与以卷积神经网络和循环神经网络为基础构建的模型进行对比。实验结果表明,文中提出的基于Transformer编码器的方法在金融文本情感分析领域效果最好。

基于改进的Transformer编码器的中文命名实体识别

为了提高中文命名实体识别的效果,提出了基于XLNET-Transformer_P-CRF模型的方法,该方法使用了Transformer_P编码器,改进了传统Transformer编码器不能获取相对位置信息的缺点。实验结果表明,XLNET-Transformer_P-CRF模型在MSRA、OntoNotes4.0、Resume、微博数据集4类数据集上分别达到95.11%、80.54%、96.70%、71.46%的F1值,均高于中文命名实体识别的主流模型。

基于Transformer编码器的智能电网虚假数据注入攻击检测

针对当前基于循环神经网络的智能电网虚假数据注入攻击(False Data Injection Attacks, FDIA)检测方法无法同时利用量测样本中前后参数信息和样本间参数关联关系的问题,提出一种基于Transformer编码器的FDIA检测框架。对连续时间样本数据进行归一化处理,结合相对位置信息得到连续时间样本向量。引入Transformer编码器,通过多头自注意力机制计算长距离依赖关系,得到连续时间样本的特征表示。将该特征表示输入到全连接神经网络层和Softmax层,输出后一时刻样本受到注入攻击的概率。在IEEE 14-bus和IEEE 30-bus中的仿真实验结果表明该方法切实可行,相较于次优结果,准确率平均提高7.41%,正报率平均提高4.51%,误报率平均降低60.99%。

基于深层双向Transformer编码器的早期谣言检测

微博、Twitter等网络社交平台的发展彻底改变了人们的交流方式,但是在方便人们获取最新信息的同时,谣言和虚假信息的广泛传播给个人、社会甚至国家所带来的危害也在日益加剧。由于信息的传播速度极快,希望通过人工检测的方法及时发现谣言和虚假信息是不现实的,因此谣言的自动检测成为近年来的研究热点。现有的谣言检测方法主要是通过提取多特征用于分类,但这并不适合谣言的早期检测;此外,对于长文本信息,常用的循环神经网络(RNN)和卷积神经网络(CNN)也不能很好的理解语义。为解决现有的谣言检测研究中存在的问题,文章提出了一种新的谣言检测方法,通过分析文本的内容特征来实现谣言的早期检测任务。本文借鉴预训练的思想,进一步提高谣言检测模型的检测的时效性,并且采用了深层双向的Transformer编码器用于特征提取,有效地解决了长文本的远距离特性依赖问题,使得模型能更加准确地理解语义,提高检测的准确率。此外,为进一步提升模型的检测性能,本文还对原始数据做了数据增强处理。本文在Twitter谣言数据集和FakeNewsNet虚假新闻数据集上进行了实验,结果表明,本文提出的谣言检测模型的准确率和F1-评测值都要优于当前的基准模型。

基于CNN和Transformer并行编码的腹部多器官图像分割

针对现有方法在腹部中小器官图像分割性能方面存在的不足,提出一种基于局部和全局并行编码的网络模型用于腹部多器官图像分割.首先,设计一种提取多尺度特征信息的局部编码分支;其次,全局特征编码分支采用分块Transformer,通过块内Transformer和块间Transformer的组合,既捕获了全局的长距离依赖信息又降低了计算量;再次,设计特征融合模块,以融合来自两条编码分支的上下文信息;最后,设计解码模块,实现全局信息与局部上下文信息的交互,更好地补偿解码阶段的信息损失.在Synapse多器官CT数据集上进行实验,与目前9种先进方法相比,在平均Dice相似系数(DSC)和Hausdorff距离(HD)指标上都达到了最佳性能,分别为83.10%和17.80 mm.

基于Transformer紧凑编码的局部近重复视频检测算法

针对现有局部近重复视频检测算法特征存储消耗大、整体查询效率低、提取特征时并未考虑近重复帧之间细微的语义差异等问题,文中提出了一种基于Transformer紧凑编码的局部近重复视频检测算法。首先,提出了一个基于Transformer的特征编码器,其学习了大量近重复帧之间细微的语义差异,可以在编码帧特征时对各个区域特征图引入自注意力机制,在有效降低帧特征维度的同时也提高了编码后特征的表示性。该特征编码器通过孪生网络训练得到,该网络不需要负样本就可以有效学习近重复帧之间的相似语义信息,因此无需沉重和困难的难负样本标注工作,使得训练过程更加简易和高效。其次,提出了一个基于视频自相似度矩阵的关键帧提取方法,可以从视频中提取丰富但不冗余的关键帧,从而使关键帧特征序列能够更全面地描述原视频内容,提升算法的性能,同时也大幅减少了存储和计算冗余关键帧带来的开销。最后,基于关键帧的低维紧凑编码特征,采用基于图网络的时间对齐算法,实现局部近重复视频片段的检测和定位。该算法在公开的局部近重复视频检测数据集VCDB上取得了优于现有算法的实验性能。

FMA-DETR:一种无编码器的Transformer目标检测方法

DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比DETR参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-DETR)实现了与DETR相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。