FMA-DETR:一种无编码器的Transformer目标检测方法

DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比DETR参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-DETR)实现了与DETR相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。

一种基于Transformer编码器与LSTM的飞机轨迹预测方法

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合Transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即Transformer-Encoder-LSTM模型。新模型可同时提供LSTM和Transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

基于DRSN融合Transformer编码器的轴承故障诊断方法研究

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合Transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的噪声信息,并使用注意力机制增强提取到的特征;然后,采用Transformer编码器来进一步解决振动信号中的长期依赖性问题;最后,利用Softmax函数实现多故障模式识别。在凯斯西储大学轴承数据集上通过不同噪声等级对提出的模型进行测试,实验结果表明,该方法实现了对轴承故障分类,强噪声环境下准确率更高,训练时间更快。

基于Transformer的多编码器端到端语音识别

当前广泛使用的Transformer模型具有良好的全局依赖关系捕捉能力,但其在浅层时容易忽略局部特征信息。针对该问题,文中提出了一种使用多个编码器来改善语音特征信息提取能力的方法。通过附加一个额外的卷积编码器分支来强化对局部特征信息的捕捉,弥补浅层Transformer对局部特征信息的忽视,有效实现音频特征序列全局和局部依赖关系的融合,即提出了基于Transformer的多编码器模型。在开源中文普通话数据集Aishell-1上的实验表明,在没有外部语言模型的情况下,相比于Transformer模型,基于Transformer的多编码器模型的字符错误率降低了4.00%。在内部非公开的上海话方言数据集上,文中所提模型的性能提升更加明显,其字符错误率从19.92%降低至10.31%,降低了48.24%。

结合传递比与栈式自编码器的结构损伤识别

如何从土木结构响应数据中挖掘损伤特征并有效分类,是实现损伤模式识别的关键。为此,以框架结构为分析对象,搭建设有自编码器隐藏层和Softmax分类层的栈式自编码器网络,采用无监督联合有监督的混合学习机制;基于有限元分析获取框架不同工况下的传递比函数值,构建训练集、验证集和测试集样本;通过预训练确定自编码器隐藏层的参数值如权重和偏置值,避免网络出现过拟合;采用微调方式进一步调整预训练后的网络参数值,再结合验证集实现对网络超参数的调整;将实测传递比数据输入网络,实现对框架节点损伤的评估。结果表明:所提方法能有效进行损伤特征的提取和分类,准确识别框架节点的单、双损伤工况,相较于传统浅层神经网络具有更高的识别准确度和更好的抗噪性。

基于CNN‐Head Transformer编码器的中文命名实体识别

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性。

基于Transformer编码器的中文命名实体识别模型

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息。提出一种基于Transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对Transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进Transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列。实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7%和58.2%,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度。

基于Transformer编码器的语义相似度算法研究

语义相似度计算旨在计算文本之间在语义层面的相似程度,是自然语言处理中一项重要的任务。针对现有的计算方法不能充分表示句子的语义特征的问题,提出基于Transformer编码器的语义特征抽取的模型TEAM,利用Transformer模型的上下文语义编码能力充分提取句子内的语义信息,对句子进行深层语义编码。此外,通过引入交互注意力机制,在编码两个句子时利用交互注意力机制提取两个句子之间关联的相似特征,使模型更擅长捕捉句子内部重要的语义信息,提高了模型对语义的理解和泛化能力。实验结果表明,该模型在英文和中文的语义相似度计算任务上能够提高结果的准确性,较已有方法表现出更好的效果。

基于双自编码器和Transformer网络的异常检测方法

基于自编码器(AE)的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一个Transformer网络组成的异常检测方法——DATN-ND。首先,Transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征,从而在训练集中增加异常数据信息;其次,双AE将带有异常数据信息的瓶颈特征尽可能地重构为正常数据,增加异常数据与正常数据的重构误差差别。与记忆增强自编码器(MemAE)相比,DATN-ND在MNIST、Fashion-MNIST、CIFAR-10数据集上ROC曲线下面积(AUC)分别提升6.8、12.0和2.5个百分点。实验结果表明,DATN-ND能够有效扩大正常数据和异常数据在重构误差上的差别。

基于Transformer编码器的金融文本情感分析方法

目前针对文本情感分析的研究大多集中在商品评论和微博的情感分析领域,对金融文本的情感分析研究较少。针对该问题,文中提出一种基于Transformer编码器的金融文本情感分析方法。Transformer编码器是一种基于自注意力机制的特征抽取单元,在处理文本序列信息时可以把句中任意两个单词联系起来不受距离限制,克服了长程依赖问题。文中所提方法使用Transformer编码器构建情感分析网络。Transformer编码器采用多头注意力机制,对同一句子进行多次计算以捕获更多的隐含在上下文中的语义特征。文中在以金融新闻为基础构建的平衡语料数据集上进行实验,并与以卷积神经网络和循环神经网络为基础构建的模型进行对比。实验结果表明,文中提出的基于Transformer编码器的方法在金融文本情感分析领域效果最好。

融合改进自编码器和残差网络的入侵检测模型

互联网中存在大量隐私数据,因此防止网络入侵成为保护网络安全的关键问题。为提高网络入侵检测的准确率并解决其收敛慢问题,设计一种改进的堆叠自动编码器和残差网络(ISAE-ResNet)入侵检测模型。融合栈式自编码器和残差网络,首先将预处理后的数据输入到改进的栈式自编码器中,该栈式自编码器由2个副编码器和1个主编码器组成,数据经过副编码器和主编码器训练后重构出新的特征来防止过拟合问题;然后将解码层的权重捆绑到编码层进行优化,使模型参数减半来进行降维,提高模型的收敛速度;最后将处理过的数据输入到改进的残差网络中,并基于改进的ResNet网络设计一种加入软阈值函数的残差模块,通过降低数据中的噪声来提高模型准确率。在CIC-IDS-2017数据集上的实验结果表明,该模型准确率为98.67%,真正例率为95.93%,误报率为0.37%,损失函数值快速收敛至0.042,在准确率、真正例率、误报率和收敛速度方面均超过对比入侵检测模型,具有较高的有效性和可行性。

基于改进的Transformer编码器的中文命名实体识别

为了提高中文命名实体识别的效果,提出了基于XLNET-Transformer_P-CRF模型的方法,该方法使用了Transformer_P编码器,改进了传统Transformer编码器不能获取相对位置信息的缺点。实验结果表明,XLNET-Transformer_P-CRF模型在MSRA、OntoNotes4.0、Resume、微博数据集4类数据集上分别达到95.11%、80.54%、96.70%、71.46%的F1值,均高于中文命名实体识别的主流模型。

基于Transformer编码器的智能电网虚假数据注入攻击检测

针对当前基于循环神经网络的智能电网虚假数据注入攻击(False Data Injection Attacks, FDIA)检测方法无法同时利用量测样本中前后参数信息和样本间参数关联关系的问题,提出一种基于Transformer编码器的FDIA检测框架。对连续时间样本数据进行归一化处理,结合相对位置信息得到连续时间样本向量。引入Transformer编码器,通过多头自注意力机制计算长距离依赖关系,得到连续时间样本的特征表示。将该特征表示输入到全连接神经网络层和Softmax层,输出后一时刻样本受到注入攻击的概率。在IEEE 14-bus和IEEE 30-bus中的仿真实验结果表明该方法切实可行,相较于次优结果,准确率平均提高7.41%,正报率平均提高4.51%,误报率平均降低60.99%。

基于Transformer编码器的合成语声检测系统

自动说话人认证系统是一种常用的目标说话人身份认证方案,但它在合成语声的攻击下表现出脆弱性,合成语声检测系统试图解决这一问题。该文提出了一种基于Transformer编码器的合成语声检测方法,利用自注意力机制学习输入特征内部的长期依赖关系。合成语声检测问题并不关注句子的抽象语义特征,用参数量较小的模型也能得到较好的检测性能。该文分别测试了4种常用合成语声检测特征在Transformer编码器上的表现,在国际标准的ASVspoof2019挑战赛的逻辑攻击数据集上,基于线性频率倒谱系数特征和Transformer编码器的系统等错误率与串联检测代价函数分别为3.13%和0.0708,且模型参数量仅为0.082 M,在较小参数量下得到了较好的检测性能。

栈式降噪自编码器的标签协同过滤推荐算法

协同过滤推荐和基于内容的推荐是目前应用于推荐系统中的两种主流手段.传统的协同过滤模型存在着矩阵稀疏问题,基于内容的推荐又不能自动抽取深层特征,且两种推荐手段很难直接融合在一起,无法共同提升推荐系统的性能表现.充分利用了深度学习模型能够深度挖掘内容隐藏信息的特性,将栈式降噪自编码器(SDAE)运用于基于内容的推荐模型中,并将其与基于标签的协同过滤算法结合在一起,提出DLCF(Deep Learning for Collaborative Filtering)算法.经过真实数据集的验证,DLCF算法能够很大程度上克服矩阵稀疏问题,在性能上优于传统推荐算法.

基于深层双向Transformer编码器的早期谣言检测

微博、Twitter等网络社交平台的发展彻底改变了人们的交流方式,但是在方便人们获取最新信息的同时,谣言和虚假信息的广泛传播给个人、社会甚至国家所带来的危害也在日益加剧。由于信息的传播速度极快,希望通过人工检测的方法及时发现谣言和虚假信息是不现实的,因此谣言的自动检测成为近年来的研究热点。现有的谣言检测方法主要是通过提取多特征用于分类,但这并不适合谣言的早期检测;此外,对于长文本信息,常用的循环神经网络(RNN)和卷积神经网络(CNN)也不能很好的理解语义。为解决现有的谣言检测研究中存在的问题,文章提出了一种新的谣言检测方法,通过分析文本的内容特征来实现谣言的早期检测任务。本文借鉴预训练的思想,进一步提高谣言检测模型的检测的时效性,并且采用了深层双向的Transformer编码器用于特征提取,有效地解决了长文本的远距离特性依赖问题,使得模型能更加准确地理解语义,提高检测的准确率。此外,为进一步提升模型的检测性能,本文还对原始数据做了数据增强处理。本文在Twitter谣言数据集和FakeNewsNet虚假新闻数据集上进行了实验,结果表明,本文提出的谣言检测模型的准确率和F1-评测值都要优于当前的基准模型。

基于栈式稀疏自编码器的低信噪比下低截获概率雷达信号调制类型识别

针对低截获概率(LPI)雷达信号识别率低且特征提取困难的问题,该文提出一种基于Choi-Williams分布(CWD)和栈式稀疏自编码器(sSAE)的自动分类识别系统。该系统从反映信号本质特征的时频图像入手,首先对LPI雷达信号进行CWD时频分析,获取2维时频图像;然后对得到的时频原始图像进行预处理,并把预处理后的图像送入多层稀疏自编码器(SAE)进行离线训练;最后把SAE自动提取的特征输入softmax分类器,实现雷达信号的在线分类识别。仿真结果表明,信噪比为-6 dB时,该系统对8种LPI雷达信号(LFM,BPSK,Costas,Frank和T1~T4)的整体平均识别率达到96.4%,在低信噪比条件下明显优于人工设计提取信号特征的识别方法。

基于栈式去噪自编码器的遥感图像分类

针对传统遥感图像分类方法难以取得更高精度的问题,提出一种根据深度学习思想的基于栈式去噪自编码器的遥感图象分类方法。首先,将多个去噪自编码器栈式叠加构成深度网络模型,用无监督的layer-wise方法由下至上训练每一层网络并在训练数据中加入噪声以得到更为稳健的特征表达;然后,通过反向传播(BP)神经网络对特征进行有监督学习并利用误差反向传播对整个网络参数进行进一步优化得到最终的模型;最后,利用国产高分一号遥感数据进行实验验证。基于栈式去噪自编码器的遥感图像分类方法的总体分类精度和kappa精度分别达到95.7%和95.5%,均高于传统的支持向量机(SVM)和BP神经网络的分类精度。实验结果表明,所提出的方法能有效提高遥感图像的分类精度。

基于栈式降噪稀疏自动编码器的雷达目标识别方法

雷达目标识别中特征提取是关键步骤,所提取特征的好坏决定着识别效果的优劣,但传统特征提取方法很难发掘目标数据深层次本质特征。深度学习理论中的自动编码器模型能够用数据去学习特征,获得数据不同层次的特征表达。同时为消除噪声影响,该文提出一种基于栈式降噪稀疏自动编码器的雷达目标识别方法,通过设置不同隐藏层数和迭代次数,从雷达数据中直接高效地提取识别所需的各层次特征。暗室仿真数据实验结果验证了该方法较K近邻分类方法及传统栈式自编码器有更好的识别效果。

基于栈式降噪自编码器的协同过滤算法

针对协同过滤推荐准确性的现状进行了研究,提出一种基于栈式降噪自编码器的协同过滤算法。栈式降噪自编码器是一种典型的深度学习网络模型,具有强大的特征提取能力。用户对项目的评分作为输入,训练网络,学习出项目的隐含特征编码,用PCA对项目属性降维并计算属性相似性,结合隐性编码计算的相似性作为最终结果,根据最终的项目相似性产生top-N推荐列表。Movie Lens数据集的实验表明,该算法能够有效提升推荐结果的召回率,一定程度上解决了评分矩阵稀疏与项目之间没有共同用户评分就不能计算相似性的问题。