FMA-DETR:一种无编码器的Transformer目标检测方法

DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比DETR参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-DETR)实现了与DETR相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。

一种基于Transformer编码器与LSTM的飞机轨迹预测方法

为了解决飞机目标机动数据集缺失的问题,文章利用运动学建模生成了丰富的轨迹数据集,为网络训练提供了必要的数据支持。针对现阶段轨迹预测运动学模型建立困难及时序预测方法难以提取时空特征的问题,提出了一种结合Transformer编码器和长短期记忆网络(Long Short Term Memory,LSTM)的飞机目标轨迹预测方法,即Transformer-Encoder-LSTM模型。新模型可同时提供LSTM和Transformer编码器模块的补充历史信息和基于注意力的信息表示,提高了模型能力。通过与一些经典神经网络模型进行对比分析,发现在数据集上,新方法的平均位移误差减小到0.22,显著优于CNN-LSTMAttention模型的0.35。相比其他网络,该算法能够提取复杂轨迹中的隐藏特征,在面对飞机连续转弯、大机动转弯的复杂轨迹时,能够保证模型的鲁棒性,提升了对于复杂轨迹预测的准确性。

基于DRSN融合Transformer编码器的轴承故障诊断方法研究

针对轴承故障在复杂工况环境中诊断准确率低和泛化性能弱的问题,提出了一种基于深度残差收缩网络(deep residual shrinkage network,DRSN)融合Transformer编码器的轴承故障诊断方法。首先,采用DRSN通过软阈值模块自动去掉振动信号中的噪声信息,并使用注意力机制增强提取到的特征;然后,采用Transformer编码器来进一步解决振动信号中的长期依赖性问题;最后,利用Softmax函数实现多故障模式识别。在凯斯西储大学轴承数据集上通过不同噪声等级对提出的模型进行测试,实验结果表明,该方法实现了对轴承故障分类,强噪声环境下准确率更高,训练时间更快。

基于Transformer的多编码器端到端语音识别

当前广泛使用的Transformer模型具有良好的全局依赖关系捕捉能力,但其在浅层时容易忽略局部特征信息。针对该问题,文中提出了一种使用多个编码器来改善语音特征信息提取能力的方法。通过附加一个额外的卷积编码器分支来强化对局部特征信息的捕捉,弥补浅层Transformer对局部特征信息的忽视,有效实现音频特征序列全局和局部依赖关系的融合,即提出了基于Transformer的多编码器模型。在开源中文普通话数据集Aishell-1上的实验表明,在没有外部语言模型的情况下,相比于Transformer模型,基于Transformer的多编码器模型的字符错误率降低了4.00%。在内部非公开的上海话方言数据集上,文中所提模型的性能提升更加明显,其字符错误率从19.92%降低至10.31%,降低了48.24%。

基于深层双向Transformer编码器的早期谣言检测

微博、Twitter等网络社交平台的发展彻底改变了人们的交流方式,但是在方便人们获取最新信息的同时,谣言和虚假信息的广泛传播给个人、社会甚至国家所带来的危害也在日益加剧。由于信息的传播速度极快,希望通过人工检测的方法及时发现谣言和虚假信息是不现实的,因此谣言的自动检测成为近年来的研究热点。现有的谣言检测方法主要是通过提取多特征用于分类,但这并不适合谣言的早期检测;此外,对于长文本信息,常用的循环神经网络(RNN)和卷积神经网络(CNN)也不能很好的理解语义。为解决现有的谣言检测研究中存在的问题,文章提出了一种新的谣言检测方法,通过分析文本的内容特征来实现谣言的早期检测任务。本文借鉴预训练的思想,进一步提高谣言检测模型的检测的时效性,并且采用了深层双向的Transformer编码器用于特征提取,有效地解决了长文本的远距离特性依赖问题,使得模型能更加准确地理解语义,提高检测的准确率。此外,为进一步提升模型的检测性能,本文还对原始数据做了数据增强处理。本文在Twitter谣言数据集和FakeNewsNet虚假新闻数据集上进行了实验,结果表明,本文提出的谣言检测模型的准确率和F1-评测值都要优于当前的基准模型。

基于CNN‐Head Transformer编码器的中文命名实体识别

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性。

基于Transformer编码器的语义相似度算法研究

语义相似度计算旨在计算文本之间在语义层面的相似程度,是自然语言处理中一项重要的任务。针对现有的计算方法不能充分表示句子的语义特征的问题,提出基于Transformer编码器的语义特征抽取的模型TEAM,利用Transformer模型的上下文语义编码能力充分提取句子内的语义信息,对句子进行深层语义编码。此外,通过引入交互注意力机制,在编码两个句子时利用交互注意力机制提取两个句子之间关联的相似特征,使模型更擅长捕捉句子内部重要的语义信息,提高了模型对语义的理解和泛化能力。实验结果表明,该模型在英文和中文的语义相似度计算任务上能够提高结果的准确性,较已有方法表现出更好的效果。

基于Transformer编码器的中文命名实体识别模型

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息。提出一种基于Transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对Transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进Transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列。实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7%和58.2%,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度。

基于双自编码器和Transformer网络的异常检测方法

基于自编码器(AE)的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一个Transformer网络组成的异常检测方法——DATN-ND。首先,Transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征,从而在训练集中增加异常数据信息;其次,双AE将带有异常数据信息的瓶颈特征尽可能地重构为正常数据,增加异常数据与正常数据的重构误差差别。与记忆增强自编码器(MemAE)相比,DATN-ND在MNIST、Fashion-MNIST、CIFAR-10数据集上ROC曲线下面积(AUC)分别提升6.8、12.0和2.5个百分点。实验结果表明,DATN-ND能够有效扩大正常数据和异常数据在重构误差上的差别。

基于Transformer编码器的金融文本情感分析方法

目前针对文本情感分析的研究大多集中在商品评论和微博的情感分析领域,对金融文本的情感分析研究较少。针对该问题,文中提出一种基于Transformer编码器的金融文本情感分析方法。Transformer编码器是一种基于自注意力机制的特征抽取单元,在处理文本序列信息时可以把句中任意两个单词联系起来不受距离限制,克服了长程依赖问题。文中所提方法使用Transformer编码器构建情感分析网络。Transformer编码器采用多头注意力机制,对同一句子进行多次计算以捕获更多的隐含在上下文中的语义特征。文中在以金融新闻为基础构建的平衡语料数据集上进行实验,并与以卷积神经网络和循环神经网络为基础构建的模型进行对比。实验结果表明,文中提出的基于Transformer编码器的方法在金融文本情感分析领域效果最好。

基于改进的Transformer编码器的中文命名实体识别

为了提高中文命名实体识别的效果,提出了基于XLNET-Transformer_P-CRF模型的方法,该方法使用了Transformer_P编码器,改进了传统Transformer编码器不能获取相对位置信息的缺点。实验结果表明,XLNET-Transformer_P-CRF模型在MSRA、OntoNotes4.0、Resume、微博数据集4类数据集上分别达到95.11%、80.54%、96.70%、71.46%的F1值,均高于中文命名实体识别的主流模型。

基于Transformer编码器的智能电网虚假数据注入攻击检测

针对当前基于循环神经网络的智能电网虚假数据注入攻击(False Data Injection Attacks, FDIA)检测方法无法同时利用量测样本中前后参数信息和样本间参数关联关系的问题,提出一种基于Transformer编码器的FDIA检测框架。对连续时间样本数据进行归一化处理,结合相对位置信息得到连续时间样本向量。引入Transformer编码器,通过多头自注意力机制计算长距离依赖关系,得到连续时间样本的特征表示。将该特征表示输入到全连接神经网络层和Softmax层,输出后一时刻样本受到注入攻击的概率。在IEEE 14-bus和IEEE 30-bus中的仿真实验结果表明该方法切实可行,相较于次优结果,准确率平均提高7.41%,正报率平均提高4.51%,误报率平均降低60.99%。

基于Transformer编码器的合成语声检测系统

自动说话人认证系统是一种常用的目标说话人身份认证方案,但它在合成语声的攻击下表现出脆弱性,合成语声检测系统试图解决这一问题。该文提出了一种基于Transformer编码器的合成语声检测方法,利用自注意力机制学习输入特征内部的长期依赖关系。合成语声检测问题并不关注句子的抽象语义特征,用参数量较小的模型也能得到较好的检测性能。该文分别测试了4种常用合成语声检测特征在Transformer编码器上的表现,在国际标准的ASVspoof2019挑战赛的逻辑攻击数据集上,基于线性频率倒谱系数特征和Transformer编码器的系统等错误率与串联检测代价函数分别为3.13%和0.0708,且模型参数量仅为0.082 M,在较小参数量下得到了较好的检测性能。

基于多层编码器的SAR目标及阴影联合特征提取算法

针对合成孔径雷达(SAR)图像目标识别问题,提出一种基于多层自动编码器的特征提取算法。该方法利用随机神经网络受限波尔兹曼机学习建模环境概率分布的能力,通过组建更具函数表达能力的多层神经网络,提取描述目标及其阴影轮廓形状的综合特征。利用两种分类模型实现目标自动识别。基于MSTAR数据的仿真实验结果验证了算法的有效性。

子空间结构保持的多层极限学习机自编码器

处理高维复杂数据的聚类问题,通常需先降维后聚类,但常用的降维方法未考虑数据的同类聚集性和样本间相关关系,难以保证降维方法与聚类算法相匹配,从而导致聚类信息损失.非线性无监督降维方法极限学习机自编码器(Extreme learning machine,ELM-AE)因其学习速度快、泛化性能好,近年来被广泛应用于降维及去噪.为使高维数据投影至低维空间后仍能保持原有子空间结构,提出基于子空间结构保持的多层极限学习机自编码器降维方法(Multilayer extreme learning machine autoencoder based on subspace structure preserving,ML-SELM-AE).该方法在保持聚类样本多子空间结构的同时,利用多层极限学习机自编码器捕获样本集的深层特征.实验结果表明,该方法在UCI数据、脑电数据和基因表达谱数据上可以有效提高聚类准确率且取得较高的学习效率.

基于光电编码器的电梯平层控制系统的设计

为了实现更精确的停层以及更方便的调试,论文研究了基于光电编码器使用PLC实现电梯位置的精确定位,利用光电编码器定位精度高的特点,提高电梯的平层精度并降低调试难度。

基于Transformer_LSTM编解码器模型的船舶轨迹异常检测方法

[目的]为提升船舶轨迹异常检测的精度和效率,解决传统异常检测方法存在的特征表征能力有限、补偿精度不足、容易出现梯度消失、过拟合等问题,提出一种基于Transformer_LSTM编解码器模型的无监督船舶轨迹异常检测方法。[方法]该方法基于编码器解码器架构,由Transformer_LSTM模块替代传统神经网络实现轨迹特征提取和轨迹重构;将Transformer嵌入LSTM的递归机制,结合循环单元和注意力机制,利用自注意力和交叉注意力实现对循环单元状态向量的计算,实现对长序列模型的有效构建;通过最小化重构输出和原始输入之间的差异,使模型学习一般轨迹的特征和运动模式,将重构误差大于异常阈值的轨迹判定为异常轨迹。[结果]采用2021年1月的船舶AIS数据进行实验,结果表明,模型在准确率、精确率以及召回率上相较于LOF,DBSCAN,VAE,LSTM等经典模型有着明显提升;F1分数相较于VAE_LSTM模型提升约8.11%。[结论]该方法的异常检测性能在各项指标上显著优于传统算法,可有效、可靠地运用于海上船舶轨迹异常检测。

基于条件变分自编码器的熔铸炸药成型缺陷快速模拟和预测

为了实现凝固缺陷的快速模拟和预测,提出了一种基于条件变分自编码器(CVAE)的熔铸炸药成型缺陷预测模型;以注液温度、冒口预热温度等工艺参数为条件,通过条件变分自编码器建立工艺参数与熔铸炸药缺陷的条件概率模型;采用多层神经网络和变分推断方法结合进行模型训练,实现了RHT和DNP基熔铸炸药凝固成型缺陷预测。结果表明,成功构建了熔铸炸药凝固过程数值模拟的条件概率分布,实现了基于仿真数据的RHT和DNP基熔铸炸药凝固缺陷预测;与有限元直接数值计算结果比较,CVAE算法计算缺陷位置的准确率可达到99%,计算时间小于2 s;CVAE在熔铸炸药缺陷概率分布建模上具有性能高、泛化性强的特点,能有效实现熔铸炸药成型缺陷的智能预测。

基于多尺度卷积编码器的说话人验证网络

说话人验证是一种有效的生物身份验证方法,说话人嵌入特征的质量在很大程度上影响着说话人验证系统的性能。最近,Transformer模型在自动语音识别领域展现出了巨大的潜力,但由于Transformer中传统的自注意力机制对局部特征的提取能力较弱,难以提取有效的说话人嵌入特征,因此Transformer模型在说话人验证领域的性能难以超越以往的基于卷积网络的模型。为了提高Transformer对局部特征的提取能力,文中提出了一种新的自注意力机制用于Transformer编码器,称为多尺度卷积自注意力编码器(Multi-scale Convolutional Self-Attention Encoder,MCAE)。利用不同尺度的卷积操作来提取多时间尺度信息,并通过融合时域和频域的特征,使模型获得更丰富的局部特征表示,这样的编码器设计对于说话人验证是更有效的。通过实验表明,在3个公开的测试集上,所提方法的综合性能表现更佳。与传统的Transformer编码器相比,MCAE也是更轻量级的,这更有利于模型的应用部署。

一种单层自动编码器的聚类算法研究

不同的聚类算法都可以完成对无标签数据的分类,而Kmeans聚类算法是一种无监督静态数据分析机器学习方法,已被广泛应用于机器学习、模式识别、数据挖掘等领域.但对维度数据准确率不高,本文引入深度自动编码器完成对输入样本的特征自动学习和重构,实现对数据的降维和特征提取,代替原始数据通过Kmeans算法进行聚类分析.实验结果证明,改进后的AE Kmeans(Auto Encoder Kmeans)算法与单独使用Kmeans算法完成聚类相比,准确率得到明显提高.