基于分阶段自编码器与注意力机制的舰载机着舰航迹实时预测模型

航空母舰舰载机着舰过程中应沿相对固定的航迹下滑,以保证触舰点位于舰艉拦阻系统所在的区域,因此舰载机航迹是着舰信号官进行指挥决策的重要依据之一。舰载机航迹实时预测有助于着舰信号官判断着舰作业发展态势,及时形成正确的航迹纠偏引导指令。为此,提出一种基于分阶段自编码器与注意力机制的着舰航迹实时预测模型。第一阶段采用降噪自编码器对历史航迹数据进行特征提取;第二阶段基于长短期记忆网络构建时序自编码器,同时引入注意力机制对不同时刻的编码器输出分配不同的权重,自适应学习其对最终预测结果的影响强度。通过仿真实验将所提模型与6种基线模型进行对比,结果表明,所提模型的综合性能优于基线模型,能够满足着舰航迹实时准确预测的应用需求。

融合注意力机制的自编码器推荐算法

为充分获取用户的个性化信息,提高推荐算法的准确性,提出了一种融合注意力机制的自编码器推荐算法。所提算法首先针对数据中蕴含的低阶特征和高阶特征,专门设计了相应的特征提取模块,增强传统编码器的泛化能力和记忆能力,然后利用注意力机制对特征进行融合,得到关于用户偏好信息的向量表示,并通过解码器预测用户对物品的购买意愿,最终实现个性化推荐任务。在ML-100K,ML-1M和Yahoo Music三个数据集上进行实验,并与主流个性化推荐算法进行对比,本文算法在Precision,Recall,F1值和归一化折损累计增益(NDCG)四个指标上均有较大的提升。在互联网推荐场景下,本文算法能够充分挖掘出用户的偏好信息,为用户提供高质量的推荐结果即给出合理的物品购买决策建议,从而最大化满足用户需求。

结合图自动编码器和结构化注意力机制的miRNA-疾病关联预测方法

MicroRNA(miRNA)-疾病关联预测的研究有助于人类进行疾病预防、诊断和治疗等,许多研究人员开发出了基于图自动编码器的miRNA-疾病关联预测方法,然而大多数编码器方法在对中心节点编码的时候并没有考虑到邻居节点之间的差异。因此,本文提出一种结合图自动编码器和结构化注意力机制的miRNA-疾病关联预测方法(SAAE)。SAAE模型使用基于图神经网络的编码器,该编码器采用多个编码层堆叠的方式以探索多阶邻居的信息。为了将中心节点与邻居节点不同权重的特征信息进行融合并捕获节点在图中的高阶结构信息,引进结构化注意力机制对图节点的原始信息进行编码,以生成新的特征信息。随后,通过解码器进行解码,解码后的特征信息使用随机森林算法挖掘miRNA和疾病节点之间的潜在联系。实验结果表明,SAAE在5倍交叉验证的曲线下的平均面积为94.53%。此外,本文还进行了关于肾脏肿瘤和肺部肿瘤的2个案例研究,验证了SAAE预测的有效性。

基于双层注意力和深度自编码器的时间序列异常检测模型

目前时间序列通常具有弱周期性以及高度复杂的相关性特征,传统的时间序列异常检测方法难以检测此类异常。针对这一问题,提出了一种新的无监督时间序列异常检测模型(DA-CBG-AE)。首先,使用新型滑动窗口方法,针对时间序列周期性设置滑动窗口大小;其次,采用卷积神经网络提取时间序列高维度空间特征;然后,提出具有堆叠式Dropout双向门循环单元网络作为自编码器的基本结构,从而捕捉时间序列的相关性特征;最后,引入双层注意力机制,进一步提取特征,选择更加关键的时间序列,从而提高异常检测准确率。为了验证该模型的有效性,将DA-CBG-AE与6种基准模型在8个数据集上进行比较。最终的实验结果表明,DA-CBG-AE获得了最优的F1值(0.863),并且其检测性能相比最新的基准模型Tad-GAN高出25.25%。

一种基于注意力机制的对抗型自编码器图像修复模型

为解决图像修复中存在的伪影以及细节表达不一致等问题,提出一种基于注意力机制的对抗型自编码器(adversarial auto-encoder based on attention mechanism,AAEA)图像修复模型。在通用编码器模型基础上,通过在生成器跳跃连接处引入通道注意力构造通道相似性融合模块(channel similarity fusion module,CSFM)的方式使通道之间的特征关系更丰富。在解码器网络中,通过空间注意力与位置编码结合的方式构造位置融合模块(location fusion model,LFM),增强边界位置信息表达。消融实验结果表明,引入的CSFM、LFM模块均能有效提升模型性能,阈值为1.25^(3)时的准确率达到0.9808。AAEA模型能够更好地处理复杂的图像修复任务,有效地改正错乱纹理,并在掩膜边缘区域获得清晰的修复结果,对于壁画修复以及计算机视觉等图像修复领域的发展具有重要意义。

注意力机制和自编码器构造的零水印算法

零水印技术为保护图像版权的有效手段之一.然而,现有的许多零水印算法大多采用传统的数学理论进行人工提取特征,在结合神经网络进行图片特征提取的零水印方向上并没有广泛研究.目前神经网络在图像特征提取上已经取得了很好的成绩,充分利用卷积自编码器和注意力机制,提出了一种用于构造零水印的深度注意自编码器模型(attention mechanism and autoencoder, AMAE).首先是利用带有注意力的卷积神经网络构建自编码器,然后对自编码器进行训练;其次,利用训练好的编码器输出的特征构造图像的整体特征;最后,将获得的特征图进行二值模式处理得到特征二值矩阵,再与水印图像异或运算得到零水印,并在知识产权信息数据库进行注册,零水印一旦注册,原图像便处于水印技术的保护下.在训练过程中,借鉴对抗训练的思想,对模型进行加噪训练,这提高了模型的鲁棒性.实验结果表明,本文的零水印算法在旋转、噪声和滤波等攻击下,提取水印图像与原水印图像的归一化系数(normalized correlation, NC)值均超过0.9,证明了提出算法的有效性和优越性.

基于自注意力机制的卷积自编码器多次波压制方法

地震数据的智能化处理可以降低人工成本,减少对未知先验信息的依赖,提升数据处理效率。在地震勘探数据中多次波通常被视作噪声,需要基于一定的数学物理模型对其进行压制或分离。研究利用与多次波全局时空高度相关的自注意力卷积自编码器神经网络压制多次波,可以避免实际计算中的超参数选取,大幅提高计算效率。其中,自注意力机制可以提升网络性能。将实测地震数据成像道集作为神经网络输入,使用商业软件将多次波压制后的结果作为标签数据,利用10%的工区地震数据训练神经网络以及90%的工区地震数据测试神经网络。神经网络测试的输出结果与标签数据的残差均值为0.0014,两者差距极小,说明使用该神经网络压制多次波的结果是正确的。与传统方法相比,基于自注意力机制的卷积自编码器多次波压制方法只需人工处理小样本量数据,再进行神经网络训练便可处理工区的大体量地震数据,为实际地震数据的多次波压制提供了一种有效且高效率的智能化处理方法。

融合深度去噪自编码器和注意力机制的推荐算法

传统推荐算法无论在特征提取还是相似度计算方面仍存在数据稀疏和大量噪声数据问题,导致推荐效率不高、用户满意度低等问题,由此提出一种融合深度去噪自编码器和注意力机制的推荐算法。将深度去噪自编码器融入到基于项目相似度的协同过滤推荐算法中,同时加入了注意力机制,以惩罚活跃用户对实验结果的影响,既可以挖掘到用户与项目的线性特征又可以学习到用户与项目非线性特征。实验选取了MovieLens和Pinterest两个公开数据集,与传统推荐算法和近些年较先进算法相比,该算法能够显著提升传统推荐算法的性能,并可以缓解传统推荐算法存在的数据稀疏和冷启动问题。

基于注意力变分自编码器的时序异常检测算法

基于时间序列的异常检测对于多领域的应用场景至关重要,目的是从时间序列的样本分布中识别出异常样本,设计该识别算法的根本挑战是学习一个能有效区分异常的表示。提出一种基于注意力变分自编码器的无监督时间序列异常检测算法,编码器采用卷积与自注意力机制进行特征提取、采用对称结构进行特征重建,通过隔离状态的数据集来计算重建损失从而确定异常阈值。通过与现有5种方法的对比实验表明,该方法在Precision、Recall和F1-score三个指标上均有提升,有效提升时间序列无监督异常检测的准确率。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

基于注意力机制的双编码器代码注释生成

针对代码注释较少导致软件项目可维护性降低、理解代码语义困难等问题,提出一种基于NMT模型的双编码器框架自动生成代码注释的方法.在该框架中,首先提取不同的代码特征信息;然后分别采用序列编码器和图编码器对不同的代码特征编码,引入注意力机制调整编码器输出向量,再对双编码器的输出向量综合处理;最终利用解码器对综合向量解码获得注释序列.为了验证带有注意力机制的双编码器模型效果,本文构建自动生成代码注释算法框架.实验表明,双编码器模型与文中的序列编码器和树编码器模型算法相比,在生成代码注释方面的结果评估得分上表现较好.通过BLEU-1、ROUGE-L和F1测评指标得分对比,验证了本文算法的有效性.

基于注意力机制编码器-解码器的手写数学公式识别模型

针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。

基于双向注意力机制的多模态关系抽取

传统关系抽取方法从纯文本中识别实体对之间的关系,多模态关系抽取方法通过利用多种模态信息辅助关系抽取任务。针对现有多模态关系抽取模型在处理图像数据时存在容易受到冗余信息干扰的问题,提出一种基于双向注意力机制的多模态关系抽取模型。首先,采用来自Transformer的双向编码器表示(BERT)与场景图生成模型分别提取文本语义特征与图像语义特征。然后,利用双向注意力机制建立图像到文本与文本到图像的双向对齐机制,通过这种双向对齐机制实现图像与文本之间的双向信息交互,赋予图像中冗余信息较低的权重以削弱其对文本语义表示的干扰,从而减轻图像中冗余信息对关系抽取结果造成的负面影响。最后,将对齐后的文本特征表示与视觉特征表示相连接形成文本与图像的融合特征,通过多层感知机(MLP)计算所有关系分类的概率分数并输出预测关系。在用于神经关系提取的多模式数据集(MNRE)上的实验结果表明,该模型的精确率、召回率、F1值分别达到65.53%、69.21%与67.32%,相比于基准模型均有明显提升,具有较好的关系抽取效果。

变分自编码器和注意力机制的异常入侵检测方法

针对传统的机器学习算法在检测未知攻击方面表现不佳的问题,提出了一种基于变分自动编码器和注意力机制的异常入侵检测方法,通过将变分自编码器和注意力机制相结合,实现使用深度学习方法从基于流量的数据中检测异常网络流量的目标。所提方法利用独热编码和归一化技术对输入数据进行预处理;将数据输入到基于注意力机制的变分编码器中,采集训练样本中隐含特征信息,并将其融入最终潜变量中;计算原始数据与重建数据之间的重建误差,进而基于适当的阈值判断流量的异常情况。实验结果表明,与其他入侵检测方法相比,所提方法明显改善了入侵检测的精度,不仅可以检测已知和未知攻击,而且还可以提高低频次攻击的检测率。

基于双重注意力机制的降噪自编码器推荐算法

为了解决传统协同过滤算法的准确度因评分缺失产生的剧烈变化以及冷启动问题,本文提出了一种新的降噪自编码器推荐算法。该方法将注意力机制与辅助信息共同融入降噪自编码器中对评分与交互数据进行处理。首先针对用户交互项目动态分配注意力以学习用户偏好,然后再次通过注意力机制学习隐藏层向量、用户偏好、辅助信息的权重以获得完整评分矩阵。在公开数据集上对该算法进行实验仿真,观察算法性能。结果表明,该算法有效利用了辅助信息且准确度有明显提高。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

基于双向GRU和注意力机制的叠前地震孔隙度预测方法

岩石孔隙度是表征储层的重要参数之一,对孔隙度进行准确预测有利于更精细地刻画高孔高渗储层位置。然而地震弹性参数与孔隙度之间的关系较为复杂,给储层孔隙度的准确预测带来一定困难。深度学习为地震准确预测孔隙度提供了新思路。提出了一种基于双向门控循环单元神经网络(GRU)和注意力机制(BiGRU-Attention)的叠前地震孔隙度预测方法,该方法利用双向GRU实现信息的双向传播并加入Attention机制放大关键信息,将叠前同时反演得到的纵波速度和密度信息作为输入,以测井孔隙度值作为标签来训练和测试BiGRU-Attention网络,建立起地震弹性参数与孔隙度之间的复杂映射关系,进而实现孔隙度的准确预测。实际数据测试结果表明,相比于常规多元线性回归方法(MLR)、密集神经网络(DNN)和门控循环单元神经网络(GRU)等预测方法,BiGRU-Attention网络预测方法在盲井测试中预测精度更高。将该方法应用于某实际三维工区地震数据预测的孔隙度值与测井孔隙度值匹配良好,说明该方法具有较好的实用价值。

编码器中自注意力机制的替代方案

本文针对Transformer中编码器进行改进,尝试了包括RNN(recurrentneuralnetwork)、CNN(convolutionalneuralnetwork)、动态路由等多种结构,对比其特征提取能力及对解码器的影响。实验表明,在编码器中引入RNN、IndRNN结构可以在一定程度上增加编码器对源语言的特征提取能力,而采用CNN替代编码器中的自注意力机制(self-attention)可以在不明显影响结果的情况下显著降低参数量,提升模型性能。由于考虑参数量和执行时间,动态路由在该任务下效果不好,这也说明了动态路由结构虽然是很强的特征提取器,但并不适合进行堆叠。

融合复杂先验与注意力机制的变分自动编码器

传统变分自动编码器模型通常使用标准正态分布作为隐向量先验,当应用于推荐系统等复杂任务时容易导致模型过度正则化和隐向量解耦表现不佳。融合复杂隐向量先验与注意力机制,建立变分自动编码器模型。使用多层神经网络生成的隐向量先验分布替代标准正态分布作为假设先验分布,使得模型能根据数据学习先验分布并获得更多的潜在表征。在单层隐向量的基础上添加辅助隐向量,联合辅助隐向量与数据特征向量再生成隐向量,增强了隐向量的低维表现能力和解耦性。借助注意力机制的特征信息选择特点,对隐向量中重要节点赋予更大的权重值,使其能传递更重要的信息。在数据集Movielens-1M、Movielens-Latest-Small、Movielens-20M和Netflix上的实验结果表明,该模型的Recall@20、Recall@50、NDCG@100相较于基线模型平均提升了12.95%、10.80%、10.48%,具有更高的推荐精确度。