用于旋转机械状态趋势预测的量子注意力循环编码解码神经网络

提出了基于量子注意力循环编码解码神经网络(QAREDNN)的旋转机械状态趋势预测方法。在QAREDNN中,引入注意力机制以同时重构QAREDNN的编码器和解码器,使QAREDNN能够充分挖掘和重视重要信息,并抑制冗余信息的干扰,从而获得更好的非线性逼近能力;采用量子神经元构建了一种活性值和权值由量子旋转矩阵代替的量子门限循环单元(QGRU),QGRU不仅能够更加精细地遍历解空间,还具有大量的多重吸引子,因此QGRU能代替传统编码器和解码器中的循环单元以提高QAREDNN的泛化能力和响应速度;通过引入Levenberg-Marquardt(LM)法来提高QAREDNN的量子旋转矩阵的旋转角和注意力参数的更新速度。滚动轴承状态趋势预测实例验证了该方法的有效性。

基于循环神经网络的工程专业语义智能分析方法研究

针对传统翻译方法学习能力差、翻译质量较低的问题,提出了一种基于循环神经网络的专业英语机器翻译方法。该方法以编码器-解码器为模型框架,利用改进的循环卷积神经网络对输入数据加以训练。同时编码器使用多头注意力机制对输入数据进行共同训练,进而使算法兼具局部与全局特性。解码器单层则采用三子层结构,分别为多头注意力子层、上下文信息子层及全连接子层,可保证句子翻译的流畅性。在实验测试中,所提算法的BLEU值与其他算法相比提升了2.7;而在专业语料翻译测试中,相较于网络翻译,该算法的准确性和流畅度均更优,由此表明其性能较好,具有一定的工程应用价值。

融合多注意力神经网络的方面级情感分析

针对现有方面级情感分析模型中特征向量信息不足和语义丢失问题,提出一种多注意力融合的神经网络模型。利用词向量注意力机制捕捉句子上下文和方面词之间的语义关系;利用位置注意力机制影响方面词周围的情感特征;利用自注意力机制捕捉序列内部特征用于加强序列表示。为验证模型的有效性,在SemEval 2014 Task 4和ACL 14 Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

基于双层注意力和深度自编码器的时间序列异常检测模型

目前时间序列通常具有弱周期性以及高度复杂的相关性特征,传统的时间序列异常检测方法难以检测此类异常。针对这一问题,提出了一种新的无监督时间序列异常检测模型(DA-CBG-AE)。首先,使用新型滑动窗口方法,针对时间序列周期性设置滑动窗口大小;其次,采用卷积神经网络提取时间序列高维度空间特征;然后,提出具有堆叠式Dropout双向门循环单元网络作为自编码器的基本结构,从而捕捉时间序列的相关性特征;最后,引入双层注意力机制,进一步提取特征,选择更加关键的时间序列,从而提高异常检测准确率。为了验证该模型的有效性,将DA-CBG-AE与6种基准模型在8个数据集上进行比较。最终的实验结果表明,DA-CBG-AE获得了最优的F1值(0.863),并且其检测性能相比最新的基准模型Tad-GAN高出25.25%。

基于注意力机制编码器-解码器的手写数学公式识别模型

针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。

基于降噪循环神经网络的风电功率预测

针对风电功率数据的时序性特点,提出降噪循环神经网络模型对电场中短期内的风电功率进行预测.通过模型能够挖掘其蕴含的知识,提高电力系统的稳定性,优化电力调度.模型首先采用循环神经网络构建一个编码-解码结构,设计编码器从序列变量中获取相应的深度特征,再通过解码器对深度特征进行解码,还原输入序列的状态并预测下一时刻的输出.进而,模型在解码器中设计降噪模块和预测模块,克服一般循环神经网络难以对带噪声数据进行预测的问题,使得模型能够对含有噪声的输入变量进行分析.通过利用电力物联网所采集的数据进行实验,结果证明提出的方法能很好地对风电功率进行预测,达到较好的预测效果.

图像融合的循环神经网络去雾算法

传统的图像融合去雾算法通过统计大量图像特征来设置融合权重,不仅耗时费力,还易出现误差.为此,本文提出了图像融合的循环神经网络来解决该问题.首先,从初始雾图中推导其衍生的白平衡图像、对比度增强图像、伽马校正图像,作为去雾所需的融合图像;随后,构建编码解码网络的去雾模型,并将三张融合图像与初始雾图相串联,共同作为网络的输入.利用此网络学习和生成融合图像对应的权重图,以融合信息估计无雾图像,从而解决传统图像融合去雾算法中权重计算耗时费力,易产生误差的问题;最后,为了进一步优化去雾结果,在编码解码的网络模型中嵌入循环单元,构建循环编码解码网络,即将上次循环时网络输出作为下次循环时网络输入,同时使循环单元中的隐藏状态也随之传递,以便更好优化去雾结果.实验结果表明,在合成和真实图像的测试下,本文算法都具有较高去雾精度,与已有算法相比,其去雾精度提高了19%,能有效用于工程实践中.

基于编解码深度神经网络的交通流预测模型

本文提出了一种基于编码器-解码器结构的深度神经网络模型。在经典的编解码模型基础上,基于长短时记忆网络模型并扩展时间注意力学习机制,以自动学习交通流相关序列数据中的隐含表示和非线性相关深度特征,实现端到端的变长交通流序列预测,并扩展注意力机制以提升模型的预测性能。基于真实的交通流数据集进行了对比实验分析,实验结果表明所提出的交通流预测模型相比基准模型具有更优的预测准确率。

应用自编码——解码架构的ConvGRU网络空变子波提取方法

地震勘探的成像和反演质量取决于地震子波的提取精度。地震子波在传播过程中主频和相位会改变,即子波形态会出现变化。现有的子波估计方法未能充分考虑子波的空变特性,同时传统空变子波提取方法对测井资料等先验信息依赖性较强,且受各类假设限制。为此,提出了一种使用自编码—解码架构与卷积门控循环单元(ConvGRU)网络的空变子波提取方法。该方法使用卷积运算与门控运算同步提取不同地震道子波的主频和相位变化特征;将提取的子波变化特征经编码得到特征变量,特征变量经解码器可更高效地提取横向道间和纵向时间上的变化特征。使用有限差分正演和非平稳褶积模型建立符合实际数据分布特点的训练数据;搭建自编码—解码网络并迭代训练网络,得到空变子波提取模型;使用该模型提取地震多道空变子波。数值仿真实验验证了该方法比传统子波提取方法具有更高的精度;中国西部实际地震资料处理结果表明,该空变子波提取方法具有一定的实际应用价值。

深度神经网络图像描述综述

深度学习的迅速发展使得图像描述效果得到显著提升,针对基于深度神经网络的图像描述方法及其研究现状进行详细综述。图像描述算法结合计算机视觉和自然语言处理的知识,根据图像中检测到的内容自动生成自然语言描述,是场景理解的重要部分。图像描述任务中,一般采用由编码器和解码器组成的基本架构。改进编码器或解码器,应用生成对抗网络、强化学习、无监督学习以及图卷积神经网络等方法能有效提高图像描述算法的性能。对每类方法的代表模型算法的效果以及优缺点进行分析,并介绍适用的公开数据集,在此基础上进行对比实验。对图像描述面临的挑战以及未来工作的发展方向做出展望。

基于注意力机制的多层次编码和解码的图像描述模型

图像描述任务是图像理解的一个重要分支,它不仅要求能够正确识别图像的内容,还要求能够生成在语法和语义上正确的句子。传统的基于编码器−解码器的模型不能充分利用图像特征并且解码方式单一。针对这些问题,提出一种基于注意力机制的多层次编码和解码的图像描述模型。首先使用Faster R-CNN(Faster Region-based Convolutional Neural Network)提取图像特征,然后采用Transformer提取图像的3种高层次特征,并利用金字塔型的融合方式对特征进行有效融合,最后构建3个长短期记忆(LSTM)网络对不同层次特征进行层次化解码。在解码部分,利用软注意力机制使得模型能够关注当前步骤所需要的重要信息。在MSCOCO大型数据集上进行实验,利用多种指标(BLEU、METEOR、ROUGE-L、CIDEr)对模型进行评价,该模型在指标BLEU-4、METEOR和CIDEr上相较于Recall(Recall what you see)模型分别提升了2.5个百分点、2.6个百分点和8.8个百分点;相较于HAF(Hierarchical Attention-based Fusion)模型分别提升了1.2个百分点、0.5个百分点和3.5个百分点。此外,通过可视化生成的描述语句可以看出,所提出模型所生成的描述语句能够准确反映图像内容。

兼顾速度和精度的深度神经网络震相拾取

深度神经网络虽然在震相拾取中取得了良好效果,但作为高复杂度的机器学习模型,深度神经网络在取得较高精度的同时需要付出较高的计算代价,而且试验研究表明震相拾取中并不需要过高的模型复杂度。为此,本文根据地震波形的特点设计了四种具有不同复杂度的深度神经网络改进模型,可以综合具体的精度和速度需求从中选取合适的模型。在此基础上,将改进模型与现有四种到时拾取的深度学习网络模型进行了对比,结果表明本文中的网络模型在到时拾取上具有较高的速度和精度。同时,本文的深度神经网络通过使用多种深度学习模型压缩手段可将震相拾取模型的大小压缩到2.0 MB以内,从而使得模型可以在低功耗设备上完成高速震相拾取的同时尽可能地减少精度损失。

混合扩张卷积和注意力机制的路面裂缝检测

针对复杂背景下路面裂缝检测困难的问题,提出一种基于混合扩张卷积和空间-通道注意力机制的路面裂缝检测算法。基于改进的U-Net网络,在编码阶段,使用空间-通道注意力机制增强裂缝特征,抑制非裂缝特征;在网络中间部分,使用混合扩张卷积实现在不增加额外模块的前提下增大网络的感受野;在解码阶段,融合多层次和多尺度特征使最终预测结果更接近路面真实情况。实验结果表明,所提算法能够快速准确地对路面裂缝进行检测,具有较强的鲁棒性。

基于注意力机制的滚动轴承剩余使用寿命预测方法

现有的轴承振动信号特征的提取方法过分依赖于专家的经验,同时在轴承的寿命预测过程中,存在因序列过长而导致的记忆力退化等问题,为此,结合卷积神经网络-注意力机制网络(CNN-attention)和基于注意力机制的Encoder-Decoder方法,提出了一种滚动轴承剩余使用寿命(RUL)的预测模型(方法)。首先,利用快速傅里叶变换(FFT)方法,将滚动轴承的初始振动信号转换成频域幅值信号;然后,设计了一种基于注意力机制的模型:其中,利用CNN-attention进行了退化特征提取,利用基于注意力机制的Encoder-Decoder网络进行了RUL预测,并进一步在远距离信号传输中解决了循环神经网络记忆衰退的问题;最后,为了验证特征提取模型以及寿命预测模型的有效性,采用PHM 2012轴承退化数据集,通过轴承加速退化PRONOSTIA实验平台进行了实验,并将其所得结果与未采用注意力机制模型的预测结果以及其他文献方法所得结果进行了对比。实验结果表明:与其他方法相比,基于注意力机制模型的方法平均绝对误差分别降低了29.41%、32.00%、29.56%、32.34%,平均得分分别提高了0.39%、0.98%、0.82%、15.46%。研究结果表明:在轴承RUL预测方面,基于注意力机制的轴承剩余使用寿命预测模型(方法)是有效的。

基于图注意力网络与双阶注意力机制的径流预报模型

为了提高流域径流量预报的准确率,考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题,提出了一种使用图注意力网络与基于长短期记忆网络(LSTM)的双阶注意力机制(GAT-DALSTM)模型来进行径流预报。首先,以流域站点的水文资料为基础,引入图神经网络提取流域站点的拓扑结构并生成特征向量;其次,针对水文时间序列数据的特点,建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测,并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上,将所提模型与图卷积神经网络(GCN)和长短期记忆网络(LSTM)在各个预测步长下进行比较,实验结果表明,所提模型的纳什效率系数分别平均提高了3.7%和4.9%,验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析,验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。

基于多级连续编码与解码的图像超分辨率重建算法

以卷积神经网络为模型框架的图像超分辨率重建算法难以提取低分辨率图像内部的多层次特征信息,导致重建图像缺少丰富细节,为此提出新的图像超分辨率重建算法.所提算法通过初始卷积层从低分辨率图像提取浅层特征;通过多个端对端连接的多级连续编码与解码的注意力残差模块获取低分辨率图像内部不同层级的图像特征,按照不同的提取难度生成这些特征的权重,重新校准不同层次的图像特征,获取图像内部丰富的细节特征;通过上采样模块和重建卷积层将提取到的丰富细节特征和浅层特征重建成高分辨率图像.在Set5、Set14、BSD100和Urban100测试集上进行的对比测试结果表明,使用所提算法重建的图像在客观评价指标、视觉效果上均优于使用主流算法重建的图像.

基于堆叠稀疏去噪自编码器的混合入侵检测方法

针对高维数据场景下传统入侵检测方法特征提取困难、检测准确率低等问题,提出一种集成多种深度学习模型的混合入侵检测方法.该方法由特征降维算法和混合检测模型2部分组成.首先,利用堆叠稀疏去噪自编码器对原始数据进行特征降维,从而剔除可能存在的噪声干扰和冗余信息.然后,采用一维卷积神经网络和双向门控循环单元学习数据中的空间维度特征和时序维度特征,将融合后的空时特征通过注意力分配不同的权重系数,从而使有用的信息得到更好表达,再经由全连接层训练后进行分类.为检验方案的可行性,在UNSW-NB15数据集上进行验证.结果表明,该模型与其他同类型入侵检测算法相比,拥有更优秀的检测性能,其准确率达到99.57%,误报率仅为0.68%.

基于残差密集块与注意力机制的图像去雾网络

基于卷积神经网络的单幅图像去雾算法虽然取得了一定进展,但仍然存在去雾不完全和伪影等问题.基于这一现状,提出了一种以编码器-解码器结构为基本框架,融合注意力机制与残差密集块的单幅图像去雾网络.首先,利用网络中的编码器、特征恢复模块和解码器三个部分直接对去雾后的图像进行预测;然后,在网络中引入本文所设计的带有注意力机制的残差密集块,提升网络的特征提取能力;最后,基于注意力机制提出自适应跳跃连接模块,增强网络对去雾图像细节的恢复能力.实验结果表明,与现有去雾方法相比,提出的去雾网络在合成有雾图像数据集和真实有雾图像上均取得了较为理想的去雾效果.

基于双层解码的多轮情感对话生成模型

情感对话系统的成功取决于语言理解、情感感知和表达能力,同时面部表情和个性等也能提供帮助。然而,尽管这些信息对于多轮情感对话至关重要,但是现有系统既未能够充分利用多模态信息的优势,又忽略了上下文相关性的重要性。为了解决这个问题,提出了一种基于双层解码的多轮情感对话生成模型(MEDG-DD)。该模型利用异构的图神经网络编码器将历史对话、面部表情、情感流和说话者信息进行融合,以获得更加全面的对话上下文。然后,使用基于注意力机制的双层解码器,以生成与对话上下文相关的富含情感的言辞。实验结果表明,该模型能够有效地整合多模态信息,实现更为准确、自然且连贯的情感话语。与传统的ReCoSa模型相比,该模型在各项评估指标上均有显著的提升。