基于Attention机制的CNN-LSTM概率预测模型的股指预测

鉴于证券市场波动大预测难度高,文章基于encoder-decoder结构将Attention机制融入CNN-LSTM模型,利用Attention机制来捕捉不同时间点之间的数据依赖模式,提取长序列信息,并且在此基础上给出概率密度函数进行抽样预测,最终得出股票价格的点预测和区间预测。实验结果表明,融入Attention机制的CNN-LSTM概率预测模型从综合性能来看优于其他基准模型,能够对上证指数收盘价进行较高精度的多步预测。

融入CTC-Attention机制的文本识别算法研究与应用

针对自然场景中图像文本检测和识别极易受到各种噪声信息和对比度低等问题的影响,本文提出了一种融合CTC-Attention(Connectionist Temporal Classification-Attention)机制的文本识别算法。在特征提取上,运用CNN网络模型提取文本的静态特征,运用长短时记忆网络LSTM提取文本动态上下文特征,运用混合CTC-Attention机制对输出层的编码进行解码,将混合CTC-Attention机制融入到文本识别算法中,利用CTC对Attention的空间约束作用,可以实现解码过程中更强调特征性,算法更强调当前的特征性,有效地减弱注意力偏移所产生的问题。实验仿真结果显示,该算法可以很好地实现识别效果的提升。

基于Attention机制改进TimeGAN的小样本时间序列预测方法

利用深度学习进行时间序列预测时所表现出的优越性能在很大程度上得益于数量庞大的训练样本。然而,实际过程中普遍存在数据难以收集而无法准确建模的问题。为了解决时间序列预测中的小样本问题,本文提出了一种基于注意力机制并融合时间卷积网络与长短期记忆网络的数据增强网络(ATCLSTM-TimeGAN),通过在时间序列过程生成对抗网络(TimeGAN)中加入Soft-Attention机制来解决其动态信息丢失的问题。针对生成器的输入一般为随机向量,采用时间卷积结构与Self-Attention机制融合,获得更好的数据生成效果。为了验证生成数据的真实性与有用性,比较了不同的数据增强方法所生成数据的分布差异以及合成数据用于预测时的预测效果。实验结果表明,相比于其他方法,ATCLSTM-TimeGAN能够更好地覆盖原始数据的分布,有效地降低了小样本下的预测误差。

基于Attention-BiLSTM混合模型的月尺度降水量预测

降水受到多种气象因素的影响,从而导致降水预测精度不高。针对这个问题,在考虑影响降水的多个气象因素基础上,通过Attention机制赋予各种气象因素不同的权重,结合双向长短期记忆神经网络(BiLSTM),提出了改进的Attention-BiLSTM混合模型去实现月尺度降水量的预测。以江西省南昌气象站为例,将1989—2018年的逐月降水量与逐月气象因素(气温、蒸发量、气压等)观测资料作为模型输入数据,通过Attention机制识别出各种气象因素的权重,从而提高BiLSTM模型对降水量的预测性能。结果表明:Attention-BiLSTM混合模型可有效地提高降水量预测的精度;通过Attention机制的修正,显著地改善了原有的BiLSTM模型降水量预测值偏低的问题。

基于Attention-LSTM-XGBoost的电极移动速度影响放电参数预测分析

基于具有Attention机制的长短期记忆(attention long short-term memory,Attention-LSTM)神经网络模型,设计了一种由Attention-LSTM神经网络与极端的梯度增强(extreme gradient boosting,XGBoost)法共同组成的变权组合模型,用以分析预测静电放电过程中电极移动速度对放电参数造成的影响。该组合模型充分利用静电放电参数的时序特性,并采用Attention机制突出对放电参数预测起到关键作用的输入特征。首先基于由新型电极移动速度效应测试仪的实验结果提供的原始实验数据,采用分箱法对其进行预处理得到新的实验数据;然后将得到的新实验数据集作为两种模型的输入数据,分开训练Attention-LSTM模型和XGBoost模型,求解出各自模型的预测结果及误差;最后利用误差倒数法,重新计算出两种模型预测结果的占比权重,并根据计算的权重求解出最终预测结果。预测结果表明:与Attention-LSTM神经网络模型、XGBoost模型、Attention-LSTMXGBoost定权组合模型相比,本文构建的Attention-LSTM-XGBoost变权组合模型,评估指标中的决定系数分别提升了5.22%、9.11%、3.13%。本文提出的变权组合模型在预测精度以及算法鲁棒性上均优于其他模型,有益于对小间隙静电放电参数变化趋势和规律的探寻。

基于Attention机制的LSTM测井曲线预测方法

测井曲线预测是解决因井径变化、仪器故障等因素造成曲线测量效果不佳或某段曲线缺失的有效手段。从记忆学习的角度入手,对传统长短时记忆(LSTM)循环神经网络在测井曲线预测过程中特征提取、权值匹配及预测误差等问题进行分析,阐释Attention机制(以下简称Att机制)在解决此类问题中的重要性。基于TensorFlow平台搭建了Att-LSTM预测模型,并利用该模型实现了测井曲线的预测。结果表明:在LSTM神经网络中引入Att机制增强了不同时深下的测井特征关联性,优化了不同时间段的测井特征权重分配问题。将Att-LSTM模型和LSTM模型实际预测结果进行对比,Att-LSTM模型预测的测井曲线误差有所下降,精度较传统LSTM模型提高约8%,证实了在LSTM模型中引入Att机制的合理性及实用性,为测井曲线预测提供了一种新思路。

基于Attention机制的CNN-BiLSTM瞬变电磁实时反演方法

瞬变电磁一维反演方法存在耗时长、参数难以调控、过于依赖初始模型等缺陷。为此,提出一种基于Attention机制的卷积−双向长短时记忆神经网络(AC-BiLSTM)瞬变电磁实时反演方法,充分利用时间差,在非观测时间进行模型训练,在观测时间对当下采集数据进行实时反演。整个过程中,以实测数据加入一定比例正演数据作为数据集,以监督学习方式将采样时间−视电阻率作为输入特征,以测井约束的Occam反演结果作为学习目标,基于卷积神经网络和长短期记忆神经网络搭建编码器−解码器模型,并针对数据特性,在解码器部分加入Attention机制对隐藏层输出数据进行重点提取,最后经全连接层获得深度−电阻率数据。研究结果表明:AC-BiLSTM算法能充分挖掘数据时空特性,快速获得符合地层电性特征的电阻率成像结果,在瞬变电磁正演数据集上的预测值与正演模型拟合优度达0.898、均方根误差18.44、平均相对误差0.065,与单一长短期记忆神经网络及Occam方法相比,拟合优度分别提高了0.086、0.176,均方根误差分别减小了2.97、9.32,平均相对误差分别减小了0.012、0.068。通过对V8电法工作站实测瞬变电磁数据的AC-BiLSTM反演,快速实现了研究区地层的精准分层、圈定了煤矿采空区分布范围,获得成果与真实情况一致。研究成果突破了传统反演方法局限性,提高了瞬变电磁数据解释精度及效率。

基于Attention机制的CNN-LSTM驾驶人意图识别方法研究

在自动驾驶系统中,系统需要准确识别驾驶人的意图,来帮助驾驶人在复杂的交通场景中安全驾驶。针对目前驾驶人意图识别准确率低,没有考虑优化特征对模型准确率影响的问题,运用深度学习知识,提出了一种基于时间序列模型的驾驶人意图识别方法。该方法基于Attention机制融合了卷积神经网络(convolutional neural networks,CNN)和长短时记忆网络(long short-term memory network,LSTM),引入车辆自身信息和环境信息作为时空输入来捕捉周围车辆的空间交互和时间演化。该方法可同时预测目标车辆驾驶人横向驾驶意图和纵向驾驶意图,并在实际道路数据集NGSIM(next generation simulation)上进行了训练和验证。实验结果表明,所提出的CNN-LSTM-Attention模型能够准确预测高速公路环境下驾驶人的驾驶意图,与LSTM模型和CNN-LSTM模型相比具有明显的优势,为自动驾驶系统的安全运行提供了有效保障。

基于Attention机制的GRU交换机故障研判方法

提出了一种基于Attention机制的门控循环单元(Gated Recurrent Unit,GRU)交换机故障研判方法,该方法将交换机故障前10 min的内存占用率、中央处理器(Central Processing Unit,CPU)使用率以及风扇转速等数据作为输入,用于搭建GRU网络架构学习交换机动态变化特征,将时间序列输入GRU模型,建模学习特征向量的变化规律;同时,引入Attention机制将隐藏状态设定不同的权重,加强了重要方面数据的影响。所设计实验使用了该交换机数据集,实验证明该方法可提高交换机故障定位与识别的效率和精度,对样本误差具有良好的鲁棒性。

基于改进混合CTC/attention架构的端到端普通话语音识别

端到端的语音识别通过用单个深度网络架构表示复杂模块,减少了构建语音识别系统的难度.文中对传统的混合链接时序分类(Connectionist temporal classification, CTC)模型和基于注意力机制(Attention-based)模型的端到端语音识别架构进行了改进,通过引入动态调整参数对CTC模型和基于注意力机制模型进行线性插值,从而实现混合架构的端到端语音识别.将改进后的方法应用在中文普通话语音识别中,选择带投影层的双向长短时记忆网络(Bidirectional long short-term memory projection, BLSTMP)作为编码器网络模型,声学特征选取80维的梅尔尺度滤波器组系数和基频共83维特征.实验结果表明,与传统的端到端语音识别方法比较,文中方法在普通话语音识别上能够降低3.8%的词错误率.

融入Attention机制改进Word2vec技术的水利水电工程专业词智能提取与分析方法

水利水电工程专业文本信息处理与分析以往主要依赖于人工交互,存在过程繁琐、效率低且易出错等问题。本文基于自然语言处理技术,引入Attention机制对Word2vec技术加以改进,提出了一种智能高效的水利水电工程专业词识别提取与分析方法。该方法通过组合Attention机制,改进Word2vec技术建立了专业词向量计算模型;根据所求词向量,计算词语间相似度,以词语间相似度为组合标准,组合提取水利水电工程专业词;进而结合已有的水利水电工程专业文本,验证所提取专业词的可信度,实现了水利水电工程专业词的自动提炼,构建了一套水利水电工程专业词智能识别提取与分析体系。该方法应用于实际某混凝土大坝长达229周的施工监理周报文本分析中,经过3轮识别计算与分析,获得了9034个水利水电工程专业词,准确率为87.58%,有效提升了水利水电工程专业文本信息提取分析的效率、准确率与智能化水平。

融合元数据及attention机制的深度联合学习推荐

融合元数据的协同过滤推荐即混合推荐算法是目前推荐系统领域研究的热点,能一定程度地解决数据稀疏及冷启动等问题。但融合元数据现有的建模方法大多数建立于用户/项目属性权重相同的情景下,以至于用户项目间重点关系表达不显著,难以获得较好的推荐性能。针对上述问题,提出一种融合元数据及attention机制的深度联合学习推荐方法。它利用双深度网络联合学习,其中一个网络基于隐反馈数据实现矩阵非线性分解以学习用户/项目个性化关系,另一个利用attention机制自动捕捉用户/项目关键属性对推荐工作的影响,通过赋予不同属性权重凸显的用户偏好关系建模辅以扩展模型。实验结果表明,所提推荐算法在MovieLens 100K和MovieLens 1M两个公开数据集上均表现出较为优越的推荐性能。

基于GRU-Attention机制的高校发明专利质量评估模型研究

为能够快速准确地对高校发明专利质量进行评估,充分考虑专利的文本属性和结构化数据信息,基于深度学习技术构建基于GRU-Attention机制的高校发明专利质量评估模型,并通过引入衡量高校发明专利质量的关键指标及权重信息对初始模型进行改进。经验证,结合专家知识改进后的评估模型在稳定性和准确率上有明显优势,能够为高校发明专利质量评估提供有效的理论和实践支撑。

基于改进MFO优化Attention-LSTM的超短期风电功率预测

针对风电功率的不确定性问题,提出一种基于改进飞蛾扑火算法(Moth-flame optimization,MFO)优化注意力机制长短时神经网络(Attention long short-term memory,Attention-LSTM)的风电功率超短期预测方法。首先利用自适应噪声完全集合经验模态分解(Complete ensemble empirical mode decomposition with adaptive noise analysis,CEEMDAN)将原始功率数据分解为多个模态分量(Intrinsic mode functions,IMF),以消除不同分量间的影响,再计算各个分量的样本熵,将样本熵近似的值合并,以降低运算规模;然后,通过引入Chebyshev混沌映射、柯西变异、基于Sigmoid函数的惯性权值来对传统的飞蛾扑火算法进行改进,并将改进的飞蛾扑火算法与传统MFO、粒子群算法(Particle swarm optimization,PSO)进行比较,证明其寻优能力有了很大提升;最后,将Attention机制用于计算LSTM神经网络隐层状态的不同权重,利用改进飞蛾扑火优化算法优化Attention-LSTM的超参数,分别对合并后的IMF分量进行建模,将各分量模型叠加得到最终功率预测曲线。对锦州某风电场的功率实测数据进行仿真分析,结果表明,所提模型具有较高的预测精度,对实际工程具有一定的借鉴意义。

改进注意力机制嵌入PR-Net模型的水稻病害识别仿真

针对现有的CNN模型在水稻叶部病害的识别中准确率较低的问题,提出了一种结合并行结构和残差结构的混合卷积神经网络模型PRC-Net(parallel residual with coordinate attention network)。引入并行结构,提高卷积的感受野;结合残差结构,使特征信息完整的连续传递;在骨干模型PR-Net中嵌入改进的空间注意力机制,增强对不同尺度病斑特征信息的凝聚程度;为进一步提升病害识别的准确率,并减少模型的训练时间和推理时间,通过改变加权方式对模型结构进行优化。仿真结果表明:与InceptionResNetV2等分类模型相比,PRC-Net具有更少的训练参数、更短的训练时间和更高的识别精度,性能优于其他作物病害识别模型。

基于SSA-CNN-BiGRU-Attention的超短期风电功率预测模型

针对风电功率预测精度较低的问题,提出一种融合奇异谱分析(SSA)、卷积神经网络(CNN)、双向门控循环单元(BiGRU)及Attention机制的组合预测模型。为抑制风电功率随机波动特性带来的预测功率曲线滞后性问题,采用SSA方法将原始数据序列分解为一系列相对平稳的子分量,并基于各分量模糊熵(FE)值完成各分解分量的有效重构;构建了CNN-BiGRU-Attention模型并用于各重构分量建模预测,其中,CNN网络用以实现各重构分量高维数据特征的有效提取,BiGRU网络用以完成CNN获取的关键特征向量非线性动态变化规律的有效捕捉,Attention机制的引入用于加强对功率数据关键特征的有效学习;通过叠加基于CNN-BiGRU-Attention模型的各重构分量预测值得到最终预测结果。以新疆哈密地区风电场实际运行采集数据为试验样本进行算例分析,结果表明,所提方法可有效缓解风电功率预测结果滞后现象,预测精度全面优于其他预测方法。

基于二次分解和GRU-attention的时间序列预测研究

针对时间序列规律难以捕捉且具有高度非平稳性特征导致的预测精度较低问题,提出了一种基于二次分解和注意力机制优化门控循环单元(GRU-attention)的时间序列预测模型。首先利用完全集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)将时间序列分解为若干个特征互异的模态分量,并依据样本熵量化各分量复杂度。其次采用变分模态分解(variational modal decomposition,VMD)弱化高熵值分量的非平稳性特征。接着使用注意力机制优化GRU预测模型。最后对各分量建立GRU-attention模型进行预测,将各分量预测结果叠加获得最终结果。通过实验分析证明,所提出的模型与其他模型相比能够较好的捕捉序列的复杂规律、降低序列的非平稳性并且具有较高的预测性能,其平均绝对百分比误差达到了2.9%,决定系数达到了0.891。

基于seq2seq和Attention机制的居民用户非侵入式负荷分解

非侵入式负荷分解(nonintrusiveloadmonitoring,NILM)是大数据分析在智能配电系统中为终端用户提供的重要应用之一,能够提升对负荷的认知水平,显著提升需求侧响应的潜力。长期以来,传统的NILM算法存在误判率高,功率分解值准确度低等问题。为此,采用深度学习的框架,提出一种基于序列到序列和Attention机制的NILM模型。该模型首先将输入的有功功率时间序列通过词嵌入映射到高维向量,并利用基于长短时记忆模型的编码器进行信息提取;然后通过引入Attention机制的解码器,从提取的信息中选取与当前时刻相关度最高的信息,用于解码并最终得到负荷分解结果。提出的深度学习网络模型能够显著提升对信息的提取与利用能力。基于REFITPowerData数据集的测试结果验证了方法的有效性。

应用Attention-LSTM算法预测赤道太平洋浮标观测站位海表温度的方法

ENSO(El Nino/Southern Oscillation)是发生在赤道东太平洋海域重要的海气耦合现象,在全球气候变化中起着重要作用。当热带太平洋东部的海表温度(Sea Surface Temperature,SST)出现连续5个月以上的异常升温/降温现象,就会产生厄尔尼诺现象/拉尼娜现象。因此,研究和预测这一区域的SST动态具有重要的科学意义。本文采用输入层附加Attention机制的长短时记忆(Long Short-Term Memory,LSTM)神经网络(Attention-LSTM)模型,对多时段、多站位的热带太平洋观测浮标站位获取的厄尔尼诺年和拉尼娜年的SST数据进行一年的预测。研究发现:实验站位SST预测中,LSTM算法的均方误差在0.5℃左右,而Attention-LSTM算法的均方误差均不超过0.31℃,证明了Attention-LSTM算法的预测精度高于传统的LSTM模型;在发生ENSO现象年份的东太平洋海域不同站,Attention-LSTM算法对SST的春季预报障碍(Spring Predictability Barrier,SPB)现象也有一定的精度改善作用。

混合CTC/attention架构端到端带口音普通话识别

针对普通话语音识别任务中的多口音识别问题,提出了链接时序主义(connectionist temporal classification,CTC)和多头注意力(multi-head attention)的混合端到端模型,同时采用多目标训练和联合解码的方法。实验分析发现随着混合架构中链接时序主义权重的降低和编码器层数的加深,混合模型在带口音的数据集上表现出了更好的学习能力,同时训练一个深度达到48层的编码器—解码器架构的网络,生成模型的表现超过之前所有端到端模型,在数据堂开源的200 h带口音数据集上达到了5.6%字错率和26.2%句错率。实验证明了提出的端到端模型超过一般端到端模型的识别率,在解决带口音的普通话识别上有一定的先进性。