用于关系抽取的注意力图长短时记忆神经网络

关系抽取是信息获取中一项关键技术。句子结构树能够捕获单词之间的长距离依赖关系,已被广泛用于关系抽取任务中。但是,现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足。本文提出一种新型的图神经网络模型,即注意力图长短时记忆神经网络(attention graph long short term memory neural network,AGLSTM)。该模型采用一种软修剪策略自动学习对关系抽取有用的句子结构信息;通过引入注意力机制,结合句法图信息学习句子的结构特征;并设计一种新型的图长短时记忆神经网络,使得模型能够更好地融合句法图信息和句子的时序信息。与10种典型的关系抽取方法进行对比,实验验证了该模型的优异性能。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于时空长短时记忆神经网络的地基云图预测算法

针对传统云运动轨迹预测方法存在的预测精度差、空间结构细节信息丢失等问题,提出一种基于时空长短时记忆(ST-LSTM)神经网络的地基云图预测模型。首先使用卷积编码网络提取输入视频流的高维图像特征;然后在特征提取模型中对图像潜在信息进行多分支获取,一部分使用ST-LSTM神经网络提取不同帧之间的时空特征,另一部分将图像序列进行分解,并通过基于门控机制的记忆融合网络来获取分解后图像中的结构细节信息;最后将得到的分支特征进行组合后经过解码网络输出最终的预测视频流。在地基云图、Moving MNIST和Human 3.6M数据集上的实验结果表明,在图像预测准确率、结构细节信息保留效果以及人眼主观感受上,该预测模型均优于对比模型。与基准模型TaylorNet相比,所提模型在Moving MNIST数据集上均方误差指标和平均绝对误差指标分别降低15.7%和11.8%,在地基云图数据集上,其结构相似性指标与峰值信噪比指标分别提升1%和3.2%,且生成的视频流数据更为清晰,能够更准确地描述云层未来的运动状况,从而更可靠地预测光伏电站未来的输出功率。

基于图嵌入长短时记忆神经网络的非线性动态过程监控与诊断

针对复杂工业过程存在的非线性、动态性,以及故障标签难获取等特征,提出一种图嵌入长短时记忆神经网络在线监控与故障诊断方法。首先,对正常工况下采集的多维时序数据进行图嵌入,获得结构信息。其次,采用图注意力神经网络融合结构信息,并将融合后的结构信息输入用于预测的长短时记忆神经网络中。最后,提出一种新的基于预测误差指标的非线性动态过程在线监控方法和基于因果分析图的故障诊断方法。采用田纳西-伊斯曼数据集进行实验验证,结果表明了所提方法的有效性。

基于长短时记忆神经网络的励磁涌流与故障电流识别方法

变压器空载合闸时产生励磁涌流导致差动保护误动作的问题至今仍未能被完全解决.针对该问题,提出一种利用长短时记忆(LSTM)神经网络识别励磁涌流与故障电流的方法.首先,在PSCAD软件平台上搭建变压器空载合闸及内部故障仿真模型,通过仿真产生大量三相电流瞬时采样数据作为训练神经网络的样本集;然后,利用Keras平台搭建LSTM神经网络模型并完成训练;最后,利用新的仿真数据和现场故障录波数据对训练好的LSTM神经网络进行测试.结果表明LSTM神经网络可以快速准确地区分各种情况下的励磁涌流和故障电流,从而证实该方法的有效性.

融合文本图卷积神经网络与注意力机制的唐诗情感分析

针对目前唐诗情感分析任务的语义提取不充分、数据集不完善的问题,构建了一个全新的唐诗情感分类数据集且进一步细化了情感极性,提出了一种融合文本图卷积神经网络与注意力机制(text-graph convolutional neural networks with attention mechanism,AM-Text-GCN)的情感分类模型。模型首先结合双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)和注意力机制捕捉唐诗中的上下文信息和诗句间的语义特征,然后利用融入依存句法分析的2层文本图卷积神经网络在图卷积操作中聚合唐诗全局特征,最终输出唐诗的情感极性。结果表明,所提出模型的S F1值达了79.83%,相较于文本图神经网络的S F1值提高了5.46%,有效地提高了唐诗情感分析的准确性。该研究对于探索诗词情感在历史变迁中的作用具有重要意义和广泛的应用前景。

基于改进灰狼算法优化双向长短时记忆神经网络的水冷壁壁温预测

提出一种基于改进灰狼(MGWO)算法优化双向长短时记忆(BiLSTM)神经网络的水冷壁壁温预测模型,灰狼算法采用非线性因子调整策略、自适应位置更新策略和动态权重修改策略进行改进以提升算法的全局寻优能力,利用改进灰狼算法优化BiLSTM模型的隐藏层数量、学习率和正则化参数以提高模型的预测精度,采用新疆某电厂的数据进行预测仿真,结果表明:改进后的算法预测精度更高,在机组升、降负荷时,均可以预测到壁温的变化趋势,模型的平均均方根误差相比于长短时记忆(LSTM)神经网络、BiLSTM模型分别降低了9.86%和3.69%,且可以提前预测到水冷壁壁温的超温情况,对于预防水冷壁超温有重要意义。

基于长短时记忆神经网络易损性分析的适用性研究

桥梁的损坏或失效可能导致严重的人员伤亡和巨大的经济损失。因此,对桥梁的破坏损失和地震性能进行准确的定量评估至关重要。为了实现这一目标,通常会采用构建易损性曲线的方法。易损性曲线表征在给定地震动强度下,桥梁部件或结构达到或超过某一破坏程度的条件概率。采用桥墩位移延性比作为损伤指标,利用长短时记忆(long short-term memory,简称LSTM)神经网络成功地建立了桥梁地震易损性曲线。研究结果表明,该模型展现了高计算效率和精度,可快速而准确地预测地震作用下桥梁结构构件的损伤指标。

基于长短时记忆神经网络的Multi-GNSS卫星钟差建模预报

针对卫星钟差预报中二次多项式模型存在易受噪声干扰、预报精度不高的问题,构建一种基于长短时记忆神经网络的multi-GNSS卫星钟差预报模型,并分析不同卫星系统、不同钟类型基于不同建模方案的模型精度。为验证该模型的有效性和可行性,利用LSTM模型、QP模型、QP-LSTM模型分别基于12 h和24 h钟差序列进行建模,预报1 h、3 h、6 h、12 h钟差。结果表明,LSTM模型建模24 h、预报1 h精度最高。multi-GNSS卫星钟差LSTM预报模型中Galileo系统精度最高,其次为BDS-2系统和GPS系统,GLONASS系统精度最低,精度分别为0.018 ns、0.069 ns、0.133 ns、0.242 ns。不同原子钟预报精度不同,氢原子钟预报精度优于铷原子钟、铯原子钟。LSTM神经网络模型预报精度相较于QP-LSTM模型提升27%,相较于QP模型提升36%。

阀控液压马达位置伺服系统长短时记忆神经网络预测抗扰反步控制

针对阀控液压马达位置伺服系统中存在的时滞性与摩擦非线性问题,设计了一种长短时记忆神经网络预测抗扰反步控制器。该控制器通过引入长短时记忆神经网络对当前位置轨迹进行预测,并将预测值反馈给控制器对系统时滞进行直接补偿。对于系统中难以建模的摩擦非线性,将其视为扰动,通过设计扩张状态观测器进行估测,并使用反步法对估测得到的总扰动进行补偿。最后,在Simulink中搭建长短时记忆神经网络预测抗扰反步控制算法进行仿真验证,并与径向基函数滑模控制算法、反步控制算法和自抗扰控制算法进行对比,证明其在对含有时滞及摩擦非线性的阀控液压马达位置伺服系统进行控制时,具有较快的响应速度及较好的跟踪性能。

基于长短时记忆神经网络的非侵入式电力负荷辨识方法

常规的非侵入式电力负荷辨识方法忽略了暂态特征对负荷辨识的影响,为此,设计了基于长短时记忆神经网络的非侵入式电力负荷辨识方法。提取非侵入式电力负荷特征,采集电流、电压、功率信号,获取暂态负荷特征与稳态负荷特征。基于长短时记忆神经网络辨识电力负荷类别,利用时间特征细分负荷事件,划分负荷事件的区间,得到负荷类型数量,使负荷事件与负荷序列相匹配,从而实现电力负荷的精准辨识。采用对比实验验证了该方法的辨识效果更佳。

基于时空注意力机制的双向长短期记忆神经网络的股指预测研究

股票市场是一个高噪音的混沌系统,其外部属性之间的相关性问题以及在长期预测时外部影响对股价波动的加剧,导致对股票市场进行准确预测是一项富有挑战性的工作。为解决上述问题,本文利用基于注意力机制的双向长短期记忆神经网络(BiLSTM)对香港地区恒生指数收盘价进行有效性的实证检验。其中,空间注意力机制用于捕捉输入指标之间的相关性并为其赋予区别权重,时间注意力机制用于描述数据的时间相关性以解决长期预测中的时间依赖问题并为时间步赋予区别权重,BiLSTM神经网络用于拟合数据并构建预测模型。本文还比较了四种基于注意力机制的神经网络方法和六种基线方法,实验结果表明,与当下流行的股票指数预测方法相比,基于双维度注意力机制的BiLSTM可以在短、中、长期预测中均实现更准确的股票指数收盘价预测。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于注意力机制及长短期记忆神经网络的慢性阻塞性肺疾病氧减状态辨识

为提高慢性阻塞性肺疾病氧减状态的辨识性能,该文将注意力机制有效融入长短期记忆神经网络,提出了一种基于注意力机制的长短期记忆神经网络方法:首先,抽取每个待辨识状态点的四种有效鉴别特征,包括血脉氧饱和度指数、脉搏、血脉氧饱和度指数的窗口特征以及梯度特征;其次,在此特征表示的基础上,通过引入注意力机制,使用训练集来训练基于注意力机制的长短期记忆神经网络;最后,使用测试集来验证所训练模型的有效性。与多个经典机器学习算法的对比实验结果表明:所提出的基于注意力机制的长短期记忆神经网络方法的辨识模型能够准确识别氧减状态,全局性能指标曲线下面积达到了0.8531。所提方法对于慢性阻塞性肺疾病的准确诊断具有重要的参考价值。

双向长短时记忆神经网络在滩坝砂储层岩性识别中的应用

研究区致密滩坝砂储层油气储量丰富,勘探开发潜力较高,但存在埋藏深、单层厚度薄、渗透率超低、孔隙结构复杂以及单井自然产能极低的特征,储层划分与岩性识别困难。针对测井数据具有纵向时序连续的特点,构建一个双向长短时记忆神经网络(BiLSTM)岩性识别模型,采用随机森林方法对常规测井数据等参数进行特征选择,将选择的参数作为输入变量训练BiLSTM模型。应用该模型对测试集的井资料进行验证,结果表明模型的岩性识别准确率为0.86,取得了良好的应用效果,证明了BiLSTM模型适用于滩坝砂储层岩性识别。

基于LSTM神经网络的现地烈度实时估算模型——以JMA烈度为例

如何快速并且准确估计目标场点烈度是地震预警中的关键问题。常用基于衰减关系的场点烈度估计和基于P波信息的现地烈度估计往往存在大震烈度低估的问题。本文提出了一种基于长短时记忆神经网络(logn short-term memery,LSTM)的现地JMA烈度持续估计模型。该模型以现地观测地震动的能量、能量增长率、地震动卓越周期和震源距作为输入,以该点的最大仪器地震烈度为预测目标。选取了日本K-NET台网记录101次地震数据作为训练集,94次地震数据作为测试集,训练了现地烈度估算LSTM神经网络模型。结果表明:在采用3 s时窗长度的序列进行预测时,高估的比例为1.51%,低估的比例为4.00%;并且,随着时窗长度的增加,高估和低估的比例也在不断降低。模型对高烈度(大于等于4.5度)样本的预测时效性随震源距的增加而增加,对大震远场高烈度区域能提供20 s以上的预警时间。

冲击噪声下基于演化长短时记忆神经网络的调制信号识别

为了解决冲击噪声下长短时记忆(long short term memory,LSTM)神经网络调制信号识别方法抗冲击噪声能力弱和超参数难以确定的问题,本文提出了一种演化长短时记忆神经网络的调制识别方法。利用基于短时傅里叶变换的卷积神经网络(convolution neural network,CNN)去噪模型对数据集去噪;结合量子计算机制和旗鱼优化器(sailfish optimizer,SFO)设计了量子旗鱼算法(quantum sailfish algorithm,QSFA)去演化LSTM神经网络以获得最优的超参数;使用演化长短时记忆神经网络作为分类器进行自动调制信号识别。仿真结果表明,采用所设计的CNN去噪和演化长短时记忆神经网络模型,识别准确率有了大幅度的提高。量子旗鱼算法演化LSTM神经网络模型降低了传统LSTM神经网络容易陷于局部极小值或者过拟合的概率,当混合信噪比为0 dB,所提方法对11种调制信号的平均识别准确率达到90%以上。

一种采用记忆神经网络和曲线形状修正的负荷预测方法

针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输入特征的筛选;综合考虑负荷峰值序列的长短期自相关性和输入特征与负荷峰值的不同程度相关性,结合Attention机制和双向长短时记忆(bidirectional long short-term memory,BiLSTM)神经网络建立负荷峰值预测模型。在负荷标幺曲线预测中,通过误差倒数法组合相似日和相邻日,建立负荷标幺曲线预测模型;针对预测偏差的非平稳特征,利用自适应噪声的完全集成经验模态分解和BiLSTM网络建立误差预测模型,对曲线形状进行修正。应用中国北方某城市的区域电网负荷数据为算例,验证了所提模型的有效性。

基于长短期记忆神经网络与注意力机制的智能汽车分车型跟驰模型

考虑到跟驰车流中前车车型对智能汽车跟车行为的影响,采用长短期记忆(Long Short Term Memory,LSTM)神经网络,基于NGSIM数据集,通过One-Hot方法编码车型特征,并引入注意力机制(Attention Mechanism)生成输入特征的注意力权重,训练并建立了一种可根据前车车型产生不同跟驰行为的智能车辆跟驰模型(Identifiable Vehicle Type Car-Following Model,IVT-CF)。在不同前车车型的跟车场景中仿真发现,IVT-CF模型仿真车辆的速度和位移的均方误差(Mean Square Error,MSE)比不分车型的LSTM模型分别降低了23.8%、31.7%,比IDM模型分别降低了15.8%、18.7%,仿真精度更高。在混入大型车辆的车队跟驰场景仿真中发现,交通流速度和车头间距的收敛时间为92 s,该模型能较快收敛,具有较好的稳定性和抗干扰能力。

基于生成对抗网络和混合时空神经网络的入侵检测

针对网络入侵检测领域存在检测准确率低的问题,研究异常流量样本少和分类器性能不佳时的入侵检测模型,提出一种基于改进生成对抗网络和混合时空神经网络的入侵检测模型。改进生成对抗网络通过学习异常流量样本的分布特性,生成具有特定标签的人工异常流量样本;融合卷积神经网络和双向长短时记忆神经网络提取攻击流量的时空融合特征,利用注意力机制对时空融合特征进行加权,构建混合时空神经网络对网络流量进行分类预测。在UNSW-NB15数据集上对所提模型进行仿真实验,准确率和F1分数分别为92.93%和94.81%,表明所提模型能够有效改善原始数据集中的类别不平衡性问题,提高对异常流量样本的检测能力和网络入侵的检测准确率。