基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。

基于卷积长短时记忆网络的短时公交客流量预测

针对传统的短时客流预测方法没有考虑到时序特征中跨时段客流之间的相似性问题,提出一种改进k-means聚类算法与卷积神经网络和长短时记忆网络相结合的短时客流量预测模型k-CNN-LSTM。通过k-means算法对跨时段时序数据进行聚类,使用间隔统计确定k值,构建交通流矩阵模型,采用CNN-LSTM网络处理具有时空特征的短时客流。该模型能够对具有空间相关性的数据进行较为准确的预测。使用真实数据集对模型进行检验和参数调优,实验结果表明:k-CNN-LSTM模型较其他模型有相对较高的预测精度。

基于卷积长短时记忆网络的国际平整度指标预测

公路的快速发展带来了对路面各项指标快速检测和分析的需求,针对路面国际平整度指标的特点,提出使用卷积神经网络与长短期记忆神经网络的结合(CNN-LSTM)对国际平整度指标进行预测,卷积神经网络和长短期记忆神经网络分别学习激光雷达距离数据的空间维度特征和时间维度特征,完成对平整度指标的预测。实验结果表明,相比较与LSTM网络,CNN-LSTM模型的MAPE值仅有2.3488,准确度和召回率分别达到90.61%和87.89%。通过真实值和预测值的对比可以发现CNN-LSTM更加适用于国际平整度指标的预测。

基于张量空谱卷积长短时记忆网络的遥感图像分类模型

基于遥感图像的地物要素分类与提取是实现数字化战场建设、智能化战场感知的关键支撑技术之一。实际应用平台运算资源有限、样本匮乏导致训练不充分等制约深度神经网络的遥感图像地物分类效果。基于张量链式分解和权重共享,设计空谱卷积长短时记忆单元的两种张量扩展结构,提出轻量级张量空谱卷积长短时记忆网络用于遥感图像分类。在两个公开高光谱遥感图像数据集进行实验,该算法仅需0.34MB存储空间,较同类方法实现更优分类性能。

基于双向长短时记忆网络和自注意力机制的药物-药物相互作用预测

提出了一种基于双层双向长短时记忆网络(bi-directional long short term memory,BiLSTM)和自注意力(self-attention)机制的药物-药物相互作用(drug-drug interactions,DDIs)预测方法SA-BiLSTM。首先,利用FP3指纹、MACCS指纹、Pubchem指纹和PaDEL分子描述符对药物特征信息进行提取。其次,使用套索回归(least absolute shrinkage and selection operator,Lasso)方法消除对分类无关的特征,并利用重复编辑最近邻(repeated edited nearest neighbors,RENN)方法对数据进行平衡处理,得到最优特征向量。最后,将最优特征向量输入结合自注意力机制和双向长短时记忆网络的分类器预测DDIs。基于五折交叉验证,同时与其它预测方法进行比较,本工作所提出的方法在两个数据集上获得较高的预测准确率。为了综合评价SA-BiLSTM的性能,对药物-药物相互作用网络进行验证。实验结果表明,SA-BiLSTM表现出优秀的预测能力,可以为DDIs的预测提供一种新的思路。

改进时间卷积网络和长短时记忆网络的泸水河流域月径流量预测模型

为提升水文模型预测精度和计算效率,解决传统方法难以浓缩多源水文特征,以及长时间跨度下数据量纲、值域不同造成的特征冗杂问题,提出基于改进时间卷积网络(TCN)和长短时记忆网络(LSTM)的月径流量预测模型。通过构造多卷积核并行网,以提取多源时序特征,并保持原因果卷积特性。引入扩张卷积抽取高阶水文特征,提升长时间跨度记忆单元处理效率。利用残差链接方式跨层传输底层完整特征,丰富特征结果,同时优化整体网络学习过程,并以泸水河流域为例进行验证。实验结果表明,该模型在计算效率、精度、网络结构上均优于其他对比模型,从而验证了其在该流域水文预测的有效性。

基于长短时记忆卷积神经网络的刀具磨损在线监测模型

为了提高机械加工过程中刀具磨损在线监测的准确性,提出了一种基于长短时记忆卷积神经网络(LSTM-CNN)的刀具磨损在线监测模型。在该监测模型中,通过振动、力、声发射传感器对刀具切削过程中的振动、力和声发射信号进行采集,采集的数据其本质为时间序列数据。考虑采集数据的序列和多维度特性,采用LSTM-CNN网络对采集的数据进行序列和多维度特征提取,利用线性回归实现特征到刀具磨损值的映射。通过实验验证了该模型的有效性和可行性,模型的精度较其他几种方法有了较大的提高。

基于卷积神经网络及长短时记忆网络的短时船舶交通流量预测

由于船舶交通流具有非线性和复杂性的特征,传统交通流量预测方法的预测结果精度普遍不高,且需大量历史数据进行训练。在考虑船舶交通流数据时间特性的基础上增加了对数据空间特性的考虑,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)和长短时记忆网络(Long Short-Term Memory,LSTM)的短时船舶交通流量预测模型,并引入动态时间规整(Dynamic Time Warping,DTW)算法构造损失函数,提升模型的预测精度。结果表明:通过与灰色模型(Grey Model,GM)、差分整合移动平均自回归模型(Autoregressive Integrated Moving Average Model,ARIMA)、小波神经网络(Wavelet Neural Network,WNN)、反向传播神经网络(Back Propagation Neural Network,BPNN)和CNN-LSTM等模型对比,所提出的CNN-LSTM-DTW预测模型的预测结果相对误差最小,可信度高,预测精度优于对比模型。

基于卷积长短时记忆网络的心律失常分类方法

心律失常等慢性心血管疾病严重影响人类健康,采用心电信号(ECG)实现心律失常自动分类可有效提高该类疾病的诊断效率,降低人工成本。为此,该文基于1维心电信号,提出一种改进的长短时记忆网络(LSTM)方法实现心律失常自动分类。该方法首先设计深层卷积神经网络(CNN)对心电信号进行深度编码,提取心电信号形态特征。其次,搭建长短时记忆分类网络实现基于心电信号特征的心律失常自动分类。基于MIT-BIH心律失常数据库进行的实验结果表明,该方法显著缩短分类时间,并获得超过99.2%的分类准确率,灵敏度等评价参数均得到不同程度的提高,满足心电信号自动分类实时高效的要求。

基于卷积长短时记忆深度神经网络的带内全双工非线性数字自干扰消除

带内全双工(IBFD)技术能够有效提高无线通信系统的频谱效率,近年来引起了广泛关注。然而,同时发送和接收引起的线性和非线性自干扰给IBFD带来了巨大挑战。传统的非线性自干扰消除主要是基于多项式模型和深度神经网络(DNN)来实现。多项式模型方法存在模型失配导致自干扰效果恶化的风险,而DNN方法无法针对高维数据特有的空频相关性、时间相关性等特点进行处理。该文基于卷积长短时记忆深度神经网络(CLDNN),通过在输入层中引入3维张量以及在卷积层设置复数卷积层结构,分别设计了两种重建自干扰信号的网络结构——2维CLDNN(2D-CLDNN)和复值CLDNN(CV-CLDNN),充分利用卷积神经网络局部感知和权值共享的优势,在高维特征中学习到更抽象的低维特征,从而提高自干扰消除的效果。实际场景中获得数据的评估结果显示,当功率放大器记忆长度M和自干扰信道多径长度L满足M+L=13时,通过总共60次训练轮数,该文提出的结构比传统DNN方法在非线性自干扰消除方面可以实现至少26%的改进,训练轮数也有明显减少。

基于一维卷积长短时记忆网络的多信号融合刀具磨损评估

为实现刀具磨损状态的有效在线监测,提出一种基于一维卷积长短时记忆网络的多信号融合刀具磨损评估模型。该模型综合使用加工过程中主轴和工作台的振动和声发射信号,以实现信号间的优势互补,弥补单一信号的不足;基于一维卷积的特征学习能力和长短时记忆网络的时序特征分析能力,充分挖掘信号中包含的刀具磨损状态信息;最后通过全连接层和softmax分类器对刀具磨损状态进行评估。试验结果表明,该模型在各单一工况下对刀具磨损状态的识别准确率均可达93.8%以上,整体工况下识别准确率达95.3%,具有很好的稳定性和多工况通用性。

基于卷积神经网络和长短时记忆网络的心肌梗死检测

为了进一步提升心肌梗死的诊断效果,提出一种基于卷积神经网络和长短时记忆网络的心肌梗死检测方法,用于准确地从心电图信号中检测心肌梗死。具体来讲,提出3种分别基于卷积神经网络、卷积神经网络结合长短时记忆网络以及它们的集成模型的检测方法,以期从心电信号中检测心肌梗死和正常搏动。此外,采用数据重采样方法,即合成少数类过采样方法和Tomek Link解决数据集不平衡问题。最终与其他方法的实验结果相比,经过数据重采样的集成卷积神经网络模型的结果取得了明显优势,证明提出方法的有效性。

基于卷积长短时网络的调制识别技术研究

随着深度学习的发展,更多的研究者将调制方式识别与深度学习网络结合,充分利用了神经网络无需先验信息的特点,促进了自动调制识别(Automatic Modulation Recognition, AMR)技术的发展。但是AMR技术存在低信噪比下泛化能力有限,分类精度不高的问题,提出了一种由卷积神经网络(Convolutional Neural Network, CNN),长短时记忆(Long Short-Term Memory, LSTM)网络和深度神经网络组成的模型-卷积长短时深度神经网络(Convolutional Long Short-Term Deep Neural Networks, CLDNN)。将预处理的数据集通过CNN对信号进行空间特征提取,再通过LSTM模块对数据集进行时间特征提取,最后通过全连接层对数据集分类。实验结果表明,CLDNN模型相对于主流使用的残差网络(Residual Network, ResNet)模型、CNN模型等在性能上有显著的提高,在信噪比为30 dB时保持93.09%的高效识别,在信噪比为-10 dB时,实现54.32%的有效识别。

基于并行多通道卷积长短时记忆网络的轴承寿命预测方法

在预测轴承剩余使用寿命时,数据间的时序特性是一个可以利用的重要隐藏信息。为了更好地提取具有时序信息的特征用于预测,提出了一种基于并行多通道卷积长短时记忆网络(PMCCNN-LSTM)的剩余使用寿命预测模型。该模型主要由两部分组成:前端为并行多通道卷积网络(PMCCNN),提取信号特征,挖掘数据的时序特性,并采用逐层训练和微调的方式提升参数的收敛性;后端为长短时记忆(LSTM)网络,基于特征进行剩余使用寿命预测,并采用加权平均的方法对预测结果进行平滑处理。在一个轴承加速寿命实验的公开数据集上使用留一法验证了该模型的准确性,实验结果表明:所提模型的平均误差与最大误差分别比传统的卷积神经网络(CNN)低23.38%和15.84%,比传统的LSTM低24.14%和19.01%,比卷积长短时记忆网络(CNN-LSTM)低30.32%和23.09%。

基于改进长短时记忆神经网络-自适应增强算法的多天气车辆分类方法

针对目前国内外车辆分类效果不理想和受天气影响较大的问题,本文中提出一种基于改进长短时记忆神经网络自适应增强算法(LSTM-AdaBoost)的多天气车辆分类方法,并提出一种“多层网格法”以准确地确定LSTM的超参数。首先建立地磁车辆检测系统平台和车辆分类方法,然后分析基于改进LSTM-AdaBoost的车辆分类结果,并对不同车辆分类方法和不同天气下的分类准确率进行了对比。结果表明,与最邻近结点算法和反向传播神经网络算法相比,本文所提出的方法具有较高的准确率,最高分类准确率为92.2%。暴雨、雾霾和晴天3种天气中,暴雨时的分类准确率最低,但差别不大,最大相差3.9个百分点。

基于双向长短时记忆单元和卷积神经网络的多语种文本分类方法

针对日渐丰富的多语种文本数据,为了实现对同一类别体系下不同语种的文本分类,充分发挥多语种文本信息的价值,提出一种结合双向长短时记忆单元和卷积神经网络的多语种文本分类模型BiLSTM-CNN模型。针对每个语种,利用双向长短时记忆神经网络提取文本特征,并引入卷积神经网络进行特征优化,获得各语种更深层次的文本表示,最后将各语种的文本表示级联输入到softmax函数预测类别。在中英朝科技文献平行数据集上进行了实验验证,结果表明,该方法相比于基准方法分类正确率提高了4%,且对任一语种文本均能正确分类,具有良好的扩展性。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于卷积长短时记忆神经网络的蛋白质二级结构预测

鉴于不同类型氨基酸的相互作用对蛋白质结构预测的影响不同,文中融合卷积神经网络和长短时记忆神经网络模型,提出卷积长短时记忆神经网络,并应用到蛋白质8类二级结构的预测中.首先基于氨基酸序列的类别信息和氨基酸结构的进化信息表示蛋白质序列,并采用卷积提取氨基酸残基之间的局部相关特征,然后利用双向长短时记忆神经网络提取蛋白质序列内部残基之间的远程相互作用,最后将提取的蛋白质的局部相关特征和远程相互作用用于蛋白质8类二级结构的预测.实验表明,相比基准方法,文中模型提高8类二级结构预测的精度,并具有良好的可扩展性.

基于动态加权卷积长短时记忆网络的滚动轴承剩余寿命预测方法

现有数据驱动方法在滚动轴承剩余使用寿命预测中,因不能有效提取对轴承退化过程敏感的特征信息而导致预测精度不足。为此提出一种基于动态加权卷积长短时记忆网络(DW-CNN-LSTM)的滚动轴承剩余寿命预测方法。对滚动轴承振动信号进行小波包分解,将获得的小波包系数矩阵通过可训练参数动态加权层进行动态加权,来实现对轴承退化的表征信息进行有效筛选,以增强轴承振动特征学习能力;利用卷积神经网络的自适应挖掘数据深层特征能力,从动态加权后的小波包系数矩阵中提取对轴承退化过程敏感的特征集;借助长短时记忆网络(LSTM)预测时间信息序列的优势,由双层LSTM进一步提取其高维退化特征,来提高滚动轴承剩余寿命预测精度。对XJTU-SY轴承数据和IMS轴承数据的试验结果表明,所提DW-CNN-LSTM方法相比于经典的长短时记忆网络方法,其均方根误差指标平均降低了61.08%,预测准确度平均提高了9.95%,模型训练时间平均减少了44.14%,获得了较满意的寿命预测精度和鲁棒性。

基于多通道卷积双向长短时记忆网络的输电线故障分类

针对单通道故障分类器不能全面表达三相故障特征信息引起分类精度不高的问题,提出了一种基于多通道卷积双向长短时记忆神经网络(MCCNN-BiLSTM)的输电线故障分类方法。该方法可同时输入故障三相信号,并能有效提取故障信号的空间和时间特征,实现了三相故障信号特征的全面提取,有效地提高了神经网络的分类的精度。基于735 kV三相串联补偿输电线模型大量故障数据分析,对三相故障电压信号不采用任何特征提取算法,仅截取故障周期的三相电压幅值数据作为基本故障特征信号输入。仿真实验结果表明:该网络能快速准确地分类识别11种故障,并且不易受故障时刻、过度电阻等因素的影响,具有良好的鲁棒性和适应性。