基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于卷积神经网络-长短期记忆神经网络模型利用光学体积描记术重建动脉血压波信号

目的直接动脉血压(arterial blood pressure,ABP)连续监测是侵入式的,传统袖带式的间接血压测量法无法实现连续监测。既往利用光学体积描记术(photoplethysmography,PPG)实现了连续无创血压监测,但其为收缩压和舒张压的离散值,而非ABP波的连续值,本研究期望基于卷积神经网络-长短期记忆神经网络(CNN-LSTM)利用PPG信号波重建ABP波信号,实现连续无创血压监测。方法构建CNN-LSTM混合神经网络模型,利用重症监护医学信息集(medical information mart for intensive care,MIMIC)中的PPG与ABP波同步记录信号数据,将PPG信号波经预处理降噪、归一化、滑窗分割后输入该模型,重建与之同步对应的ABP波信号。结果使用窗口长度312的CNN-LSTM神经网络时,重建ABP值与实际ABP值间误差最小,平均绝对误差(mean absolute error,MAE)和均方根误差(root mean square error,RMSE)分别为2.79 mmHg和4.24 mmHg,余弦相似度最大,重建ABP值与实际ABP值一致性和相关性情况良好,符合美国医疗器械促进协会(Association for the Advancement of Medical Instrumentation,AAMI)标准。结论CNN-LSTM混合神经网络可利用PPG信号波重建ABP波信号,实现连续无创血压监测。

卷积-长短期记忆神经网络超宽带定位方法

针对室内视距环境下超宽带(UWB)观测值中的测距误差影响定位精度的问题,提出一种基于卷积神经网络与长短期记忆网络(CNN-LSTM)相结合的UWB测距误差改正模型:将基站与标签之间的测距值和Chan算法解算的标签初始坐标作为卷积神经网络(CNN)的输入,借助CNN良好的数据特征提取能力,充分挖掘UWB测距值的特征;然后利用长短期记忆网络(LSTM)进行进一步的特征学习,并进行训练和预测UWB测距值,以减少测距误差对UWB测距值精度的影响;最后,利用高斯-牛顿迭代算法求解出最终的UWB定位结果,同时,建立多项式和指数函数UWB测距误差改正模型,并与本文方法进行对比分析。实验结果表明,在静态和动态实验下,基于CNN-LSTM网络模型结果的精度均优于其他2种模型,证明该算法可有效降低测距误差,提高UWB的定位精度。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

联合卷积神经网络与长短期记忆深度网络的桥梁损伤识别

为准确评估桥梁结构状态,提升损伤识别效率,提出基于联合卷积神经网络(CNN)与长短期记忆(LSTM)深度网络的桥梁损伤识别方法,并用振动台试验数据进行验证。结合CNN空间特征和LSTM时间特征提取能力,构建桥梁结构损伤识别架构;提取5类时频域损伤特征,经对比分析后,采用结合平均频率和平均能量的组合特征进行损伤识别;基于振动台试验数据及其有限元模型数据识别了斜拉桥模型的损伤,并将识别结果分别与CNN、LSTM的识别结果对比。结果表明:采用联合CNN与LSTM深度网络建立的损伤识别方法可有效识别出桥梁的损伤位置和损伤程度,且偏差小,识别结果优于CNN、LSTM;未布置传感器的位置损伤识别精度较低;轻微损伤识别准确率相对较低。

基于卷积-长短期记忆神经网络的抽水蓄能机组健康性能趋势预测

为准确掌握抽水蓄能机组的健康性能水平,提出基于卷积-长短期记忆神经网络(CNN-LSTM)的机组健康性能趋势预测方法。首先,为有效地刻画机组的运行特性,构建基于高斯过程回归的机组健康状态模型;然后,设计可量化机组健康性能的指标因子;进一步融合CNN良好的局部特征提取能力和LSTM在时间序列预测方面的优势,提出基于CNN-LSTM的预测模型。对国内某抽水蓄能电站机组监测数据进行的试验结果表明,所提方法可较好地预测机组健康性能的发展趋势。

基于CNN-LSTM混合神经网络的高速铁路地震响应预测

为了更好地挖掘高速铁路在地震时的响应信息,提高光纤光栅监测的效率及预测精度,该文针对地震响应数据的时序性及非线性的特点,提出卷积神经网络(CNN)和长短期记忆(LSTM)网络的混合神经网络模型预测方法.通过在高速铁路简支梁桥上布设准分布式光纤光栅采集地震时轨道板、钢轨、底座板、箱梁的响应数据,在每根光纤上布置7个光栅,利用两边光栅的响应数据预测中间点的光栅响应,将采集位置、历史数据及地震波形等信息作为特征图输入.利用CNN提取特征,再将提前提取出来的特征数据以时序方式作为LSTM网络的输入数据,最后LSTM网络进行地震应变响应预测.实验结果表明,LSTM网络在3层时效果最好,CNN-LSTM方法具有较高的预测精度,根均平方误差(R_(RMSE))、平均绝对误差(R_(MAE))、决定系数(R^(2))分别达到了0.3753、0.2968、0.9371.

基于卷积神经网络与长短期记忆神经网络的弹丸轨迹预测

针对弹丸非线性轨迹预测问题,提出一种基于卷积神经网络(CNN)与长短期记忆(LSTM)神经网络的混合轨迹预测模型。通过建立6自由度弹丸运动模型,并使用4阶龙格库塔法外弹道仿真,得到大量轨迹数据样本;提出CNN-LSTM神经网络的混合轨迹预测模型,并利用滑动窗口法和差分法构造输入输出的轨迹数据对,将预测问题转化为有监督的学习问题;将所提模型与LSTM神经网络模型、门控循环单元(GRU)神经网络模型和反向传播(BP)神经网络模型在同一数据集下进行仿真实验。研究结果表明,CNN-LSTM神经网络模型预测3 s后的平均累积预测误差在x轴方向约为14.83 m,y轴方向约为20.77 m,z轴方向约为0.75 m,且轨迹预测精度优于单一模型,为弹丸轨迹预测研究提供了一定的参考。

卷积与长短期记忆网络在火灾源强实时预测中的应用

针对火灾场景中火源位置及强度实时、准确识别困难的问题,利用卷积神经网络(Convolutional Neural Networks,CNN)与长短期记忆(Long Short-Term Memory,LSTM)网络的算法优势,构建一种火灾源强实时预测模型,该模型通过建筑内温度传感器接收的序列数据,实时、准确地预测火灾场景中的火源位置及强度信息。采用火灾动力学模拟软件(Fire Dynamics Simulator,FDS)模拟火灾场景,获得温度传感器实时接收的序列数据,建立火灾场景数据库,进行火灾场景数据分析并对火灾源强实时预测模型完成训练,通过实例验证该模型的准确性、及时性和鲁棒性。结果表明,该模型能够通过较短长度样本数据实时、准确预测火灾场景中火源位置及强度,预测准确率为99.18%,在温度传感器间隔损坏且损坏率不高于70%时,预测准确率仍可达到95.10%以上。

基于贝叶斯优化CNN-LSTM混合神经网络的短期光伏出力预测

光伏发电具有波动性、随机性及间歇性的特点,难以对其实现精准预测,本文提出了一种基于贝叶斯优化的卷积神经网络-长短期记忆网络混合算法模型的短期光伏出力预测方法,由此得到了比其他单一基准模型和多数组合模型更好的预测效果,具有一定适用性与应用价值。

长短期记忆压缩激励全卷积神经网络建筑物变化检测

针对当前遥感影像建筑物变化检测未考虑时序信息,导致变化特征提取效果欠佳,本文提出了一种长短期记忆压缩激励全卷积神经网络。在全卷积神经网络框架下,搭建了结合长短期记忆网络与压缩激励网络原理的长短期记忆压缩激励单元,使算法能够充分结合纹理特征及时序特征优势,提高遥感影像建筑物变化检测精度。以遥感影像建筑物变化检测公开数据集LEVIR-CD作为实验数据对该方法进行验证,结果显示,F1-score达86.35%,相较于FC-EF、FC-CONC、FC-DIFF算法,F1-score分别高出2.35%、3.47%、4.52%。

基于变分模态分解的卷积长短时记忆网络短期电力负荷预测方法

电力负荷序列易受多重外部因素影响而呈现复杂性,不利于精准预测。为此,提出一种基于变分模态分解(variational mode decomposition,VMD)的卷积神经网络和长短期记忆网络(convolutional neural network and long short-term memory network,CNN-LSTM)相结合的短期电力负荷并行预测方法。先采用VMD将负荷数据分解为规律性强的各本征模态函数(intrinsic mode function,IMF)及残差;再将各分量分别输入到各自对应的CNN-LSTM混合预测网络,获得各初始预测值,并将该值与由气候、日期类型等组合得到的相关因素特征集相结合,进一步得出修正预测值;最终,叠加各分量修正预测值即得到完整预测结果。在实际负荷数据上做验证分析,结果表明,考虑相关外部因素特征集后日负荷预测平均相对误差均值可降低2.18%。与几种常规负荷预测方法进行效果对比,验证了该方法的有效性和可行性。

基于卷积长短期记忆神经网络的短期风功率预测

提出一种基于卷积长短期记忆神经网络(CNN-LSTM)的短期风功率预测模型。该模型以风电场风功率历史数据以及风速风向等数值天气预报(NWP)数据为输入对风功率进行预测。首先,利用主成分分析法(PCA)对原始多维气象数据变量进行预处理,然后将处理过的气象数据和历史风功率数据通过卷积网络实现对数据的特征提取和进一步的数据降维,再通过长短期记忆网络实现对数据的拟合,并在神经网络的训练过程中引入DropConnect技术减小模型中的过拟合现象,最终实现风功率的精确预测。以中国西北某风电场的实测数据进行验证,结果表明所提方法能有效对风功率进行预测,较BP神经网络和支持向量机(SVM)有更高的预测精度。

基于长短期记忆和卷积神经网络的语音情感识别

为了提高语音情感识别的准确率,提出了一种基于长短期记忆(LSTM)和卷积神经网络(CNN)的语音情感识别方法。首先提取语音信号的梅尔(Mel)频谱序列作为LSTM网络的输入,利用LSTM网络提取语音信号的时域上下文特征,在此基础上再利用CNN从低层特征中学习提取更高层次的情感特征,并完成对语音信号的情感分类。在eNTRAFACE’05、RML和AFEW6. 0三种不同的情感数据库上进行了情感识别测试,实验结果表明,文中提出的方法在上述三种数据库上获得的平均识别率分别为49. 15%,85. 38%和37. 90%。此外,和传统的语音情感识别方法以及基于LSTM或CNN的语音情感识别方法进行了对比,验证了文中提出方法的有效性。

基于注意力机制的卷积神经网络-长短期记忆网络的短期风电功率预测

为了提高风电功率的预测精度,针对风电数据间歇性与时序性的特点,提出了一种基于注意力机制的卷积神经网络-长短期记忆(convolutional neural networks-long short-term memory,CNN-LSTM)网络预测模型。首先利用CNN提取风电数据动态变化的多维特征,然后将特征向量构造成时序形式并作为LSTM网络的输入,最后使用注意力机制进行优化,通过赋予LSTM网络隐含层不同的权重,增强重要信息的作用,完成风电功率预测。采用国内某风电场的风电数据进行实验,结果表明该模型比支持向量机、LSTM模型、CNN-LSTM模型具有更好的预测精度。

一种在线医疗社区问答文本实体识别方法——基于卷积神经网络和双向长短期记忆神经网络

针对在线医疗社区问答文本复杂程度高、结构化程度低的特点,结合卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)两种深度学习模型以及条件随机场(CRF)模型,提出一套适用于在线医疗问答文本的实体识别方法并进行验证。将问答文本进行清洗和BIO标注后,分别用CNN和BiLSTM进行字级别的特征抽取,将通过两种模型抽取到的特征进行融合后放入CRF中训练出实体预测模型,再将问答文本放入训练好的模型中,得到最终的实体识别结果。以关于乳腺癌疾病问答文本为例,研究结果表明,运用该方法得到的识别结果优于其他模型,且识别准确率达到92.3%、召回率达到89.3%、F值达到90.8%。

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态(SOC)预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络(1D CNN)与长短期记忆(LSTM)循环神经网络(RNN)结合的电池SOC预测方法——1D CNNLSTM模型。1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC。首先,通过一层一维卷积层从样本数据中提取出高级数据特征,并充分地利用输入数据的特征信息;其次,使用一层LSTM层保存历史输入信息,从而有效地预防重要信息的丢失;最后,通过一层全连接层输出电池SOC预测结果。使用电池的多次循环充放电实验数据训练提出的模型,分析对比不同超参数设置下1D CNN-LSTM模型的预测效果,并通过训练模型来调节模型的权重系数和偏置参数,从而确定最优的模型设置。实验结果表明,1D CNN-LSTM模型具有准确且稳定的电池SOC预测效果。该模型的平均绝对误差(MAE)、均方误差(MSE)和最大预测误差分别为0.402 7%、0.002 9%和0.99%。

基于深度卷积-长短期记忆神经网络的整车道路载荷预测

针对传统道路载荷获取方法耗费周期长、成本高,且无法高效应用于整车参数变化后的新车型的问题,利用现有多款车型的载荷数据库,通过建立可确定整车结构参数、运行工况与道路载荷之间关联关系的深度卷积-长短期记忆神经网络(DCNN-LSTM)模型,提出了基于数据驱动的整车轮心载荷预测方法。对比试验结果表明,该方法预测的整车轮心载荷与试验场采集数据非常接近,有利于逐步取消路谱采集试验并极大地提高整车耐久性分析的效率。

基于分组双阶段双向卷积长短期方法的高光谱图像超分辨率网络

文章提出基于分组的双阶段Bi-ConvLSTM网络(GDBN),可以充分利用图像的空间和光谱信息,通过使用以波段为单位的分组策略,有效缓解了计算负担,并对光谱信息进行保护。在编码器的不同阶段,对浅层信息提取模块和深度特征提取模块进行不同层次信息的提取,浅层信息提取模块能够对不同尺度的浅层特征信息进行充分捕捉,深度特征提取模块能够捕捉图像的高频特征信息。文章还引入通道注意力机制,增强网络对特征的组织能力,并在自然数据集cave上进行大量实验,效果普遍优于目前主流的深度学习方法。