基于时空采样的卷积长短时记忆网络模型及其应用研究

鉴于人体动作识别在现实社会中的重大意义,为了进一步提高动作识别的能力,在研究长短时记忆神经网络及卷积神经网络的基础上,建立时空相关的卷积长短时记忆网络模型,该模型不仅具有LSTM的时序建模能力,还具有CNN刻画局部特征空间的能力,同时具备时空特性。运用该模型在KTH数据库上进行实验,并提出三种时间采样方式,最后与他人的方法进行比较,发现该模型在KTH动作识别上取得了较高的识别率。

基于张量空谱卷积长短时记忆网络的遥感图像分类模型

基于遥感图像的地物要素分类与提取是实现数字化战场建设、智能化战场感知的关键支撑技术之一。实际应用平台运算资源有限、样本匮乏导致训练不充分等制约深度神经网络的遥感图像地物分类效果。基于张量链式分解和权重共享,设计空谱卷积长短时记忆单元的两种张量扩展结构,提出轻量级张量空谱卷积长短时记忆网络用于遥感图像分类。在两个公开高光谱遥感图像数据集进行实验,该算法仅需0.34MB存储空间,较同类方法实现更优分类性能。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于双重分解和双向长短时记忆网络的中长期负荷预测模型

针对中长期电力负荷序列噪声含量高、难以直接提取序列周期规律从而影响预测精度的问题,提出了一种基于完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和奇异谱分析(singular spectrum analysis,SSA)双重分解的双向长短时记忆网络(bidirectional long and short time memory,BiLSTM)预测模型。首先,采用CEEMDAN对历史负荷进行分解,以得到若干个周期规律更为清晰的子序列;再利用多尺度熵(multiscale entropy,MSE)计算所有子序列的复杂程度,根据不同时间尺度上的样本熵值将相似的子序列重构聚合;然后,利用SSA去噪的功能,对高度复杂的新序列进行二次分解,去除序列中的噪声并提取更为主要的规律,从而进一步提高中长序列预测精度;再将得到的最终一组子序列输入BiLSTM进行预测;最后,考虑到天气、节假日等外部因素对电力负荷的影响,提出了一种误差修正技术。选取了巴拿马某地区的用电负荷进行实验,实验结果表明,经过双重分解可以将均方根误差降低87.4%;预测未来一年的负荷序列时,采用的BiLSTM模型将拟合系数最高提高2.5%;所提出的误差修正技术可将均方根误差降低9.7%。

基于卷积长短时记忆网络的短时公交客流量预测

针对传统的短时客流预测方法没有考虑到时序特征中跨时段客流之间的相似性问题,提出一种改进k-means聚类算法与卷积神经网络和长短时记忆网络相结合的短时客流量预测模型k-CNN-LSTM。通过k-means算法对跨时段时序数据进行聚类,使用间隔统计确定k值,构建交通流矩阵模型,采用CNN-LSTM网络处理具有时空特征的短时客流。该模型能够对具有空间相关性的数据进行较为准确的预测。使用真实数据集对模型进行检验和参数调优,实验结果表明:k-CNN-LSTM模型较其他模型有相对较高的预测精度。

基于长短时记忆网络的恒温水浴锅温度模型预测

【目的】由于恒温水浴锅温度系统存在强非线性及大滞后性,本研究提出一种基于长短时记忆网络的恒温水浴锅温度模型预测方法。【方法】首先,对采集到的数据进行标准化处理,寻找长短时记忆网络的最优结构及超参数,用来拟合出最佳的数据映射特征,并构建恒温水浴锅温度的动态数学模型。其次,通过模型对未来一段时间内的温度趋势进行预测。最后,使用本研究提出的方法与最小二乘法所预测的结果进行对比分析。【结果】本研究所提方法构建的模型的拟合度达到了98.2%,预测结果的MSE及MAE比最小二乘法模型分别降低了4.616、0.823。【结论】本研究所提方法具有更高的预测精度,对提高恒温水浴锅的生产效率及控制精度具有重要意义。

卷积与长短期记忆网络在火灾源强实时预测中的应用

针对火灾场景中火源位置及强度实时、准确识别困难的问题,利用卷积神经网络(Convolutional Neural Networks,CNN)与长短期记忆(Long Short-Term Memory,LSTM)网络的算法优势,构建一种火灾源强实时预测模型,该模型通过建筑内温度传感器接收的序列数据,实时、准确地预测火灾场景中的火源位置及强度信息。采用火灾动力学模拟软件(Fire Dynamics Simulator,FDS)模拟火灾场景,获得温度传感器实时接收的序列数据,建立火灾场景数据库,进行火灾场景数据分析并对火灾源强实时预测模型完成训练,通过实例验证该模型的准确性、及时性和鲁棒性。结果表明,该模型能够通过较短长度样本数据实时、准确预测火灾场景中火源位置及强度,预测准确率为99.18%,在温度传感器间隔损坏且损坏率不高于70%时,预测准确率仍可达到95.10%以上。

GPU异构计算环境中长短时记忆网络模型的应用及优化

随着深度学习的广泛应用及算力资源的异构化,在GPU异构计算环境下的深度学习加速成为又一研究热点。文章探讨了在GPU异构计算环境中如何应用长短时记忆网络模型,并通过优化策略提高其性能。首先,介绍了长短时记忆网络模型的基本结构(包括门控循环单元、丢弃法、Adam与双向长短时记忆网络等);其次,提出了在GPU上执行的一系列优化方法,如CuDNN库的应用及并行计算的设计等。最终,通过实验分析了以上优化方法在训练时间、验证集性能、测试集性能、超参数和硬件资源使用等方面的差异。

基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。

基于变分模态分解的卷积长短时记忆网络短期电力负荷预测方法

电力负荷序列易受多重外部因素影响而呈现复杂性,不利于精准预测。为此,提出一种基于变分模态分解(variational mode decomposition,VMD)的卷积神经网络和长短期记忆网络(convolutional neural network and long short-term memory network,CNN-LSTM)相结合的短期电力负荷并行预测方法。先采用VMD将负荷数据分解为规律性强的各本征模态函数(intrinsic mode function,IMF)及残差;再将各分量分别输入到各自对应的CNN-LSTM混合预测网络,获得各初始预测值,并将该值与由气候、日期类型等组合得到的相关因素特征集相结合,进一步得出修正预测值;最终,叠加各分量修正预测值即得到完整预测结果。在实际负荷数据上做验证分析,结果表明,考虑相关外部因素特征集后日负荷预测平均相对误差均值可降低2.18%。与几种常规负荷预测方法进行效果对比,验证了该方法的有效性和可行性。

基于卷积长短时记忆网络的国际平整度指标预测

公路的快速发展带来了对路面各项指标快速检测和分析的需求,针对路面国际平整度指标的特点,提出使用卷积神经网络与长短期记忆神经网络的结合(CNN-LSTM)对国际平整度指标进行预测,卷积神经网络和长短期记忆神经网络分别学习激光雷达距离数据的空间维度特征和时间维度特征,完成对平整度指标的预测。实验结果表明,相比较与LSTM网络,CNN-LSTM模型的MAPE值仅有2.3488,准确度和召回率分别达到90.61%和87.89%。通过真实值和预测值的对比可以发现CNN-LSTM更加适用于国际平整度指标的预测。

长短时记忆网络与新安江模型耦合的降雨径流模拟性能

深度学习技术在降雨径流模拟方面具有广阔应用前景,但受训练样本限制,需与传统水文模型相耦合,由传统水文模型提供训练数据。耦合数据的选择和超参数方案对耦合模型的模拟性能影响显著,但尚未有专门的研究。本文以东湾流域为例,用双向长短时记忆网络耦合新安江模型不同模块数据,并用灰狼优化算法优化超参数,构建降雨径流模型。结果表明:模型耦合不同数据时,对日径流和场次洪水的模拟性能均有提高,尤以耦合产流量和模拟流量数据时最为明显。不同耦合数据需调整超参数方案,灰狼优化算法可满足需求。本研究为提高耦合模型径流模拟能力提供了新思路和新方法。

基于长短时记忆卷积神经网络的刀具磨损在线监测模型

为了提高机械加工过程中刀具磨损在线监测的准确性,提出了一种基于长短时记忆卷积神经网络(LSTM-CNN)的刀具磨损在线监测模型。在该监测模型中,通过振动、力、声发射传感器对刀具切削过程中的振动、力和声发射信号进行采集,采集的数据其本质为时间序列数据。考虑采集数据的序列和多维度特性,采用LSTM-CNN网络对采集的数据进行序列和多维度特征提取,利用线性回归实现特征到刀具磨损值的映射。通过实验验证了该模型的有效性和可行性,模型的精度较其他几种方法有了较大的提高。

基于卷积神经网络-长短期记忆神经网络模型利用光学体积描记术重建动脉血压波信号

目的直接动脉血压(arterial blood pressure,ABP)连续监测是侵入式的,传统袖带式的间接血压测量法无法实现连续监测。既往利用光学体积描记术(photoplethysmography,PPG)实现了连续无创血压监测,但其为收缩压和舒张压的离散值,而非ABP波的连续值,本研究期望基于卷积神经网络-长短期记忆神经网络(CNN-LSTM)利用PPG信号波重建ABP波信号,实现连续无创血压监测。方法构建CNN-LSTM混合神经网络模型,利用重症监护医学信息集(medical information mart for intensive care,MIMIC)中的PPG与ABP波同步记录信号数据,将PPG信号波经预处理降噪、归一化、滑窗分割后输入该模型,重建与之同步对应的ABP波信号。结果使用窗口长度312的CNN-LSTM神经网络时,重建ABP值与实际ABP值间误差最小,平均绝对误差(mean absolute error,MAE)和均方根误差(root mean square error,RMSE)分别为2.79 mmHg和4.24 mmHg,余弦相似度最大,重建ABP值与实际ABP值一致性和相关性情况良好,符合美国医疗器械促进协会(Association for the Advancement of Medical Instrumentation,AAMI)标准。结论CNN-LSTM混合神经网络可利用PPG信号波重建ABP波信号,实现连续无创血压监测。

改进时间卷积网络和长短时记忆网络的泸水河流域月径流量预测模型

为提升水文模型预测精度和计算效率,解决传统方法难以浓缩多源水文特征,以及长时间跨度下数据量纲、值域不同造成的特征冗杂问题,提出基于改进时间卷积网络(TCN)和长短时记忆网络(LSTM)的月径流量预测模型。通过构造多卷积核并行网,以提取多源时序特征,并保持原因果卷积特性。引入扩张卷积抽取高阶水文特征,提升长时间跨度记忆单元处理效率。利用残差链接方式跨层传输底层完整特征,丰富特征结果,同时优化整体网络学习过程,并以泸水河流域为例进行验证。实验结果表明,该模型在计算效率、精度、网络结构上均优于其他对比模型,从而验证了其在该流域水文预测的有效性。

基于注意力卷积长短时记忆模型的城市出租车流量预测

为解决城市交通拥堵和安全问题,提出一种注意力卷积长短时记忆(ConvLSTM)残差(ACLR)模型,该模型通过结合ConvLSTM、注意力机制和残差结构,分别处理出租车流量的时间、空间、和其他特征,挖掘区域兴趣点(POI)数据对出租车流量的影响,有效提升交通时空特征的提取能力。同时,引入专门的学习元件考虑外部因素和POI密度对交通流量的影响,并利用北京市出租车轨迹数据验证。结果表明:ACLR模型在城市交通流预测中的精度高于差分自回归滑动平均(ARIMA)模型、长短时记忆(LSTM)网络、深度时空残差网络(ST-ResNet)、卷积神经网络(CNN)-残差神经单元-LSTM(CRL)循环神经网络、ACFM等模型,在无POI密度和考虑POI密度的情况下,均有助于提升模型的预测性能,ACLA模型的预测值与真实值基本一致,高峰时段也能与真实值较好地吻合,有效提升交通时空特征的提取能力,降低预测误差,使得交通流量预测性能得到优化。

基于卷积神经网络和双向长短期记忆网络的气温预测模型

气温与环境要素之间存在非线性关系,针对传统的预测方法难以捕捉数据的内在特征和时间相关性问题,提出一种基于卷积神经网络与双向长短期记忆网络相结合的气温预测模型。基于宿迁四个国家气象观测站的逐小时观测数据,首先通过一维卷积神经网络提取气象要素数据的空间特征,然后将这些特征引入双向长短期记忆网络中来全面学习并掌握气象要素的上下文信息,进而对气温进行有效预测。实验结果表明,与其他的预测方法相比,所提模型在空间特征提取和时序特征学习方面表现卓越,且其在气温预测的精度上有显著的优势。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于长短时记忆网络的山区中小流域降雨径流模拟

洪水预报是流域防洪减灾的重要非工程措施之一。目前我国中小河流暴雨洪水灾害频发,但应对短历时强降雨的洪水预报能力仍不强。以安徽省东部山区中小流域为研究对象,引入长短时记忆网络建立流域降雨径流模型,探讨其在山区中小流域的洪水模拟效果。结果表明,考虑降雨输入的空间差异可提升深度学习模型降雨径流模拟预测性能,且长短时记忆网络能够取得优于传统人工神经网络的精度;长短时记忆网络模型有效建立了流域降雨与径流间的复杂非线性关系,模型在所选流域内场次洪水的峰值模拟效果较好,训练、测试集场次洪水峰值合格率均在90%以上;长短时记忆网络内部结构特征与流域水文过程具有较好的相似性,对山区中小流域暴雨洪水非线性关系拟合效果突出。

基于长短时记忆网络和生成对抗网络的VRB储能系统虚假数据注入攻击检测

随着信息技术的不断发展,直流微电网储能系统已成为深度融合的信息物理系统,而精确的荷电状态估计对储能系统的实时监测和安全稳定运行至关重要。针对全钒液流电池(vanadium redox flow battery,VRB)储能系统荷电状态估计中,由虚假数据注入攻击导致的异常数据检测问题,提出一种基于长短时记忆网络和生成对抗网络的检测方法。首先,建立了VRB等效电路模型和虚假数据注入攻击模型;然后,通过训练长短时记忆网络和生成对抗网络组成的循环网络,将长短时记忆神经网络嵌入生成对抗网络框架作为生成器和鉴别器来分析电池时序数据,通过判别网络中的判别损失误差和生成网络中的重构残差得到异常损失进行综合判断;最后,以CEC-VRB-5kW型号电池为对象,并构造不同强度的虚假数据攻击进行实验,验证检测方法的准确性与可行性。结果表明,与经典循环神经网络、随机森林、自编码器、长短时记忆网络检测方法进行对比,所提方法具有较高的检测精度,在VRB储能系统荷电状态估计中能够有效辨识虚假数据攻击。