基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于卷积神经网络-长短期记忆神经网络模型利用光学体积描记术重建动脉血压波信号

目的直接动脉血压(arterial blood pressure,ABP)连续监测是侵入式的,传统袖带式的间接血压测量法无法实现连续监测。既往利用光学体积描记术(photoplethysmography,PPG)实现了连续无创血压监测,但其为收缩压和舒张压的离散值,而非ABP波的连续值,本研究期望基于卷积神经网络-长短期记忆神经网络(CNN-LSTM)利用PPG信号波重建ABP波信号,实现连续无创血压监测。方法构建CNN-LSTM混合神经网络模型,利用重症监护医学信息集(medical information mart for intensive care,MIMIC)中的PPG与ABP波同步记录信号数据,将PPG信号波经预处理降噪、归一化、滑窗分割后输入该模型,重建与之同步对应的ABP波信号。结果使用窗口长度312的CNN-LSTM神经网络时,重建ABP值与实际ABP值间误差最小,平均绝对误差(mean absolute error,MAE)和均方根误差(root mean square error,RMSE)分别为2.79 mmHg和4.24 mmHg,余弦相似度最大,重建ABP值与实际ABP值一致性和相关性情况良好,符合美国医疗器械促进协会(Association for the Advancement of Medical Instrumentation,AAMI)标准。结论CNN-LSTM混合神经网络可利用PPG信号波重建ABP波信号,实现连续无创血压监测。

基于卷积神经网络和长短期记忆网络的坝上水位精细化建模方法

坝上水位是水电站调度运行的重要依据,然而受调峰非恒定流的影响,传统插值计算的水电站坝上水位与实际值存在较大的误差,不利于水库水位的精细控制和实际调度。本研究采用最大互信息系数探索水电站坝上水位变化的关联因素,并提出一种基于深度学习的CNN-LSTM模型计算方法,实现了准确计算受调峰非恒定流影响的水电站坝上水位。为验证本文所提模型的有效性,将其与传统法在三种评价准则进行对比,结果表明,所提的CNN-LSTM模型在汛期和枯水期的各种评价准则下均优于传统法,模型计算结果更接近实际坝上水位。本文所提模型在水电运行时可有效避免计算水位不准确带来的控制风险,降低水电站运行风险。

使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络预测盾构隧道施工引起的地面沉降

[目的]地铁盾构隧道施工会引起周围地面沉降,影响周围环境。传统地面沉降预测方法难以综合考虑沉降影响因素,对此,为提高地面沉降的预测精度,使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络,对盾构隧道施工引起的地面沉降进行预测。[方法]以某地铁施工区间地面沉降监测数据为研究对象,使用CNN对影响参数(压缩模量、黏聚力、内摩擦角、泊松比、土层厚度、隧道埋深和施工参数)与地面沉降监测值进行连接,使用LSTM神经网络对地面沉降进行分析,建立了基于CNN-LSTM联合神经网络的地面沉降预测模型,探讨了同时考虑多个因素对地面沉降预测值的影响。[结果及结论]使用CNN对地面沉降相关的影响参数特征提取效果较好;所建CNN-LSTM模型的准确率比单独使用LSTM模型的准确率提高了3%、比传统BP(反向传播)神经网络模型准确率提高了9%;所建CNN-LSTM模型,对单测点短时间地面沉降预测准确率达到93%,预测值与监测值吻合较好。

卷积-长短期记忆神经网络超宽带定位方法

针对室内视距环境下超宽带(UWB)观测值中的测距误差影响定位精度的问题,提出一种基于卷积神经网络与长短期记忆网络(CNN-LSTM)相结合的UWB测距误差改正模型:将基站与标签之间的测距值和Chan算法解算的标签初始坐标作为卷积神经网络(CNN)的输入,借助CNN良好的数据特征提取能力,充分挖掘UWB测距值的特征;然后利用长短期记忆网络(LSTM)进行进一步的特征学习,并进行训练和预测UWB测距值,以减少测距误差对UWB测距值精度的影响;最后,利用高斯-牛顿迭代算法求解出最终的UWB定位结果,同时,建立多项式和指数函数UWB测距误差改正模型,并与本文方法进行对比分析。实验结果表明,在静态和动态实验下,基于CNN-LSTM网络模型结果的精度均优于其他2种模型,证明该算法可有效降低测距误差,提高UWB的定位精度。

基于贝叶斯优化-卷积神经网络-双向长短期记忆神经网络的锂电池健康状态评估

准确估计电池健康状态是设备稳定运行的关键。针对当前健康状态研究中容量难以直接测量、估计模型调参费时等问题,提出基于多健康特征的贝叶斯优化(BO)算法优化卷积神经网络(CNN)与双向长短期记忆(BiLSTM)神经网络预测模型。基于NASA公开锂电池数据,提取3种健康特征。将CNN与BiLSTM结合,提高时间序列数据处理能力,加入BO算法自动搜寻最优参数集,避免组合网络模型陷入局部最优,从而减少评估时间。对比分析相关神经网络模型,结果表明所提方法预测准确度最高,可有效估计锂电池的健康状态,平均绝对误差和方均根误差均在1%以内。

基于小波变换和长短期记忆神经网络的电力负荷预测

电力系统需要保持发电功率与用电负荷的即时平衡,而电力负荷具有非线性、时变性和不确定性等特点。针对此问题,考虑天气与日期类型的影响,构建小波变换(wavelet transform,WT)和长短期记忆(long short-term memory,LSTM)神经网络组合预测模型,对电力负荷进行短期电力负荷预测。首先,用小波变换对数据集进行特征提取、信号去噪,消除数据的波动性;其次,将预处理后的数据利用LSTM进行训练,将输出结果进行序列重构;最后,进行负荷预测,WT-LSTM组合预测模型分别与BP神经网络预测模型和LSTM预测模型进行对比数据。结果表明,WT-LSTM神经网络组合预测模型的预测效果最好,有效地提高了预测精度。

基于长短期记忆神经网络的反应液葡萄糖含量预测

目的建立皮尔逊相关系数(Pearson correlation coefficient,PCC)和长短期记忆(long short term memory,LSTM)神经网络的反应液葡萄糖含量预测模型用以实时预测葡萄糖酸锌生产过程中反应液葡萄糖含量。方法通过葡萄糖酸锌制备实验,结合PCC理论确定对反应液葡萄糖含量有较大影响的因素,对这些因素进行数据采集并将其作为神经网络的输入变量,采集反应液葡萄糖含量数据并进行处理,将其作为神经网络的输出变量,进而建立反向传播神经网络(backpropagation neural network,BP)和LSTM神经网络的反应液葡萄糖含量预测模型。结果通过100次模型迭代训练,对照BP反应液葡萄糖含量预测模型可以看出LSTM反应液葡萄糖含量预测模型在测试集的误差约为0.45%,误差较小,准确度较高。结论基于LSTM反应液葡萄糖含量预测模型显著提高了预测精度,相比现有检测方法更加智能高效,能够有效辅助生产进行。

基于卷积神经网络与长短期记忆神经网络的弹丸轨迹预测

针对弹丸非线性轨迹预测问题,提出一种基于卷积神经网络(CNN)与长短期记忆(LSTM)神经网络的混合轨迹预测模型。通过建立6自由度弹丸运动模型,并使用4阶龙格库塔法外弹道仿真,得到大量轨迹数据样本;提出CNN-LSTM神经网络的混合轨迹预测模型,并利用滑动窗口法和差分法构造输入输出的轨迹数据对,将预测问题转化为有监督的学习问题;将所提模型与LSTM神经网络模型、门控循环单元(GRU)神经网络模型和反向传播(BP)神经网络模型在同一数据集下进行仿真实验。研究结果表明,CNN-LSTM神经网络模型预测3 s后的平均累积预测误差在x轴方向约为14.83 m,y轴方向约为20.77 m,z轴方向约为0.75 m,且轨迹预测精度优于单一模型,为弹丸轨迹预测研究提供了一定的参考。

基于长短期记忆神经网络的电力用电量预测

为解决现有用电量预测精确度较低等问题,提出了基于长短期记忆神经网络的电力用电量预测方法。分析了电力负荷分类以及典型负荷曲线,说明了支持向量回归以及长短期记忆神经网络的基本原理,提出了基于支持向量回归和长短期记忆神经网络结合的预测方法,说明了预测流程,给出了预测结果统计评价标准。根据所提出的方法进行了案例分析,论证了所提方法的有效性。

基于主成分分析和长短期记忆神经网络的光伏功率区间预测

针对光伏发电功率的随机变化,提出一种基于主成分分析和长短期记忆神经网络的光伏功率区间预测方法,有效实现了光伏功率的区间预测。首先,将用于训练模型的输入数据进行主成分分析法降维,在提取数据特征的同时降低数据维度;然后,将降维后的数据与真实光伏功率一同输入基于分位数的长短期记忆神经网络预测模型中迭代训练,得到训练完毕的预测模型;最后,在对比仿真中验证了所提方法的有效性。

基于长短期记忆神经网络的采煤机摇臂轴承剩余寿命预测

为解决采煤机摇臂关键零部件的失效问题,基于长短期记忆神经网络(Long Short-Term Memory,LSTM)提出了一种创新性的方法,以预测采煤机摇臂轴承的剩余寿命。基于长短期记忆神经网络理论,通过建立轴承寿命退化指标,对轴承剩余寿命进行预测,同构利用分层抽样方法对数据集进行划分;通过引入粒子群算法优化LSTM,解决LSTM算法选择最优超参数的问题,提高轴承剩余寿命预测精度。研究结果表明,基于LSTM的轴承剩余寿命预测结果与实际轴承寿命变化情况基本一致,预测结果均在置信区间内,可以为轴承维修保养工作提供参考。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

联合卷积神经网络与长短期记忆深度网络的桥梁损伤识别

为准确评估桥梁结构状态,提升损伤识别效率,提出基于联合卷积神经网络(CNN)与长短期记忆(LSTM)深度网络的桥梁损伤识别方法,并用振动台试验数据进行验证。结合CNN空间特征和LSTM时间特征提取能力,构建桥梁结构损伤识别架构;提取5类时频域损伤特征,经对比分析后,采用结合平均频率和平均能量的组合特征进行损伤识别;基于振动台试验数据及其有限元模型数据识别了斜拉桥模型的损伤,并将识别结果分别与CNN、LSTM的识别结果对比。结果表明:采用联合CNN与LSTM深度网络建立的损伤识别方法可有效识别出桥梁的损伤位置和损伤程度,且偏差小,识别结果优于CNN、LSTM;未布置传感器的位置损伤识别精度较低;轻微损伤识别准确率相对较低。

并联卷积神经网络的近红外光谱定量分析模型

近红外光谱分析已成为工农业生产过程质量监控领域中不可或缺的重要分析手段之一,在食品、农业、医药等定性定量分析领域被广泛应用。预测精度高、运行速度快、泛化能力强的近红外光谱预测模型可用于不同物质的定性定量分析。但由于近红外光谱数据量的激增,传统的近红外光谱建模方法已经出现明显的不足。随着人工智能技术的不断发展,深度学习算法在近红外光谱分析领域得到了广泛应用。提出了一种基于并联卷积神经网络的近红外光谱定量分析模型(PaBATunNet)。该模型由1个一维卷积层、1个并联卷积模块(Module)、1个展平层、4个全连接层和1个参数调节器(PR)组成,Module模块包括5个子模块分别对光谱数据进行线性及非线性多维特征提取,并通过Concatenate函数将提取后的光谱特征数据进行拼接,PR模块通过调节优化PaBATunNet模型参数,提高模型预测精度。基于Gard-CAM思想给出了PaBATunNet模型高贡献度特征波长,增加了PaBATunNet模型的可解释性。以谷物、柴油、啤酒、牛奶四组公开的近红外光谱数据为例,将PaBATunNet模型的预测结果与偏最小二乘(PLS)、主成分回归(PCR)、支持向量机(SVM)和BP神经网络(BP)模型的预测结果进行比较。结果表明,与PLS相比,PaBATunNet模型在谷物、柴油、啤酒、牛奶数据集的预测精度上分别提高了30.0%、40.7%、43.0%、52.8%;与PCR相比,PaBATunNet模型的预测精度分别提高了28.8%、35.9%、40.8%、52.2%;与SVM相比,PaBATunNet模型的预测精度分别提高了45.5%、37.4%、45.3%、54.7%;与BP相比,PaBATunNet模型的预测精度分别提高了7.9%、32.4%、90.1%、62.0%。基于并联卷积神经网络的近红外光谱建模方法相比于传统建模方法解决了模型预测精度低、运行时间长、泛化能力差以及可解释性不强等问题,可有效应用于工农业生产中不同物质的定量分析,为建立快速、无损、高精度的近红外光谱定量分析模型提供了科学基础。

一种基于一维卷积神经网络的试井模型智能识别方法

为提高试井分析工作效率,实现试井模型的自动识别,提出了基于一维卷积神经网络(1D CNN)的试井模型智能识别方法。根据实测数据的特点,提出基于理论曲线构建样本库的原则与方法,并构建了4种常用油藏模型的训练样本库;建立了一维卷积神经网络模型,将样本库中双对数曲线的压力变化和压力导数数据作为输入,油藏类别作为网络输出训练及优化网络,总识别准确率可达99.16%,敏感度均在98%以上。经4口井实例应用,正确识别试井模型的概率大于0.99,与二维卷积神经网络相比,1D CNN显著降低了计算复杂度和时间成本,加快了训练速度。这表明基于试井理论所构建的样本库是有效的,能满足实测数据模型识别的需求;同时证明了方法的有效性、实用性和普适性。

基于卷积神经网络的福建省区域滑坡灾害预警模型

福建省滑坡灾害频发,开展区域尺度上的滑坡灾害预警是防灾减灾的重要手段,但由于滑坡成灾机理复杂,传统的区域滑坡预警方法存在精度不足等问题。深度学习是指通过构建神经网络模型进行特征的提取、抽象、表示与学习的技术,是机器学习的一种。卷积神经网络作为一种经典的深度学习算法,具有比传统机器学习更强大的分类能力与表征能力。文章以福建省为研究区,将卷积神经网络引入滑坡灾害预警领域,构建福建省区域滑坡预警模型,过程及结果如下:(1)采用SMOTE优化算法对2010—2018年福建省滑坡灾害样本库进行优化,扩充正样本的个数,将正负样本比例从1∶3.4扩充到1∶2,样本总量达到18040个;(2)构建卷积神经网络模型结构,模型结构包括一个输入层、两个卷积层、两个最大池化层和一个全连接层以及一个输出层;(3)使用卷积神经网络对优化后的样本(2010—2018年样本的80%作为训练集)进行训练,并用贝叶斯优化算法优化模型超参数,得到福建省区域滑坡预警模型;(4)以2010—2018年样本的20%作为测试集对模型进行测试,采用混淆矩阵、ROC曲线进行模型测试,结果显示模型准确度为0.96~0.97,AUC值达到0.977,模型精度与泛化能力良好;(5)以2019年汛期滑坡灾害实况作为正样本,通过时空采样的方法采集负样本,构建2019年区域滑坡样本校验集(样本数603个),对模型进行进一步实况校验,采用混淆矩阵、ROC曲线进行模型校验,结果显示模型准确度为0.75~0.85,AUC值为0.852。虽然仅用了2019年汛期的滑坡实况样本进行校验,但也达到较好的效果。将卷积神经网络算法应用到区域滑坡预警中,为建立区域滑坡预警模型提供了一种新的途径,初步校验表明,模型效果良好,今后将在福建省对模型进行进一步的应用与校验。

基于长短期记忆神经网络的城市交通速度预测

交通速度预测在智能交通系统中起着重要的作用,准确、快速的交通速度预测有利于及时掌握城市道路交通状况,能够有效实行交通诱导。针对交通速度具有极强的周期性,在工作日和非工作日之间存在较大差异,导致预测精度不高的问题,分别选取公开的工作日和非工作日交通速度数据,构建基于长短期记忆神经网络的城市交通速度预测模型。实验验证采用广州市20条路段的交通数据,结果表明,区分工作日和非工作日的平均绝对百分比误差、平均绝对误差和均方根误差的平均值比不区分均要小,说明区分工作日和非工作日可以有效地提高交通速度的预测精度。

基于卷积神经网络与Transformer的电能质量扰动分类方法

复杂电能质量扰动(power quality disturbances, PQD)的智能分类对于智能电网发展具有重要意义。扰动特征的提取与定位、模式识别与分类是电能质量扰动分类方法研究的难点。采用深度学习算法,将具有关注全局信息的Transformer与善于提取局部特征的卷积神经网络相融合,提出一种基于卷积神经网络(convolutional neural network, CNN)与Transformer的电能质量扰动分类方法,即CTranCBA。这种双深度学习模型分类方法主要是通过一维卷积神经网络提取电能质量扰动信号特征,利用Transformer自注意力机制引导模型关注序列中不同位置间的依赖关系,实现对扰动信号局部特征与全局特征的互补,克服了因感受野的限制而带来的识别不清、分类不准等问题。使用23种不同电能质量扰动信号,将CTranCBA与Deep-CNN、CNN-LSTM、CNN-CBAM方法进行比较。结果表明:该方法在分类准确率和抗噪性方面表现优异,可为电能质量扰动智能分类提供一种新的方法。