基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于密度聚类模态分解的卷积神经网络和长短期记忆网络短期风电功率预测

近年来,随着碳达峰和碳中和“双碳”战略目标的提出,风力发电已成为可再生能源发电的关键部分。为提高风电功率短期预测的准确度,提出基于密度聚类与自适应噪声完备集成经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和卷积神经网络与长短期记忆网络结合的短期风电功率预测方法。首先,利用密度聚类将风电功率与天气特征分成不同类别的数据集,通过自适应噪声完备集成经验模态分解算法将不同类别的数据进行频域分解得到子序列分量。以此为基础,将不同的子序列分量与天气特征进行特征选择,输入到卷积神经网络与长短期记忆网络的预测模型。最后,将不同的预测结果进行叠加得到最终的预测结果。整个预测过程通过聚类、分解和特征选择,有效提高了短期风电功率预测的准确度。

基于贝叶斯优化-卷积神经网络-双向长短期记忆神经网络的锂电池健康状态评估

准确估计电池健康状态是设备稳定运行的关键。针对当前健康状态研究中容量难以直接测量、估计模型调参费时等问题,提出基于多健康特征的贝叶斯优化(BO)算法优化卷积神经网络(CNN)与双向长短期记忆(BiLSTM)神经网络预测模型。基于NASA公开锂电池数据,提取3种健康特征。将CNN与BiLSTM结合,提高时间序列数据处理能力,加入BO算法自动搜寻最优参数集,避免组合网络模型陷入局部最优,从而减少评估时间。对比分析相关神经网络模型,结果表明所提方法预测准确度最高,可有效估计锂电池的健康状态,平均绝对误差和方均根误差均在1%以内。

基于卷积神经网络和双向长短期记忆网络的气温预测模型

气温与环境要素之间存在非线性关系,针对传统的预测方法难以捕捉数据的内在特征和时间相关性问题,提出一种基于卷积神经网络与双向长短期记忆网络相结合的气温预测模型。基于宿迁四个国家气象观测站的逐小时观测数据,首先通过一维卷积神经网络提取气象要素数据的空间特征,然后将这些特征引入双向长短期记忆网络中来全面学习并掌握气象要素的上下文信息,进而对气温进行有效预测。实验结果表明,与其他的预测方法相比,所提模型在空间特征提取和时序特征学习方面表现卓越,且其在气温预测的精度上有显著的优势。

使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络预测盾构隧道施工引起的地面沉降

[目的]地铁盾构隧道施工会引起周围地面沉降,影响周围环境。传统地面沉降预测方法难以综合考虑沉降影响因素,对此,为提高地面沉降的预测精度,使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络,对盾构隧道施工引起的地面沉降进行预测。[方法]以某地铁施工区间地面沉降监测数据为研究对象,使用CNN对影响参数(压缩模量、黏聚力、内摩擦角、泊松比、土层厚度、隧道埋深和施工参数)与地面沉降监测值进行连接,使用LSTM神经网络对地面沉降进行分析,建立了基于CNN-LSTM联合神经网络的地面沉降预测模型,探讨了同时考虑多个因素对地面沉降预测值的影响。[结果及结论]使用CNN对地面沉降相关的影响参数特征提取效果较好;所建CNN-LSTM模型的准确率比单独使用LSTM模型的准确率提高了3%、比传统BP(反向传播)神经网络模型准确率提高了9%;所建CNN-LSTM模型,对单测点短时间地面沉降预测准确率达到93%,预测值与监测值吻合较好。

基于卷积神经网络-长短期记忆神经网络模型利用光学体积描记术重建动脉血压波信号

目的直接动脉血压(arterial blood pressure,ABP)连续监测是侵入式的,传统袖带式的间接血压测量法无法实现连续监测。既往利用光学体积描记术(photoplethysmography,PPG)实现了连续无创血压监测,但其为收缩压和舒张压的离散值,而非ABP波的连续值,本研究期望基于卷积神经网络-长短期记忆神经网络(CNN-LSTM)利用PPG信号波重建ABP波信号,实现连续无创血压监测。方法构建CNN-LSTM混合神经网络模型,利用重症监护医学信息集(medical information mart for intensive care,MIMIC)中的PPG与ABP波同步记录信号数据,将PPG信号波经预处理降噪、归一化、滑窗分割后输入该模型,重建与之同步对应的ABP波信号。结果使用窗口长度312的CNN-LSTM神经网络时,重建ABP值与实际ABP值间误差最小,平均绝对误差(mean absolute error,MAE)和均方根误差(root mean square error,RMSE)分别为2.79 mmHg和4.24 mmHg,余弦相似度最大,重建ABP值与实际ABP值一致性和相关性情况良好,符合美国医疗器械促进协会(Association for the Advancement of Medical Instrumentation,AAMI)标准。结论CNN-LSTM混合神经网络可利用PPG信号波重建ABP波信号,实现连续无创血压监测。

基于多源数据融合与卷积长短期记忆神经网络的聚合物挤出过程熔体密度监测方法

聚合物挤出过程中熔体密度是影响产品质量的关键因素。由于挤出加工过程的高温、高压复杂工况,寻求能准确、在线监测聚合物挤出过程中熔体密度的方法是一个具有挑战性的问题。尽管基于机器学习的质量监测方法提供了一种解决方案,但在聚合物挤出加工过程中,由于数据类型、工艺参数、操作环境等多变性因素的影响,传统的机器学习方法可能难以捕捉聚合物加工中不同输入参数和输出质量参数之间的复杂关系,使得监测任务难以获得理想的准确性。本文提出了一种基于多源数据融合与卷积长短期记忆神经网络(CNN–LSTM)的熔体密度监测方法,用于在线监测聚碳酸酯–丙烯腈–丁二烯–苯乙烯共聚物(PC/ABS)共混体系的熔体密度。首先,通过实时采集安装在挤出机模头处的近红外、拉曼及超声3种传感器数据,对3种传感数据进行预处理并融合后作为输入;然后,通过合理设计的网络结构,构建CNN–LSTM监测模型,利用CNN的特征提取能力与LSTM的预测能力,最终实现对聚合物共混过程中的熔体密度的实时监测。基于独立开发的多源传感数据实时采集装置获取的数据,利用所提方法对PC/ABS共混挤出过程的熔体密度进行实时监测,结果表明:本文方法能够准确监测聚合物熔体密度,其在测试集上的均方根误差和决定系数分别为0.975 5、0.006 3 g/cm3,比传统的卷积神经网络方法、长短期记忆网络方法、岭回归方法、偏最小二乘回归方法、多层感知机方法和支持向量机回归方法具有更高的预测精度;本文方法的10次输入平均预测时间为1.523 5 s,能够满足实际生产过程的实时监测。综上所述,所提出的基于多源数据融合与CNN–LSTM的熔体密度监测方法显著提高了聚合物挤出过程中熔体密度的实时监测精度,为挤出过程中聚合物的质量提供了可靠的技术支持。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

卷积-长短期记忆神经网络超宽带定位方法

针对室内视距环境下超宽带(UWB)观测值中的测距误差影响定位精度的问题,提出一种基于卷积神经网络与长短期记忆网络(CNN-LSTM)相结合的UWB测距误差改正模型:将基站与标签之间的测距值和Chan算法解算的标签初始坐标作为卷积神经网络(CNN)的输入,借助CNN良好的数据特征提取能力,充分挖掘UWB测距值的特征;然后利用长短期记忆网络(LSTM)进行进一步的特征学习,并进行训练和预测UWB测距值,以减少测距误差对UWB测距值精度的影响;最后,利用高斯-牛顿迭代算法求解出最终的UWB定位结果,同时,建立多项式和指数函数UWB测距误差改正模型,并与本文方法进行对比分析。实验结果表明,在静态和动态实验下,基于CNN-LSTM网络模型结果的精度均优于其他2种模型,证明该算法可有效降低测距误差,提高UWB的定位精度。

基于卷积神经网络和长短期记忆网络的坝上水位精细化建模方法

坝上水位是水电站调度运行的重要依据,然而受调峰非恒定流的影响,传统插值计算的水电站坝上水位与实际值存在较大的误差,不利于水库水位的精细控制和实际调度。本研究采用最大互信息系数探索水电站坝上水位变化的关联因素,并提出一种基于深度学习的CNN-LSTM模型计算方法,实现了准确计算受调峰非恒定流影响的水电站坝上水位。为验证本文所提模型的有效性,将其与传统法在三种评价准则进行对比,结果表明,所提的CNN-LSTM模型在汛期和枯水期的各种评价准则下均优于传统法,模型计算结果更接近实际坝上水位。本文所提模型在水电运行时可有效避免计算水位不准确带来的控制风险,降低水电站运行风险。

改进双向长短期记忆神经网络的瓦斯涌出量预测

为提高瓦斯涌出量预测精度,降低煤矿回采工作面瓦斯涌出超限事故的风险,针对瓦斯涌影响因素众多、难以预测等问题,采用灰狼优化算法(Grey Wolf Optimization,GWO)双向长短期记忆神经网络(Bi-directional Long Short-Term Memory,BiLSTM)的组合模型预测瓦斯涌出量。首先,运用主成分分析法(Principal Components Analysis,PCA)处理瓦斯涌出影响因素,降低数据维度,以减少模型计算时的负担;其次,利用GWO优化BiLSTM模型的学习率(best_lr)、隐藏层层数(best_hd)以及正则化系数(best_l2),可有效避免局部最优解问题,并采用决定系数(R-Square,R^(2))、均方根误差(Root Mean Square Error,RMSE)和平均绝对误差(Mean Absolute Error,MAE)对所建模型预测的结果进行综合评价分析;最后,将该模型应用于内蒙古自治区某矿回采工作面预测瓦斯涌出量。结果显示:PCA GWO BiLSTM组合模型相比于长短期记忆神经网络(Long Short-Term Memory,LSTM)和双向长短期记忆神经网络对应的单一模型,其MAE分别降低20.81%、30.17%,RMSE分别降低0.063、0.142,R^(2)则分别提高了0.023、0.075,表明该模型在复杂因素条件下具有更高的精准度、泛化性和鲁棒性。

一种在线医疗社区问答文本实体识别方法——基于卷积神经网络和双向长短期记忆神经网络

针对在线医疗社区问答文本复杂程度高、结构化程度低的特点,结合卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)两种深度学习模型以及条件随机场(CRF)模型,提出一套适用于在线医疗问答文本的实体识别方法并进行验证。将问答文本进行清洗和BIO标注后,分别用CNN和BiLSTM进行字级别的特征抽取,将通过两种模型抽取到的特征进行融合后放入CRF中训练出实体预测模型,再将问答文本放入训练好的模型中,得到最终的实体识别结果。以关于乳腺癌疾病问答文本为例,研究结果表明,运用该方法得到的识别结果优于其他模型,且识别准确率达到92.3%、召回率达到89.3%、F值达到90.8%。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解(CEEMDAN)技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆(BiLSTM)神经网络模型和一维卷积神经网络(1DCNN)模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络(SENet)模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。

基于Softmax函数增强卷积神经网络—双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,需要准确识别和判断交通状态。基于道路自身的自由流速度,将具有不同速度等级的街道统一以旅行时间指数(travel time index, TTI)作为拥堵评价,相较于以车辆速度为基准的传统预测方法更能表现出道路的拥堵状态。提出了一种改进的深度学习预测模型(CS-BiLSTM),该模型基于卷积神经网络(convolutional neural networks, CNN)和双向长短期记忆(bidirectional long short-term memory, BiLSTM),并结合Softmax函数增强CNN提取出的交通空间特征信息。最后以成都市出租车的全球定位系统(global positioning system, GPS)数据进行验证。结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比CNN-BiLSTM网络预测框架提升了13%。

基于卷积长短期记忆神经网络的短期风功率预测

提出一种基于卷积长短期记忆神经网络(CNN-LSTM)的短期风功率预测模型。该模型以风电场风功率历史数据以及风速风向等数值天气预报(NWP)数据为输入对风功率进行预测。首先,利用主成分分析法(PCA)对原始多维气象数据变量进行预处理,然后将处理过的气象数据和历史风功率数据通过卷积网络实现对数据的特征提取和进一步的数据降维,再通过长短期记忆网络实现对数据的拟合,并在神经网络的训练过程中引入DropConnect技术减小模型中的过拟合现象,最终实现风功率的精确预测。以中国西北某风电场的实测数据进行验证,结果表明所提方法能有效对风功率进行预测,较BP神经网络和支持向量机(SVM)有更高的预测精度。

基于长短期记忆和卷积神经网络的语音情感识别

为了提高语音情感识别的准确率,提出了一种基于长短期记忆(LSTM)和卷积神经网络(CNN)的语音情感识别方法。首先提取语音信号的梅尔(Mel)频谱序列作为LSTM网络的输入,利用LSTM网络提取语音信号的时域上下文特征,在此基础上再利用CNN从低层特征中学习提取更高层次的情感特征,并完成对语音信号的情感分类。在eNTRAFACE’05、RML和AFEW6. 0三种不同的情感数据库上进行了情感识别测试,实验结果表明,文中提出的方法在上述三种数据库上获得的平均识别率分别为49. 15%,85. 38%和37. 90%。此外,和传统的语音情感识别方法以及基于LSTM或CNN的语音情感识别方法进行了对比,验证了文中提出方法的有效性。

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态(SOC)预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络(1D CNN)与长短期记忆(LSTM)循环神经网络(RNN)结合的电池SOC预测方法——1D CNNLSTM模型。1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC。首先,通过一层一维卷积层从样本数据中提取出高级数据特征,并充分地利用输入数据的特征信息;其次,使用一层LSTM层保存历史输入信息,从而有效地预防重要信息的丢失;最后,通过一层全连接层输出电池SOC预测结果。使用电池的多次循环充放电实验数据训练提出的模型,分析对比不同超参数设置下1D CNN-LSTM模型的预测效果,并通过训练模型来调节模型的权重系数和偏置参数,从而确定最优的模型设置。实验结果表明,1D CNN-LSTM模型具有准确且稳定的电池SOC预测效果。该模型的平均绝对误差(MAE)、均方误差(MSE)和最大预测误差分别为0.402 7%、0.002 9%和0.99%。

联合卷积神经网络与长短期记忆深度网络的桥梁损伤识别

为准确评估桥梁结构状态,提升损伤识别效率,提出基于联合卷积神经网络(CNN)与长短期记忆(LSTM)深度网络的桥梁损伤识别方法,并用振动台试验数据进行验证。结合CNN空间特征和LSTM时间特征提取能力,构建桥梁结构损伤识别架构;提取5类时频域损伤特征,经对比分析后,采用结合平均频率和平均能量的组合特征进行损伤识别;基于振动台试验数据及其有限元模型数据识别了斜拉桥模型的损伤,并将识别结果分别与CNN、LSTM的识别结果对比。结果表明:采用联合CNN与LSTM深度网络建立的损伤识别方法可有效识别出桥梁的损伤位置和损伤程度,且偏差小,识别结果优于CNN、LSTM;未布置传感器的位置损伤识别精度较低;轻微损伤识别准确率相对较低。