基于句子级Lattice-长短记忆神经网络的中文电子病历命名实体识别

目的提出一种基于Re-entity新分词方法的条件随机场(CRF)模型,并与双向长短记忆神经网络(BiLSTM)-CRF和Lattice-长短记忆神经网络(LSTM)进行比较。方法比较了现有实体识别方法和模型后,针对2018年全国知识图谱与语义计算大会(CCKS2018)任务一“电子病历命名实体识别”,提出基于Re-entity的CRF、BiLSTM-CRF、Lattice-LSTM方法,并在不同语料库训练不同参数级别的字符向量集。分别将各方法引入神经网络模型中进行模型性能对比实验,最后分别基于句子级和篇级输入句长进行对比研究。结果CRF模型在最优特征工程的结果下引入Re-entity方法后性能得到提高,句子级的Lattice-LSTM模型在该任务上取得了89.75%的严格F1-measure,优于CCKS2018任务一的最高结果(89.25%)。结论基于Re-entity新分词方法的CRF模型可利用中文临床药物知识库有效提高电子病历中药物的识别率,Re-entity方法可改善数据预处理阶段分词导致的错误累加,Lattice结构可以更好地结合字符和词序列的潜在语义信息,同时句子级输入能有效提高神经网络模型的识别准确率。

联合卷积与长短记忆神经网络的桥梁结构损伤识别研究

为改进传统方法在时空相关特征联合提取及结构损伤识别效果等方面存在的不足,结合结构健康监测加速度振动信号的数据特性,将结构损伤识别归约为多变量时间序列分类问题,提出一种联合卷积神经网络(Convolutional Neural Network,CNN)和长短记忆(Long Short-Term Memory,LSTM)循环神经网络模型的桥梁结构损伤识别方法。以结构健康监测获取的加速度振动响应为输入,通过CNN模型提取其多时间窗口内传感器拓扑相关性特征,然后将该特征矩阵输入以Softmax为输出层的LSTM模型,以进一步提取其时间维度特征,并进行结构损伤模式分类。以某连续刚构桥结构缩尺模型的一种无损伤及3种不同程度损伤工况为试验数据环境,验证了提出方法在准确率、精确率、召回率和F值等方面优势。

基于长短记忆神经网络的短期光伏发电预测技术研究

光伏电源在电网中的渗透率正在不断提高,准确的短期光伏发电预测有利于保障高比率光伏电源接入的电网安全稳定运行。为解决传统预测算法在学习周期波动规律上的不足,提出了基于长短期记忆神经网络的光伏发电预测模型。首先对长短期记忆神经网络的结构和特征进行了介绍和总结。其次,利用相关性分析从天气状态数据中筛选出光伏发电量的影响因素,由此作为模型的输入。接着,以小批梯度下降算法优化长短期记忆神经网络的训练过程。最后采用光伏电站的典型日发电预测实验来验证提出的模型。实验结果表明所提出的算法能够较好的预测光伏电站不同季节的日前光伏发电量。

长短记忆神经网络在流行性感冒暴发预测中的应用

目的研究长短记忆神经网络模型(long-short term memory,LSTM)预测未来每周流行性感冒(流感)暴发趋势的可行性,以提高预测精度和工作效率。方法选取2007-2017年深圳市宝安区每周流感发病数,考虑到时间序列数据的自相关性和高频特征,基于深度学习思想构建长短记忆神经网络模型对流感暴发趋势进行预测,并使用5种方法对LSTM模型预测效果进行评估。结果深圳市宝安区流感报告周频率具有随机波动性和周期性特征,通过LSTM神经网络模型能够准确学习时间序列特征并用于外推预测。仿真结果表明,相比ARIMA模型、BP神经网络、小波神经网络(WNN)、广义回归神经网络(GRNN)和动态自回归神经网络(NARX),LSTM神经网络的拟合度更接近实际值,预测精度较高。结论在数据量大和非平稳及周期特征的情况下,深度学习的LSTM神经网络对流感的预测效果更好。

基于遗传算法和长短记忆神经网络组合模型的加油站销量预测

针对加油站销量波动大且非线性特征明显,使用传统时间序列的预测模型无法满足实际预测需求的情况,提出基于遗传算法(GA)和长短记忆神经网络(LSTM)的销量组合预测模型,在原始数据的基础上加入温度、天气、油价、星期、节假日特征进行辅助预测,对文本类数据使用One-hot编码并使用Embedding降维,采用遗传算法求得LSTM模型的最优超参数来提升模型精度。结果显示:该模型精度保持在90%以上且符合大规模预测需求,能够投入实际应用。

基于长短记忆神经网络的频谱感知研究

频谱感知(Spectrum Sensing, SS)可以使次级用户(Secondary User, SU)在不干扰主用户(Primary User, PU)通信的情况下接入信道,是提高频谱资源利用率的一项非常关键的技术。传统的SS算法通常通过建模得到检验统计量,其检测性能依赖于建模的准确性,没有充分利用历史感知时隙的信息,而且性能受噪声功率不确定度(Noise Power Uncertainty, NU)影响而极大衰落。本文提出了一种数据驱动的基于深度学习(Deep Learning, DL)的SS算法,该算法利用当前和历史的传感数据源来学习固有的PU动态状态,我们使用当前时隙信号的模平方与前若干个时隙信号的模平方组成的矩阵作为神经网络的输入,使得监测状态更有利。另外,为了充分利用历史信息,本文采用了长短记忆神经网络(Long and short memory neural network, LSTM)作为我们的分类器,可避免长期依赖和主动学习能力。大量的仿真实验表明,本文提出的算法模型比传统的SS算法具有更优异的性能。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于时空长短时记忆神经网络的地基云图预测算法

针对传统云运动轨迹预测方法存在的预测精度差、空间结构细节信息丢失等问题,提出一种基于时空长短时记忆(ST-LSTM)神经网络的地基云图预测模型。首先使用卷积编码网络提取输入视频流的高维图像特征;然后在特征提取模型中对图像潜在信息进行多分支获取,一部分使用ST-LSTM神经网络提取不同帧之间的时空特征,另一部分将图像序列进行分解,并通过基于门控机制的记忆融合网络来获取分解后图像中的结构细节信息;最后将得到的分支特征进行组合后经过解码网络输出最终的预测视频流。在地基云图、Moving MNIST和Human 3.6M数据集上的实验结果表明,在图像预测准确率、结构细节信息保留效果以及人眼主观感受上,该预测模型均优于对比模型。与基准模型TaylorNet相比,所提模型在Moving MNIST数据集上均方误差指标和平均绝对误差指标分别降低15.7%和11.8%,在地基云图数据集上,其结构相似性指标与峰值信噪比指标分别提升1%和3.2%,且生成的视频流数据更为清晰,能够更准确地描述云层未来的运动状况,从而更可靠地预测光伏电站未来的输出功率。

基于改进灰狼算法优化双向长短时记忆神经网络的水冷壁壁温预测

提出一种基于改进灰狼(MGWO)算法优化双向长短时记忆(BiLSTM)神经网络的水冷壁壁温预测模型,灰狼算法采用非线性因子调整策略、自适应位置更新策略和动态权重修改策略进行改进以提升算法的全局寻优能力,利用改进灰狼算法优化BiLSTM模型的隐藏层数量、学习率和正则化参数以提高模型的预测精度,采用新疆某电厂的数据进行预测仿真,结果表明:改进后的算法预测精度更高,在机组升、降负荷时,均可以预测到壁温的变化趋势,模型的平均均方根误差相比于长短时记忆(LSTM)神经网络、BiLSTM模型分别降低了9.86%和3.69%,且可以提前预测到水冷壁壁温的超温情况,对于预防水冷壁超温有重要意义。

使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络预测盾构隧道施工引起的地面沉降

[目的]地铁盾构隧道施工会引起周围地面沉降,影响周围环境。传统地面沉降预测方法难以综合考虑沉降影响因素,对此,为提高地面沉降的预测精度,使用CNN(卷积神经网络)-LSTM(长短期记忆)联合神经网络,对盾构隧道施工引起的地面沉降进行预测。[方法]以某地铁施工区间地面沉降监测数据为研究对象,使用CNN对影响参数(压缩模量、黏聚力、内摩擦角、泊松比、土层厚度、隧道埋深和施工参数)与地面沉降监测值进行连接,使用LSTM神经网络对地面沉降进行分析,建立了基于CNN-LSTM联合神经网络的地面沉降预测模型,探讨了同时考虑多个因素对地面沉降预测值的影响。[结果及结论]使用CNN对地面沉降相关的影响参数特征提取效果较好;所建CNN-LSTM模型的准确率比单独使用LSTM模型的准确率提高了3%、比传统BP(反向传播)神经网络模型准确率提高了9%;所建CNN-LSTM模型,对单测点短时间地面沉降预测准确率达到93%,预测值与监测值吻合较好。

基于卷积神经网络-长短期记忆神经网络模型利用光学体积描记术重建动脉血压波信号

目的直接动脉血压(arterial blood pressure,ABP)连续监测是侵入式的,传统袖带式的间接血压测量法无法实现连续监测。既往利用光学体积描记术(photoplethysmography,PPG)实现了连续无创血压监测,但其为收缩压和舒张压的离散值,而非ABP波的连续值,本研究期望基于卷积神经网络-长短期记忆神经网络(CNN-LSTM)利用PPG信号波重建ABP波信号,实现连续无创血压监测。方法构建CNN-LSTM混合神经网络模型,利用重症监护医学信息集(medical information mart for intensive care,MIMIC)中的PPG与ABP波同步记录信号数据,将PPG信号波经预处理降噪、归一化、滑窗分割后输入该模型,重建与之同步对应的ABP波信号。结果使用窗口长度312的CNN-LSTM神经网络时,重建ABP值与实际ABP值间误差最小,平均绝对误差(mean absolute error,MAE)和均方根误差(root mean square error,RMSE)分别为2.79 mmHg和4.24 mmHg,余弦相似度最大,重建ABP值与实际ABP值一致性和相关性情况良好,符合美国医疗器械促进协会(Association for the Advancement of Medical Instrumentation,AAMI)标准。结论CNN-LSTM混合神经网络可利用PPG信号波重建ABP波信号,实现连续无创血压监测。

基于小波变换和长短期记忆神经网络的电力负荷预测

电力系统需要保持发电功率与用电负荷的即时平衡,而电力负荷具有非线性、时变性和不确定性等特点。针对此问题,考虑天气与日期类型的影响,构建小波变换(wavelet transform,WT)和长短期记忆(long short-term memory,LSTM)神经网络组合预测模型,对电力负荷进行短期电力负荷预测。首先,用小波变换对数据集进行特征提取、信号去噪,消除数据的波动性;其次,将预处理后的数据利用LSTM进行训练,将输出结果进行序列重构;最后,进行负荷预测,WT-LSTM组合预测模型分别与BP神经网络预测模型和LSTM预测模型进行对比数据。结果表明,WT-LSTM神经网络组合预测模型的预测效果最好,有效地提高了预测精度。

基于长短时记忆神经网络易损性分析的适用性研究

桥梁的损坏或失效可能导致严重的人员伤亡和巨大的经济损失。因此,对桥梁的破坏损失和地震性能进行准确的定量评估至关重要。为了实现这一目标,通常会采用构建易损性曲线的方法。易损性曲线表征在给定地震动强度下,桥梁部件或结构达到或超过某一破坏程度的条件概率。采用桥墩位移延性比作为损伤指标,利用长短时记忆(long short-term memory,简称LSTM)神经网络成功地建立了桥梁地震易损性曲线。研究结果表明,该模型展现了高计算效率和精度,可快速而准确地预测地震作用下桥梁结构构件的损伤指标。

基于图嵌入长短时记忆神经网络的非线性动态过程监控与诊断

针对复杂工业过程存在的非线性、动态性,以及故障标签难获取等特征,提出一种图嵌入长短时记忆神经网络在线监控与故障诊断方法。首先,对正常工况下采集的多维时序数据进行图嵌入,获得结构信息。其次,采用图注意力神经网络融合结构信息,并将融合后的结构信息输入用于预测的长短时记忆神经网络中。最后,提出一种新的基于预测误差指标的非线性动态过程在线监控方法和基于因果分析图的故障诊断方法。采用田纳西-伊斯曼数据集进行实验验证,结果表明了所提方法的有效性。

基于长短时记忆神经网络的Multi-GNSS卫星钟差建模预报

针对卫星钟差预报中二次多项式模型存在易受噪声干扰、预报精度不高的问题,构建一种基于长短时记忆神经网络的multi-GNSS卫星钟差预报模型,并分析不同卫星系统、不同钟类型基于不同建模方案的模型精度。为验证该模型的有效性和可行性,利用LSTM模型、QP模型、QP-LSTM模型分别基于12 h和24 h钟差序列进行建模,预报1 h、3 h、6 h、12 h钟差。结果表明,LSTM模型建模24 h、预报1 h精度最高。multi-GNSS卫星钟差LSTM预报模型中Galileo系统精度最高,其次为BDS-2系统和GPS系统,GLONASS系统精度最低,精度分别为0.018 ns、0.069 ns、0.133 ns、0.242 ns。不同原子钟预报精度不同,氢原子钟预报精度优于铷原子钟、铯原子钟。LSTM神经网络模型预报精度相较于QP-LSTM模型提升27%,相较于QP模型提升36%。

基于长短期记忆神经网络的反应液葡萄糖含量预测

目的建立皮尔逊相关系数(Pearson correlation coefficient,PCC)和长短期记忆(long short term memory,LSTM)神经网络的反应液葡萄糖含量预测模型用以实时预测葡萄糖酸锌生产过程中反应液葡萄糖含量。方法通过葡萄糖酸锌制备实验,结合PCC理论确定对反应液葡萄糖含量有较大影响的因素,对这些因素进行数据采集并将其作为神经网络的输入变量,采集反应液葡萄糖含量数据并进行处理,将其作为神经网络的输出变量,进而建立反向传播神经网络(backpropagation neural network,BP)和LSTM神经网络的反应液葡萄糖含量预测模型。结果通过100次模型迭代训练,对照BP反应液葡萄糖含量预测模型可以看出LSTM反应液葡萄糖含量预测模型在测试集的误差约为0.45%,误差较小,准确度较高。结论基于LSTM反应液葡萄糖含量预测模型显著提高了预测精度,相比现有检测方法更加智能高效,能够有效辅助生产进行。

基于长短期记忆神经网络的电力用电量预测

为解决现有用电量预测精确度较低等问题,提出了基于长短期记忆神经网络的电力用电量预测方法。分析了电力负荷分类以及典型负荷曲线,说明了支持向量回归以及长短期记忆神经网络的基本原理,提出了基于支持向量回归和长短期记忆神经网络结合的预测方法,说明了预测流程,给出了预测结果统计评价标准。根据所提出的方法进行了案例分析,论证了所提方法的有效性。

基于主成分分析和长短期记忆神经网络的光伏功率区间预测

针对光伏发电功率的随机变化,提出一种基于主成分分析和长短期记忆神经网络的光伏功率区间预测方法,有效实现了光伏功率的区间预测。首先,将用于训练模型的输入数据进行主成分分析法降维,在提取数据特征的同时降低数据维度;然后,将降维后的数据与真实光伏功率一同输入基于分位数的长短期记忆神经网络预测模型中迭代训练,得到训练完毕的预测模型;最后,在对比仿真中验证了所提方法的有效性。

基于长短期记忆神经网络的采煤机摇臂轴承剩余寿命预测

为解决采煤机摇臂关键零部件的失效问题,基于长短期记忆神经网络(Long Short-Term Memory,LSTM)提出了一种创新性的方法,以预测采煤机摇臂轴承的剩余寿命。基于长短期记忆神经网络理论,通过建立轴承寿命退化指标,对轴承剩余寿命进行预测,同构利用分层抽样方法对数据集进行划分;通过引入粒子群算法优化LSTM,解决LSTM算法选择最优超参数的问题,提高轴承剩余寿命预测精度。研究结果表明,基于LSTM的轴承剩余寿命预测结果与实际轴承寿命变化情况基本一致,预测结果均在置信区间内,可以为轴承维修保养工作提供参考。

基于贝叶斯优化-卷积神经网络-双向长短期记忆神经网络的锂电池健康状态评估

准确估计电池健康状态是设备稳定运行的关键。针对当前健康状态研究中容量难以直接测量、估计模型调参费时等问题,提出基于多健康特征的贝叶斯优化(BO)算法优化卷积神经网络(CNN)与双向长短期记忆(BiLSTM)神经网络预测模型。基于NASA公开锂电池数据,提取3种健康特征。将CNN与BiLSTM结合,提高时间序列数据处理能力,加入BO算法自动搜寻最优参数集,避免组合网络模型陷入局部最优,从而减少评估时间。对比分析相关神经网络模型,结果表明所提方法预测准确度最高,可有效估计锂电池的健康状态,平均绝对误差和方均根误差均在1%以内。