基于注意力卷积长短时记忆模型的城市出租车流量预测

为解决城市交通拥堵和安全问题,提出一种注意力卷积长短时记忆(ConvLSTM)残差(ACLR)模型,该模型通过结合ConvLSTM、注意力机制和残差结构,分别处理出租车流量的时间、空间、和其他特征,挖掘区域兴趣点(POI)数据对出租车流量的影响,有效提升交通时空特征的提取能力。同时,引入专门的学习元件考虑外部因素和POI密度对交通流量的影响,并利用北京市出租车轨迹数据验证。结果表明:ACLR模型在城市交通流预测中的精度高于差分自回归滑动平均(ARIMA)模型、长短时记忆(LSTM)网络、深度时空残差网络(ST-ResNet)、卷积神经网络(CNN)-残差神经单元-LSTM(CRL)循环神经网络、ACFM等模型,在无POI密度和考虑POI密度的情况下,均有助于提升模型的预测性能,ACLA模型的预测值与真实值基本一致,高峰时段也能与真实值较好地吻合,有效提升交通时空特征的提取能力,降低预测误差,使得交通流量预测性能得到优化。

最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。

使用深度长短时记忆模型对于评价词和评价对象的联合抽取

评价词和评价对象抽取在意见挖掘中是一个重要的任务,我们在句子级评价词和评价对象联合抽取任务上研究了长短时记忆(long short-term memory)神经网络模型的几种变种应用。长短时记忆神经网络模型是一种循环神经网络模型,该模型使用长短时记忆模型单元作为循环神经网络的记忆单元,它能够获得更多的长距离上下文信息,同时避免了普通循环神经网络的梯度消失和梯度爆炸的问题。我们对比了传统的方法,实验结果证明长短时记忆神经网络模型优于以前的方法,在细粒度评价词和评价对象的联合抽取中达到更好的性能。

双向长短时记忆模型训练中的空间平滑正则化方法研究

双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构。但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的识别效果。在实际应用中,通常会使用一些技巧来缓解过拟合问题,例如在待优化的目标函数中加入L2正则项就是常用的方法之一。该文提出一种空间平滑的方法,把BLSTM模型激活值的向量重组成一个2维图,通过滤波变换得到它的空间信息,并将平滑该空间信息作为辅助优化目标,与传统的损失函数一起,作为优化神经网络参数的学习准则。实验表明,在电话交谈语音识别任务上,这种方法相比于基线模型取得了相对4%的词错误率(WER)下降。进一步探索了L2范数正则技术和空间平滑方法的互补性,实验结果表明,同时应用这2种算法,能够取得相对8.6%的WER下降。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.

基于长短时记忆模型的信噪分离

近年来,随着深度神经网络技术的发展,人们提出了越来越多的深层网络结构并将其应用于语音分离任务。本文基于长短时记忆模型,研究了一种信噪分离算法,将梅尔频率倒谱系数作为模型的输入进行掩蔽估计,用Griffin-Lim算法重构分离语音。实验表明该算法的分离效果相比CNN方法有明显的提升,对阵发性噪声的分离效果尤其明显.

基于长短时记忆模型的问题相似度学习方法

该论文获得国际2017 Text REtrieval Conference (TREC)任务赛第一名,由小i机器人和华东师范大学合作完成。本文介绍的是中方在2017 LiveQA任务中的系统。此系统主要由三部分组成:候选答案检索、问题相似度测量和答案重排。具体来说,我们首先在多个社区问答网站中搜索获得候选的相似问题——答案对。

长短时记忆网络与新安江模型耦合的降雨径流模拟性能

深度学习技术在降雨径流模拟方面具有广阔应用前景,但受训练样本限制,需与传统水文模型相耦合,由传统水文模型提供训练数据。耦合数据的选择和超参数方案对耦合模型的模拟性能影响显著,但尚未有专门的研究。本文以东湾流域为例,用双向长短时记忆网络耦合新安江模型不同模块数据,并用灰狼优化算法优化超参数,构建降雨径流模型。结果表明:模型耦合不同数据时,对日径流和场次洪水的模拟性能均有提高,尤以耦合产流量和模拟流量数据时最为明显。不同耦合数据需调整超参数方案,灰狼优化算法可满足需求。本研究为提高耦合模型径流模拟能力提供了新思路和新方法。

基于长短时记忆模型的风机故障诊断

风机运行发生故障可能造成重大财产损失和人身安全问题。本文利用集合经验模态分解对风机的振动信号进行预处理,提取出振动信号的低频分量作为输入,利用一种基于长短时记忆的循环神经网络分类器,对风机的振动时序信号数据进行深度学习,进行故障分类。其应用过程包括模型设计,模型训练和诊断实现算法,并且利用仿真信号对模型进行验证,再进行风机运行过程中的部分故障模式识别。长短时记忆模型通过增加"记忆门"、"遗忘门"等单元,有效改善循环神经网络模型的梯度爆炸现象,提高分类性能,并且直接对时序信号数据进行处理,便于工业应用。通过对JNF282B-9D型离心式风机进行常见故障的模式识别与诊断,正确率达96.9%。该系统能实现准确的故障诊断,便于生产运营。

基于改进长短时记忆网络模型的人体运动姿态识别

人体运动数据对于人体运动异常判断有着重要的参考作用,为了提高人体姿态识别的准确性,提出一种基于改进长短时记忆网络模型的识别方法。该方法利用三轴加速度传感器采集人体运动姿态信息并对其进行小波阈值去噪处理,消除噪声干扰。通过计算特征冗余度筛选人体运动姿态特征,包括轴间相关系数、信号幅值面积和离散系数。基于粒子群算法改进长短时记忆网络模型并进行训练,以3个特征为输入,得出人体运动姿态类别。结果表明:基于改进长短时记忆网络模型的姿态识别方法的识别准确率,要显著优于机器学习的识别方法、改进DenseNet的识别方法和基于激光传感器的识别方法。

基于时空采样的卷积长短时记忆网络模型及其应用研究

鉴于人体动作识别在现实社会中的重大意义,为了进一步提高动作识别的能力,在研究长短时记忆神经网络及卷积神经网络的基础上,建立时空相关的卷积长短时记忆网络模型,该模型不仅具有LSTM的时序建模能力,还具有CNN刻画局部特征空间的能力,同时具备时空特性。运用该模型在KTH数据库上进行实验,并提出三种时间采样方式,最后与他人的方法进行比较,发现该模型在KTH动作识别上取得了较高的识别率。

基于LSTM模型的宁蒙河段封河时间预测研究

为解决目前使用的封河时间预测模型输入参数多、边界条件要求高以及长预见期预测精度较差等问题,采用长短时记忆(LSTM)循环神经网络模型方法,对黄河宁蒙河段封河时间进行预测。结果表明:在非极端天气条件下,LSTM模型的预报精度满足水情预报的要求,该模型的预见期和预测精度优于传统预报模型,对运行条件和边界条件的要求远低于现有人工神经网络模型以及冰水动力学模型,能够有效提升宁蒙河段封河时间预报水平。

基于优化LSTM模型的中国碳排放量预测研究

提高碳排放预测的准确性和泛化性是助力“双碳”目标实现的重要基础。首先,文章基于长短时记忆模型,拓展加入主成分分析法和注意力机制,提出了优化后的碳排放预测方法。其次,以中国日碳排放量为例进行实证分析,结合碳排放市场交易、能源价格、城市空气质量等15个指标进行预测,并与LSTM、RNN、CNN等6个传统深度学习模型比较。实证结果表明,基于MAE和MSE等5项准则,优化后的LSTM模型对中国日碳排放量拥有更为优异的预测性能。最后,文章为未来相关领域的模型选择优化提供了实证依据和重要启示。

基于GA-SLSTM模型的城市轨道交通短时客流预测

城市轨道交通短时客流预测可为相关运营部门实时调整行车调度、提高运营效率提供重要的决策依据,为乘客提供合理出行建议。因此,针对具有非线性和随机性等特性的地铁进出站短时客流预测问题,文章在堆叠式长短时记忆(SLSTM,Stacked Long Short Term Memory)模型的基础上,引入遗传算法(GA,Genetic Algorithm),构建了GA-SLSTM预测模型。以10 min为预测粒度对地铁历史运营数据进行整理,分析了客流变化特征,并将其与GA-循环神经网络(RNN,Recurrent Neural Network)模型和LSTM模型的预测效果进行对比。GA-SLSTM预测模型对普通站点和换乘站点预测值的决定系数R2的平均值分别达到0.95和0.90,预测值对真实值的拟合效果较好,预测误差低于其他2种模型,证明该方法可提高地铁短时客流预测的准确性。

基于PSO-LSTM模型的地热储层温度预测研究

预测不同深度地热储层的温度是确定热储的热能储存量、热输出能力和可持续利用期限等参数的关键。针对不同约束条件下的热储温度预测问题,建立了一种基于粒子群优化算法(PSO)的长短时记忆网络(LSTM)的热储温度预测模型,对共和盆地恰卜恰地区地热井进行了预测,并通过与BP模型、LSTM模型的预测结果对比,验证该模型的有效性。结果表明,该模型预测结果的均方根误差(RMSE)、平均绝对百分误差(MAPE)、平均绝对偏差(MAD)值与BP、LSTM模型相比均最小,且RMSE最小值仅为1.192。该模型预测值与真实值的相关性系数为0.929,说明该模型的预测效果好,能实现地热系统储层温度的高效预测,为地热系统高效长久开发提供科学依据。

基于K-means-LSTM模型的证券股价预测

鉴于股票数据具有非平稳、非线性等特征,传统的统计模型无法精准预测股票价格的未来趋势。针对这个问题,构建一种混合深度学习方法来提高股票预测性能。首先,通过将距离算法修改为DTW(动态时间归整),令K-means聚类算法拓展为更适用于时间序列数据的K-means-DTW,聚类出价格趋势相似的证券;然后,通过聚类数据来训练LSTM(长短时记忆网络)模型,以实现对单支股票价格的预测。实验结果表明,混合模型K-means-LSTM表现出更好的预测性能,其预测精度和稳定性均优于单一LSTM模型。

采用双向LSTM模型的雷达HRRP目标识别

针对传统雷达高分辨距离像目标识别方法只考虑高分辨距离像样本的包络信息而没有考虑其时序相关特性问题,提出了一种采用双向长短时记忆网络模型的识别算法。该算法首先选取出高分辨距离像样本的目标区域,并根据目标区域提取对于平移敏感性稳健的输入特征;然后采用双向长短时记忆模型对输入特征提取双向时序信息;最后通过投票策略融合双向信息,输出样本类别。采用实测数据的实验结果表明,该算法不仅可以有效地识别雷达目标,而且对于平移敏感性非常稳健。

基于混合DBNN-BLSTM模型的大词汇量连续语音识别

深度置信神经网络(DBNN)模型和双向长短时记忆神经网络模型(BLSTM)在单独进行特征提取时识别率不理想,长短时记忆单元(LSTM)与BLSTM模型可以更好解析语音数据特征.因此将DBNN模型和BLSTM模型相结合,提出一种大词汇量连续语音识别(LVCSR)的声学模型建立方法,并在Keras深度学习框架下进行实验.实验结果表明,使用改进的DBNNBLSTM模型进行大词汇量连续语音识别,识别精度有所提高,比BLSTM模型的语音识别率提高5%.

基于路段关联度的城市交通短时流量预测

文中提出了一种基于路段关联度的城市交通流量Apriori-LSTM(Apriori-long short term memory network)预测模型.处理卡口检测器数据,统计交通量并提取车辆轨迹,采用Apriori算法分析预测时段内目标路段与关联路段的时空相关性,计算关联路段支持度;求解预测时段内关联路段到目标路段的流入量,构建LSTM预测的输入矩阵、并采用LSTM预测路段短时流量.采用实例进行验证,对迭代次数、隐藏层神经元个数和步长进行参数灵敏度分析,并与单一的LSTM预测结果进行比较.结果表明:Apriori-LSTM的平均绝对误差降至3.8%,平均绝对百分误差和平均均方误差均有显著降低,均等系数有所提高,模型稳定性更好,达到了更好预测效果.

基于LSTM-DT模型的低碳工业互联网网络安全态势平台

低碳工业互联网网络安全态势平台的网络拓扑结构具有一定的限制性,导致节点之间的通信受到约束,使得平台吞吐量较小,无法满足相应的吞吐量需求。为此,提出基于长短时记忆-决策树(Long Short-Term Memory-DecisionTree,LSTM-DT)模型的低碳工业互联网网络安全态势平台设计研究。将GF-PR6K可编程控制面板作为硬件装置;利用长短期记忆网络,在记忆当前时刻低碳工业互联网网络状态信息的基础上,在下一时刻有选择地传递或遗忘低碳工业互联网网络的隐藏状态,最大限度降低低碳工业互联网网络安全态势分析阶段的冗余计算量,利用DT对低碳工业互联网网络状态序列信息进行综合。在测试结果中,设计平台吞吐量不仅呈现出了随着测试互联网网络构成及规模的增加逐渐增大的特点,且对应的涨幅明显,当节点之间通信距离由15 m增加至50 m时,对应的吞吐量增幅仅为1.00 kb。