Conditional Random Field Tracking Model Based on a Visual Long Short Term Memory Network

In dense pedestrian tracking,frequent object occlusions and close distances between objects cause difficulty when accurately estimating object trajectories.In this study,a conditional random field tracking model is established by using a visual long short term memory network in the three-dimensional(3D)space and the motion estimations jointly performed on object trajectory segments.Object visual field information is added to the long short term memory network to improve the accuracy of the motion related object pair selection and motion estimation.To address the uncertainty of the length and interval of trajectory segments,a multimode long short term memory network is proposed for the object motion estimation.The tracking performance is evaluated using the PETS2009 dataset.The experimental results show that the proposed method achieves better performance than the tracking methods based on the independent motion estimation.

Estimation of unloading relaxation depth of Baihetan Arch Dam foundation using long-short term memory network

The unloading relaxation caused by excavation for construction of high arch dams is an important factor influencing the foundation’s integrity and strength.To evaluate the degree of unloading relaxation,the long-short term memory(LSTM)network was used to estimate the depth of unloading relaxation zones on the left bank foundation of the Baihetan Arch Dam.Principal component analysis indicates that rock charac-teristics,the structural plane,the protection layer,lithology,and time are the main factors.The LSTM network results demonstrate the unloading relaxation characteristics of the left bank,and the relationships with the factors were also analyzed.The structural plane has the most significant influence on the distribution of unloading relaxation zones.Compared with massive basalt,the columnar jointed basalt experiences a more significant unloading relaxation phenomenon with a clear time effect,with the average unloading relaxation period being 50 d.The protection layer can effectively reduce the unloading relaxation depth by approximately 20%.

Long Short-Term Memory Recurrent Neural Network-Based Acoustic Model Using Connectionist Temporal Classification on a Large-Scale Training Corpus

A Long Short-Term Memory(LSTM) Recurrent Neural Network(RNN) has driven tremendous improvements on an acoustic model based on Gaussian Mixture Model(GMM). However, these models based on a hybrid method require a forced aligned Hidden Markov Model(HMM) state sequence obtained from the GMM-based acoustic model. Therefore, it requires a long computation time for training both the GMM-based acoustic model and a deep learning-based acoustic model. In order to solve this problem, an acoustic model using CTC algorithm is proposed. CTC algorithm does not require the GMM-based acoustic model because it does not use the forced aligned HMM state sequence. However, previous works on a LSTM RNN-based acoustic model using CTC used a small-scale training corpus. In this paper, the LSTM RNN-based acoustic model using CTC is trained on a large-scale training corpus and its performance is evaluated. The implemented acoustic model has a performance of 6.18% and 15.01% in terms of Word Error Rate(WER) for clean speech and noisy speech, respectively. This is similar to a performance of the acoustic model based on the hybrid method.

基于VDM-SSA-LSTM考虑刀具磨损的数控铣床切削功率预测模型研究

传统的切削过程功率获取需要基于复杂的切削功率模型且很少考虑刀具磨损的影响,针对此设计了一种基于变分模态分解(VMD)、麻雀搜索算法(SSA)、长短时记忆(LSTM)神经网络的考虑刀具磨损的数控铣床切削功率预测模型,该模型无需解构数控铣床运行过程的能耗机理,基于一次性的历史实验数据即可实现数控铣床切削过程功率的高精度预测。首先,采用人工智能机器视觉技术对刀具磨损图片进行分析处理,获取刀具磨损图像的数字化特征,从而得到刀具最大磨损量;然后,建立基于VMD-SSA-LSTM考虑刀具磨损的数控铣床切削功率预测模型,利用VMD对数控铣床运行数据进行分解,采用SSA算法对LSTM神经网络超参数进行寻优,并将分解出的铣床运行数据分量输入到LSTM神经网络中,接着将每个分量的预测值相加,得到切削功率预测值;最后以面铣加工为例,将所提出的预测模型与BP神经网络、LSTM神经网络和传统模型进行对比分析,验证了所提模型的有效性和优越性。

基于VMD-SSA-LSTM的架空输电导线覆冰预测模型

针对输电导线覆冰过程间断性强且波动性大而导致的现有模型预测精度不高的问题,从覆冰厚度数据的时序信息和气象信息出发,提出一种基于变分模态分解(variational mode decomposition,VMD)的麻雀搜索算法(sparrow search algorithm,SSA)优化长短期记忆网络(long short-term memory network,LSTM)的覆冰组合预测模型.该方法首先使用VMD分解覆冰厚度数据,降低了原始序列的不稳定性,得到具有不同中心频率的本征模态分量;其次,采用SSA算法对LSTM中的3个参数进行寻优;最后,对模态分量分别建立LSTM预测模型,将各个模态分量的预测值叠加为覆冰厚度的总预测值.通过实例仿真,对所提预测模型进行验证.结果表明:VMD-SSA-LSTM组合模型与其他模型相比,其预测精度有进一步提高,验证了所提方法的有效性.

基于Transformer-LSTM的闽南语唇语识别

针对端到端句子级闽南语唇语识别的问题,提出一种基于Transformer和长短时记忆网络(LSTM)的编解码模型.编码器采用时空卷积神经网络及Transformer编码器用于提取唇读序列时空特征,解码器采用长短时记忆网络并结合交叉注意力机制用于文本序列预测.最后,在自建闽南语唇语数据集上进行实验.实验结果表明:模型能有效地提高唇语识别的准确率.

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

Prophet-LSTM组合模型在运输航空征候预测中的应用

为准确预测中国运输航空征候万时率,提出了一种将时间序列模型和神经网络模型组合的预测方法。首先,利用2008年1月—2020年12月的运输航空征候万时率数据建立Prophet模型,使用RStudio软件进行模型拟合,获取运输航空征候万时率的线性部分;其次,利用长短期记忆网络(Long Short-Term Memory,LSTM)建模,获取运输航空征候万时率的非线性部分;最后,利用方差倒数法建立Prophet-LSTM组合模型,使用建立的组合模型对2021年1—12月运输航空征候万时率进行预测,将预测结果与实际值进行对比验证。结果表明,Prophet-LSTM组合模型的EMA、EMAP、ERMS分别为0.0973、16.1285%、0.1287。相较于已有的自回归移动平均(Auto Regression Integrated Moving Average,ARIMA)+反向传播神经网络(Back Propagation Neural Network,BPNN)组合模型和GM(1,1)+ARIMA+LSTM组合模型,Prophet-LSTM组合模型的EMA、EMAP、ERMS分别减小了0.0259、10.4874百分点、0.0143和0.0128、2.0599百分点、0.0086,验证了Prophet-LSTM组合模型的预测精度更高,性能更优良。

基于多源信息融合和WOA-CNN-LSTM的外脚手架隐患分类预警研究

面对施工现场外脚手架隐患信息的多样性,传统的基于传感器监测的单一信号预警研究存在容错力不佳、含有信息有限等问题。针对施工现场外脚手架“图像+监测”数据,提出一种基于数据层和特征层信息融合的脚手架隐患分类预警方法。首先,利用Revit三维建模软件建立外脚手架实体模型,对不同初始隐患下的外脚手架进行有限元分析,划分隐患预警等级;其次,利用无迹卡尔曼滤波算法(Unscented Kalman Filter,UKF)及卷积长短时记忆网络(Convolutional Neural Network-Long Short Term Memory Network,CNN-LSTM)实现脚手架同类信息数据层融合及异类信息特征层融合;最后,通过实时收集西安市某在建项目落地式双排扣件式钢管脚手架隐患信息,对其进行分类预警,并使用鲸鱼优化算法(Whale Optimization Algorithm,WOA)对CNN-LSTM网络进行参数优化,发现隐藏节点个数为30、学习率为0.0072、正则化系数为1×10^(-4)时分类效果最佳,优化后预警精度达到了91.4526%。通过可视化WOA-CNN-LSTM、CNN-LSTM、CNN-SVM(Support Vector Machine,支持向量机)及CNN-GRU(Gate Recurrent Unit,门控循环单元)分类预警结果,证实了优化后的CNN-LSTM网络在脚手架分类预警方面的优越性。

基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于LSTM-SAFCN模型的生物质锅炉NO_(x)排放浓度预测

针对生物质锅炉燃烧过程的动态特性,提出一种改进的长短期记忆-自注意力机制全卷积神经网络(LSTM-SAFCN)模型用于预测NO_(x)排放浓度。首先利用完全自适应噪声集合经验模态分解法(CEEMDAN)对数据进行预处理,消除数据噪声对NO_(x)排放浓度预测的影响;其次融合自注意力机制与长短时记忆-全卷积神经网络(LSTM-FCN)进行特征提取与预测建模,该拓展方法能够同时兼顾时间序列数据的局部细节与长期趋势特征;最后,利用生物质热电联产系统的实际运行数据验证了所提算法的有效性。

基于LSTM模型的船舶材料成本滚动预测

船舶建造周期长、材料成本占比大,易受大宗商品价格指数和汇率等多个因素的影响,造成实际完工成本与报价估算存在较大误差的情况。采用灰色关联分析(Grey Correlation Analysis,GCA)方法识别材料成本的影响因素,基于长短期记忆网络(Long Short-Term Memory,LSTM)模型构建船舶材料成本滚动预测模型,并使用某造船企业53艘64000 t散货船63个月的材料成本数据和对应的影响因素数据进行试验分析。结果表明,预测数据与实际数据误差在可接受范围内,可证明所选择方法和构建模型的有效性。研究结果对制造过程的成本实时预测和控制具有现实意义。

基于LSTM算法的冷轧机架振动动态预警分析

在实际生产阶段冷轧机具有多态性与时变性,需要对轧机振动动态预警进行转换形成包含多变量的时间序列预警。建立了一种基于LSTM算法的冷轧机振动预警模型。研究结果表明:提高步长后模型预警性能获得明显提升,随着步长到达5后,模型表现也逐渐变差,步长为4时,获得了最优预警效果。结合实际振动报警阈值,在预警振动能量值升高至阈值75%时激发形成振动预报,第一卷与第二卷分别提前预报1.6s与3.2s。该研究对控制板材的精度具有很好的指导意义。

基于Bi-LSTM的浅层地下双孔洞探测技术

文章探究一种基于深度学习的浅层地下孔洞探测技术,以应对地下孔洞给桩基施工安全所造成的严重威胁。基于浅层地震反射波法的原理,采用基础施工过程中的桩锤激震作为激励源,通过在探测区域地表上布置少量加速度传感器采集孔洞反射信号,并将反射信号作为深度学习的输入,以输出孔洞信息,建立一种新型的智能孔洞探测方法。结果表明,双向长短期记忆神经网络(bidirectional long short-term memory neural network,Bi-LSTM)的预测模型对于地下双孔洞的工况具有较高的识别准确率,在容许误差为2 m的情况下,孔洞位置和直径的预测准确率可达95.3%。该研究验证了基于深度学习的多孔洞探测技术的可行性,有望为施工前期土层地质状况的评估提供技术保障。

基于相关性检验的VMD-LSTM耦合模型月径流模拟研究

近年来,极端强降雨和干旱事件频发,流域水文过程的不确定性变化加剧,使得流域中长期径流预测的难度增加。为提升LSTM(长短期记忆神经网络)模型对径流时序变化的捕捉及拟合能力,以博阳河流域为研究区域,选取月降雨、蒸发及流量数据,利用VMD(变分模态分解)和相关性检验,排除无关频率分量对LSTM模型规律学习的干扰,以达到模型输入优选的目的;此外,还考虑了VMD与LSTM模型的不同耦合方式对模型精度和稳定性的影响,最终优选出二者兼具的VMD-LSTM月径流耦合模式。结果表明:VMD-LSTM耦合模型可显著提升模拟精度,但在模型稳定性方面有所欠缺;而基于相关性检验的VMD-LSTM耦合模型不仅能够进一步提高模型精度,并且在模型的稳定性方面也有所改进。在基于相关性检验的VMD-LSTM耦合模型的不同耦合方式对比中,对输入、输出均进行VMD分解且对输入变量进行优选的D_(1)耦合方案的模拟效果最好,其60次模拟计算的NSE均为0.98以上且稳定性极佳;另外,在分析方案D_(1)的可解释性时发现历史径流对于LSTM模型的影响要比降雨和蒸发大。该研究结论可为流域水资源管理提供精准可信的中长期径流模拟成果。

基于层叠式残差LSTM网络的桥梁非线性地震响应预测

提出了一种基于层叠式残差长短时记忆神经网络(residual long short-term memory neural network,ResLSTM)的数据驱动建模方法,实现桥梁非线性地震响应预测。该方法利用长短时记忆(long short-term memory, LSTM)网络在长序列回归中的优势,并采用残差连接结构降低深度神经网络中的梯度回传难度,提高了有限数据下的深度网络预测性能。同时,通过采用层叠式序列结构,降低深度神经网络隐藏层节点数目,进一步提升深度神经网络的预测精度。随后,通过两跨预应力混凝土连续梁桥与组合梁斜拉桥的数值算例对该方法进行验证。神经网络的训练样本与测试样本均源自桥梁有限元模型的增量动力分析结果。此外,采用该方法成功预测了美国Meloland Overpass桥的地震响应,并与历史监测数据进行对比验证。结果表明:ResLSTM网络是一种鲁棒性良好、计算效率高的非线性地震响应预测方法,能够利用少量数据快速准确地预测桥梁结构在地震作用下的动力响应,在桥梁抗震性能评价中具有重要的应用潜力。

基于LSTM-文本分析的量化选股模型

随着国民生活水平的提高,越来越多的人投身于股票市场.为了科学有效地量化选股,通过将量化投资、深度学习及文本分析进行有机结合,来建立量化选股模型.首先,通过文本分析筛选出基本面利好的股票;然后,通过长短期记忆(long-short term memory,LSTM)选出预测准确度良好的股票;最后,预测所选出的股票在未来几天的股价趋势.在实证分析方面,通过本模型对部分股票进行运算,选取预测效果较好的股票:赢合科技.

MSCNN-LSTM Model for Predicting Return Loss of the UHF Antenna in HF-UHF RFID Tag Antenna

High-frequency(HF)and ultrahigh-frequency(UHF)dual-band radio frequency identification(RFID)tags with both near-field and farfield communication can meet different application scenarios.However,it is time-consuming to calculate the return loss of a UHF antenna in a dualband tag antenna using electromagnetic(EM)simulators.To overcome this,the present work proposes a model of a multi-scale convolutional neural network stacked with long and short-term memory(MSCNN-LSTM)for predicting the return loss of UHF antennas instead of EM simulators.In the proposed MSCNN-LSTM,the MSCNN has three branches,which include three convolution layers with different kernel sizes and numbers.Therefore,MSCNN can extract fine-grain localized information of the antenna and overall features.The LSTM can effectively learn the EM characteristics of different structures of the antenna to improve the prediction accuracy of the model.Experimental results show that the mean absolute error(0.0073),mean square error(0.00032),and root mean square error(0.01814)of theMSCNNLSTM are better than those of other prediction methods.In predicting the return loss of 100UHFantennas,compared with the simulation time of 4800 s for High Frequency Structure Simulator(HFSS),MSCNN-LSTM takes only 0.927519 s under the premise of ensuring prediction accuracy,significantly reducing the calculation time,which provides a basis for the rapid design of HF-UHF RFID tag antenna.ThenMSCNN-LSTM is used to determine the dimensions of the UHF antenna quickly.The return loss of the designed dualband RFID tag antenna is−58.76 and−22.63 dB at 13.56 and 915 MHz,respectively,achieving the desired goal.

基于时序序列分解和IBAS LSTM的滑坡数据预测模型

针对传统静态机器学习模型在周期项位移预测中的缺陷和动态神经网络超参数人工选择困难的问题,在时序序列分解的基础上,提出一种新的滑坡预测耦合模型。首先,用最大相关最小冗余算法对周期项位移筛选合适的环境特征,作为长短期记忆人工神经网络的输入。然后,在天牛须搜索算法搜索过程中引入反馈机制,以避免原算法中出现远离最优解的问题;在算法迭代过程中将固定的递减因子改为动态递减因子,以提升前期全局和后期局部的寻优能力;利用改进的天牛须搜索算法对长短期记忆人工神经网络超参数进行寻优,以获得最佳的网络参数组合。最后,重构趋势项和周期项预测结果,得到最终预测位移。以发耳滑坡为例进行分析,结果表明:相较于其他方法,所提模型在平均绝对误差、均方根误差以及拟合度等方面更具优势。

基于LSTM-CAPF框架的岸桥起升减速箱轴承寿命预测方法

岸桥起升减速箱轴承的健康状况对港口生产安全具有重要意义.针对岸桥变工况的工作条件,提出一种起升减速箱轴承的剩余使用寿命(RUL)预测框架.首先,对工作载荷进行离散化,并确定工况边界.然后,利用长短时记忆(LSTM)网络模型预测载荷和相应的运行工况.其次,以维纳过程为基础,建立了考虑不同工况下退化率和跳变系数的状态退化函数.最后,利用工况激活粒子滤波(CAPF)方法预测轴承退化状态和RUL.采用NetCMAS系统采集的上海某港口起升减速箱轴承全寿命数据验证了所提出的预测框架.与其他3种预测模式比较表明,所提出的框架能够在变工况条件下获得更准确的退化状态和RUL预测.