Conditional Random Field Tracking Model Based on a Visual Long Short Term Memory Network

In dense pedestrian tracking,frequent object occlusions and close distances between objects cause difficulty when accurately estimating object trajectories.In this study,a conditional random field tracking model is established by using a visual long short term memory network in the three-dimensional(3D)space and the motion estimations jointly performed on object trajectory segments.Object visual field information is added to the long short term memory network to improve the accuracy of the motion related object pair selection and motion estimation.To address the uncertainty of the length and interval of trajectory segments,a multimode long short term memory network is proposed for the object motion estimation.The tracking performance is evaluated using the PETS2009 dataset.The experimental results show that the proposed method achieves better performance than the tracking methods based on the independent motion estimation.

Long Short-Term Memory Recurrent Neural Network-Based Acoustic Model Using Connectionist Temporal Classification on a Large-Scale Training Corpus

A Long Short-Term Memory(LSTM) Recurrent Neural Network(RNN) has driven tremendous improvements on an acoustic model based on Gaussian Mixture Model(GMM). However, these models based on a hybrid method require a forced aligned Hidden Markov Model(HMM) state sequence obtained from the GMM-based acoustic model. Therefore, it requires a long computation time for training both the GMM-based acoustic model and a deep learning-based acoustic model. In order to solve this problem, an acoustic model using CTC algorithm is proposed. CTC algorithm does not require the GMM-based acoustic model because it does not use the forced aligned HMM state sequence. However, previous works on a LSTM RNN-based acoustic model using CTC used a small-scale training corpus. In this paper, the LSTM RNN-based acoustic model using CTC is trained on a large-scale training corpus and its performance is evaluated. The implemented acoustic model has a performance of 6.18% and 15.01% in terms of Word Error Rate(WER) for clean speech and noisy speech, respectively. This is similar to a performance of the acoustic model based on the hybrid method.

Short-Term Relay Quality Prediction Algorithm Based on Long and Short-Term Memory

The fraction defective of semi-finished products is predicted to optimize the process of relay production lines, by which production quality and productivity are increased, and the costs are decreased. The process parameters of relay production lines are studied based on the long-and-short-term memory network. Then, the Keras deep learning framework is utilized to build up a short-term relay quality prediction algorithm for the semi-finished product. A simulation model is used to study prediction algorithm. The simulation results show that the average prediction absolute error of the fraction is less than 5%. This work displays great application potential in the relay production lines.

State of Health Estimation of Lithium-Ion Batteries Using Support Vector Regression and Long Short-Term Memory

Lithium-ion batteries are the most widely accepted type of battery in the electric vehicle industry because of some of their positive inherent characteristics. However, the safety problems associated with inaccurate estimation and prediction of the state of health of these batteries have attracted wide attention due to the adverse negative effect on vehicle safety. In this paper, both machine and deep learning models were used to estimate the state of health of lithium-ion batteries. The paper introduces the definition of battery health status and its importance in the electric vehicle industry. Based on the data preprocessing and visualization analysis, three features related to actual battery capacity degradation are extracted from the data. Two learning models, SVR and LSTM were employed for the state of health estimation and their respective results are compared in this paper. The mean square error and coefficient of determination were the two metrics for the performance evaluation of the models. The experimental results indicate that both models have high estimation results. However, the metrics indicated that the SVR was the overall best model.

Short-TermWind Power Prediction Based on Combinatorial Neural Networks

Wind power volatility not only limits the large-scale grid connection but also poses many challenges to safe grid operation.Accurate wind power prediction can mitigate the adverse effects of wind power volatility on wind power grid connections.For the characteristics of wind power antecedent data and precedent data jointly to determine the prediction accuracy of the prediction model,the short-term prediction of wind power based on a combined neural network is proposed.First,the Bi-directional Long Short Term Memory(BiLSTM)network prediction model is constructed,and the bi-directional nature of the BiLSTM network is used to deeply mine the wind power data information and find the correlation information within the data.Secondly,to avoid the limitation of a single prediction model when the wind power changes abruptly,the Wavelet Transform-Improved Adaptive Genetic Algorithm-Back Propagation(WT-IAGA-BP)neural network based on the combination of the WT-IAGA-BP neural network and BiLSTM network is constructed for the short-term prediction of wind power.Finally,comparing with LSTM,BiLSTM,WT-LSTM,WT-BiLSTM,WT-IAGA-BP,and WT-IAGA-BP&LSTM prediction models,it is verified that the wind power short-term prediction model based on the combination of WT-IAGA-BP neural network and BiLSTM network has higher prediction accuracy.

基于自注意力机制和改进的K-BiLSTM的水产养殖水体溶解氧含量预测模型

为精确预测水产养殖水体溶解氧含量,本研究提出一种基于自注意力机制(ATTN)和改进的K-means聚类-基于残差和批标准化(BN)的双向长短期记忆网络(BiLSTM)的水产养殖水体溶解氧含量预测模型。首先,根据环境数据的相似性,使用改进的K-means算法将数据划分成若干个类别;然后,在BiLSTM基础上构建残差连接和加入BN完成高层次特征提取,利用BiLSTM的长期记忆能力保存特征信息;最后,引入自注意力机制突出不同时间节点数据特征的重要性,进一步提升模型的性能。试验结果表明,本研究提出的基于自注意力机制和改进的K-BiLSTM模型的平均绝对误差为0.238、均方根误差为0.322、平均绝对百分比误差为0.035,与单一的BP模型、CNN-LSTM模型、传统的K-means-基于残差和BN的BiLSTM-ATTN等模型相比具有更优的预测性能和泛化能力。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

基于VMD-BiLSTM-WOA的短期风电功率预测

风力发电对于解决全球能源短缺问题有重要意义,准确预测风电功率有助于风电并网的合理调度和可靠的电网运行.文章提出了一种基于变分模态分解(Variational Mode Decomposition, VMD)、双向长短期记忆网络(Bidirectional Long Short-term Memory Network, BiLSTM)以及鲸鱼优化算法(Whale Optimization Algorithm, WOA)的混合深度学习模型,以用于短期风电功率预测.首先,VMD将原始风电功率分解为多个子模态,有效减少了序列的波动性;然后对每个子模态分别建立BiLSTM模型,使用WOA对BiLSTM中的参数进行优化,以提高混合模型的效率和预测性能;最后将各个子模型的结果叠加得到最终预测结果.在实验中通过建立不同的比较模型来说明改进策略的有效性和优越性,结果表明所提的混合模型在风电功率预测中具有较高的预测精度.

基于BERT+CNN_BiLSTM的列控车载设备故障诊断

列控车载设备作为列车运行控制系统核心设备,在高速列车运行过程中发挥着重要作用。目前,其故障诊断仅依赖于现场作业人员经验,诊断效率相对较低。为了实现列控车载设备故障自动诊断并提高诊断效率,提出了BERT+CNN_BiLSTM故障诊断模型。首先,使用来自变换器的双向编码器表征量(Bidirectional encoder representations from transformers,BERT)模型将应用事件日志(Application event log,AElog)转换为计算机能够识别的可以挖掘语义信息的文本向量表示。其次,分别利用卷积神经网络(Convolutional neural network,CNN)和双向长短时记忆网络(Bidirectional long short-term memory,BiLSTM)提取故障特征并进行组合,从而增强空间和时序能力。最后,利用Softmax实现列控车载设备的故障分类与诊断。实验中,选取一列实际运行的列车为研究对象,以运行过程中产生的AElog日志作为实验数据来验证BERT+CNN_BiLSTM模型的性能。与传统机器学习算法、BERT+BiLSTM模型和BERT+CNN模型相比,BERT+CNN_BiLSTM模型的准确率、召回率和F1分别为92.27%、91.03%和91.64%,表明该模型在高速列车控制系统故障诊断中性能优良。

基于Bo-BiLSTM网络的IGBT老化失效预测方法

针对绝缘栅双极型晶体管(IGBT)受热应力冲击后对其进行老化失效预测精度不高的情况,提出一种基于贝叶斯优化(Bo)-双向长短期记忆(BiLSTM)网络的IGBT老化失效预测方法。首先分析IGBT模块老化失效原理,然后基于NASA老化实验数据集建立失效特征数据库,最后利用Matlab软件构造Bo-BiLSTM网络预测失效特征参数数据。选取常用回归预测性能评估指标将长短期记忆(LSTM)网络模型、BiLSTM网络模型与Bo-BiLSTM网络模型的预测结果进行对比分析。结果表明,Bo-BiLSTM网络的模型拟合精度更高,基于Bo-BiLSTM网络的IGBT老化失效预测方法具有较好的预测效果,能够应用于IGBT的失效预测。

基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于TCN-BiLSTM网络的电力电缆故障诊断

为了提升电力电缆故障诊断技术的准确率,解决传统电力电缆诊断过程中操作复杂、可靠性低和精准度不够等问题,提出了一种基于TCN和BiLSTM的电力电缆故障诊断方法。该方法的核心是使用Matlab/Simulink搭建三相电缆的仿真模型,按照电缆的实际参数设置模型,然后提取出电缆的四种短路故障:单相接地短路、双相接地短路、双相相间短路以及三相短路的电压信号。构建电缆故障样本集,搭建TCN和BiLSTM网络对电缆故障信号进行特征提取和序列捕捉,通过与TCN网络和CNN-BiLSTM网络进行实验对比,以及对从淮南某煤矿采集到的数据进行验证,证明该方法对电缆故障诊断具有良好的性能。

基于BiLSTM-Attention的F_(10.7)指数预测模型与中国自主数据集的应用

F_(10.7)指数是太阳活动的重要指标,准确预测F_(10.7)指数有助于预防和缓解太阳活动对无线电通信、导航和卫星通信等领域的影响.基于F_(10.7)射电流量的特性,在双向长短时记忆网络(Bidirectional Long Short-Term Memory Network,BiLSTM)基础上融入注意力机制(Attention),提出了一种基于BiLSTM-Attention的F_(10.7)预报模型.在加拿大DRAO数据集上其平均绝对误差(MAE)为5.38,平均绝对百分比误差(MAPE)控制在5%以内,相关系数(R)高达0.987,与其他RNN模型相比拥有优越的预测性能.针对中国廊坊L&S望远镜观测的F_(10.7)数据集,提出了一种转换平均校准(Conversion Average Calibration,CAC)方法进行数据预处理,处理后的数据与DRAO数据集具有较高的相关性.基于该数据集对比分析了RNN系列模型的预报效果,实验结果表明,BiLSTM-Attention和BiLSTM两种模型在预测F_(10.7)指数方面具有较好的优势,表现出较好的预测性能和稳定性.

基于BioBERT与BiLSTM的临床试验纳排标准命名实体识别

目的:提出一种基于BioBERT预训练模型的纳排标准命名实体识别方法(BioBERT-Att-BiLSTM-CRF),可自动提取临床试验相关信息,为高效制定纳排标准提供帮助。方法:结合UMLS医学语义网络和专家定义方式,制定医学实体标注规则,并建立命名实体识别语料库以明确实体识别任务。BioBERT-Att-BiLSTM-CRF首先将文本转换为BioBERT向量并输入至双向长短期记忆网络以捕捉上下文语义特征;同时运用注意力机制来提取关键特征;最终采用条件随机场解码并输出最优标签序列。结果:BioBERT-Att-BiLSTM-CRF在纳排标准命名实体识别数据集上的效果优于其他基准模型。结论:使用BioBERT-Att-BiLSTM-CRF能更高效地提取临床试验的纳排标准相关信息,从而增强临床试验注册数据的科学性,并为临床试验纳排标准的制定提供帮助。

基于1DCNN-BiLSTM的端到端滚动轴承故障诊断方法

针对滚动轴承早期故障诊断时时频域特征选取主观性强、时序特征信息利用不足等问题,提出一种基于卷积神经网络和双向长短时记忆神经网络的滚动轴承早期故障诊断方法。采用卷积神经网络提取原始振动信号特征,并在卷积层后引入批正则化层,以消除数据的不规则性对权重优化的影响,并通过扩展首层卷积层和调整步长以提高特征提取效率。引入双向长短时记忆神经网络提升卷积神经网络对时序特征的提取能力,通过批正则化层和Dropout层增强模型的鲁棒性和减少神经元与神经元之间的依赖关系。最后,通过滚动轴承试验数据对文中方法进行验证。结果表明:与传统方法相比,文中方法不仅训练速度更快,而且故障诊断准确率也大幅提高。

基于时序分析及CNN-BiLSTM-AM的阶跃型滑坡位移预测

传统基于递归神经网络的模型对阶跃型滑坡位移预测能力不足,为解决这一问题,提出一种基于时序分析及卷积神经网络-双向长短期记忆-注意力机制(CNN-BiLSTM-AM)的滑坡位移动态预测模型。首先使用变分模态分解方法(VMD)将序列分解为趋势项、周期项和随机项。采用二次指数平滑法拟合趋势项位移,然后引入最大互信息系数法(MIC)计算各类影响因子与周期项位移相关性,对于周期项和随机项位移采用CNN-BiLSTM-AM混合模型进行多因素和单因素预测,最终累加各分量预测值得到累积位移预测结果。实验结果表明,所提方法在最终累计位移预测结果中拟合系数R~2达0.984和0.987,平均绝对误差(MAE)分别为5.334和3.947,均方根误差(RMSE)分别为6.196和4.941,相比卷积神经网络-长短期记忆(CNN-LSTM)、麻雀搜索算法-核极限学习机(SSA-KELM)和NARX方法,所提方法能够更好的捕捉监测数据的时间相关性,预测精度显著提高,可为阶跃型滑坡预警及防治工作提供参考。

基于改进VMD与BiLSTM的滚动轴承剩余寿命预测模型

为提取能表示滚动轴承寿命退化的深层特征,用变分模态分解算法(Variational Model Decomposition,VMD)分解轴承的横向振动信号。为了解决VMD中需要手动选取惩罚因子α及模态分量数目K的问题,用粒子群优化算法(Particle Swarm Optimization,PSO)对VMD进行了优化,以提取出更能代表寿命变化的特征。在此基础上,将筛选的特征输入到双向长短时记忆(Bi-directional Long Short-Term Memory,BiLSTM)网络中进行剩余使用寿命预测。通过实验并与其他深度模型进行对比,该文提出模型的均方误差等指标均比其他几种模型更低,证明了该文模型在轴承剩余使用寿命预测上的有效性。

融合投资者情绪的S_AM_BiLSTM股价预测模型

股票价格预测一直是金融领域的研究热点之一。然而,股票价格的形成机制是相当复杂的,各种因素都可能会导致股票价格的变化。为此,提出了一种基于深度学习方法并融合多源数据和投资者情绪的股票价格预测混合模型(S_AM_BiLSTM)。利用文本卷积神经网络(TextCNN)对从股票论坛中提取的投资者评论进行情绪分析,并计算情绪指数。将情绪指数(sentiment)、技术指标和股票历史交易数据作为股价预测模型的特征集,采用双向长短时记忆神经网络(BiLSTM)对股票的收盘价进行预测,并在此基础上加入注意力机制(attention mechanism),提高预测精度。为了证明模型的有效性和适用性,随机选取4个重点行业的股票进行实证研究。实验结果表明,与其他单一模型和不含情绪因子的模型相比,所提出的混合模型的效果更优越。

基于奇异谱分析的CNN-BiLSTM短期空调负荷预测模型

空调负荷的精准预测对建筑空调系统优化控制具有重要意义。为提高空调负荷预测精度,提出了一种基于奇异谱分析(SSA,Singular Spectrum Analysis)的卷积神经网络(CNN,Convolutional Neural Network)和双向长短时记忆网络(BiLSTM,Bidirectional Long Short Term Memory)短期空调负荷预测模型。使用皮尔森相关系数选取与空调负荷高相关性特征。针对空调负荷的波动性和随机性,采用SSA将空调负荷分解为多个分量,同时将各个分量带入CNN-BiLSTM模型进行预测,该模型利用了CNN的特征提取和BiLSTM的双向学习能力,并将各个分量预测结果进行重构。通过不同建筑类型的空调数据对该模型进行验证分析,发现所提出模型在预测办公建筑空调负荷中RMSE、MAPE和MAE为19.47RT、14.72RT和2.33%,在预测商业建筑空调负荷中RMSE、MAPE和MAE为82.5RT、34.21RT和0.87%。结果表明,所提出的模型具有普适性且精度较高,可进行推广应用。

自样本特征构造的1DCNN-BiLSTM网侧光伏功率预测

为解决电网难以获取NWP数据和无法建立光伏功率预测模型的问题,提出一种自样本特征构造的一维卷积双向长短期记忆神经网络光伏发电功率预测方法。通过K均值聚类和功率骤减事件检测的特征工程获取细粒度的天气状态标签,实现基于自身样本的特征构造,以解决样本特征缺少问题;采用卷积和长短期记忆网络结合的模型结构,解决局部特征提取和长期依赖的问题。算例验证结果表明,所提方法改善整体的预测性能,降低多特征数据存在的数据匮乏和数据稳定性风险,为模型输入特征较少的网侧光伏功率短期预测提供一种有效途径。