基于DKF-Bi-LSTM的阀控式铅酸电池SOC在线估计方法

精准估计阀控式铅酸蓄电池的荷电状态(SOC)对变电站直流系统的可靠性和安全性有着重要的作用,为提高SOC估算精度,提出一种基于DKF-Bi-LSTM的铅酸蓄电池SOC在线估计方法,基于二级结构的双卡尔曼滤波算法,分别进行模型估计和状态估计。通过卡尔曼滤波算法对模型参数进行动态跟踪,进而基于扩展卡尔曼滤波算法在线估算电池SOC值。将在线估算结果、电流、电压、温度值作为Bi-LSTM神经网络的输入,电池SOC预测值作为网络输出,实现对电池SOC的在线估计。经测试发现,与DKF和Bi-LSTM算法相比,DKF-Bi-LSTM算法的SOC预测均方根误差更小,其SOC在线估计方法具有更高的准确性。

基于改进INFO-Bi-LSTM模型的SO_(2)排放质量浓度预测

针对火电机组SO_(2)排放质量浓度的影响因素众多,难以准确预测的问题,提出一种改进向量加权平均(weighted mean of vectors,INFO)算法与双向长短期记忆(bi-directional long short term memory,Bi-LSTM)神经网络相结合的预测模型(改进INFO-Bi-LSTM模型)。采用Circle混沌映射和反向学习产生高质量初始化种群,引入自适应t分布提升INFO算法跳出局部最优解和全局搜索的能力。选取改进INFO-Bi-LSTM模型和多种预测模型对炉内外联合脱硫过程中4种典型工况下的SO_(2)排放质量浓度进行预测,将预测结果进行验证对比。结果表明:改进INFO算法的寻优能力得到提升,并且改进INFO-Bi-LSTM模型精度更高,更加适用于SO_(2)排放质量浓度的预测,可为变工况下的脱硫控制提供控制理论支撑。

基于ICEEMDAN模糊熵与Bi-LSTM的工业设备健康状态预测

工业设备健康状态关系着工业生产能否正常进行,为此提出一种基于改进自适应噪声完备经验模态分解(ICEEMDAN)和双向长短期记忆网络(Bi-LSTM)的工业设备健康状态预测方法。ICEEMDAN用于将原始音频信号进行分解得到若干个固有模态函数(IMF)分量,通过计算相关系数选取最佳分量组进行信号重构,然后计算重构IMF分量的模糊熵值构造特征向量集合,最后再输入到Bi-LSTM网络进行模型训练和预测。实验结果表明:相较于其他模型,基于ICEEMDAN模糊熵和Bi-LSTM的工业设备健康状态预测方法,能够有效提取音频信号特征,并准确进行健康状态预测。

基于贝叶斯自优化Bi-LSTM组合网络的高速铁路轨道-桥梁系统震后响应预测方法

中国高速铁路(HSR)规划建设逐渐向地震易发地区延伸,亟需一种及时、准确的灾后地震响应快速预测方法,以实现高速铁路系统运输生命线安全的快速评估。本文提出了一种基于贝叶斯自优化双向长短期记忆(Bi-LSTM)网络的快速预测方法,以经过实验验证的高速铁路轨道-桥梁系统有限元模型地震动响应计算数据为样本,将预测地震响应和有限元计算结果进行比较,验证所提方法的精度和鲁棒性,表明该方法在预测高速铁路桥梁结构的非线性地震反应方面是有效的,且高速铁路轨道-桥梁系统的不同预测位置对预测精度的影响不明显;此外,为了降低神经网络训练数据量需求,提出了一种基于离散小波分解的分层聚类算法,结果表明,基于小波分解的分层聚类方法在保证预测精度的同时,有效地减少了训练地震集的输入数量。

基于注意力机制与XBOA-Bi-LSTM的离心式压缩机故障预警方法

由于离心式压缩机存在着运行工况复杂、维修成本昂贵和长输管道工作环境恶劣的问题,为此,提出了一种基于注意力机制(AM)和蝴蝶算法优化双向长短期记忆神经网络(XBOA-Bi-LSTM)的离心式压缩机故障预警方法。首先,针对传统蝴蝶算法的收敛速度慢、转换概率单一和容易陷入局部最优等问题,通过引入无限折叠迭代混叠映射以丰富蝴蝶算法的初始种群;同时,提出了一种基于种群离散度与迭代次数的自适应惯性转换概率,以提高蝴蝶算法的寻优能力;然后,采用了灰色关联度分析法对测点数据进行了特征提取,结合注意力机制对输入序列进行了灰色关联度系数赋权;最后,建立了双向长短期记忆神经网络故障预警模型,采用仿真实验完成了对离心式压缩机的故障预警;以某天然气长输管道机组的离心式压缩机作为仿真对象,对该离心式压缩机故障预警方法的可行性进行了验证。研究结果表明:采用基于注意力机制与XBOA-Bi-LSTM的离心式压缩机故障预警方法时,在离心式压缩机故障发生前2 h~3 h内就发出预警信号,实现了对于离心式压缩机进气过滤器压差异常与支撑轴承工作异常的故障预警目的。

融合全局语义信息的BIG-LSTM-CRF模型

命名实体识别任务是针对输入的文本句子做序列标注的一类自然语言处理任务,其目的是抽取出文本句子中的主语实体和宾语实体.基于深度神经网络的提取方法获得了优异的性能,其中BI-LSTM-CRF是效果显著且具有代表性的模型之一.但该模型在训练过程中忽略了全局语义信息对实体识别准确度的影响.本文通过引入全局语义信息来改进BI-LSTM-CRF模型用于命名实体识别任务的性能:先通过添加一层带有激活操作的全连接层来提取输入文本句子的高维语义信息;再通过一个全连接层将高维语义信息与每个字符进行深度融合,得到该句子融合了全局语义信息的向量表示,并将其用于后续的命名实体识别任务.通过将改进后的模型用于CLUENER2020数据集上,验证了添加全局语义信息融合模块可以提升模型命名实体识别的准确度.

基于Bi-LSTM-Dropout的蓄电池剩余使用寿命预测方法

蓄电池剩余使用寿命预测对能源的安全性和可持续发展至关重要。该文提出一种蓄电池剩余使用寿命的预测方法,利用蓄电池的历史运行数据和充放电周期,构建Bi-LSTM-Dropout网络模型。利用Bi-LSTM提取时间序列中蓄电池长期依赖的特征,采用Dropout优化算法降低Bi-LSTM网络模型的复杂度,提高模型的泛化能力。实验结果表明,该方法在测试集上的准确率达96.2%,实现了蓄电池剩余使用寿命的精确预测。

基于Bi-LSTM-Attention的癫痫发作检测方法

本文针对癫痫脑电图(EEG)信号中的发作检测问题,分析了癫痫患者EEG信号中的特异性特征,在传统EEG信号时频域基础上提出了改进的脑网络特征。本文对EEG信号进行分解,并重构了EEG信号,发现在重构信号上癫痫发作和癫痫未发作表现出较大差异。因此在重构EEG信号上通过皮尔逊系数(PCC)构建脑网络,并在该网络上提取脑网络特征,最后将这些特征输入Bi-LSTM-Attention混合网络检测癫痫发作。该网络可以筛选出对癫痫发作检测结果具有决定性因素的特征,捕捉EEG时间序列中最重要的信息。为了评估本文的方法,在公开的CHB-MIT数据集上进行实验,获得了96.20%的准确率、96.80%的特异性和95.31%的敏感性,实验结果表明该方法在癫痫发作检测这个任务上具有不错的性能。

基于改进Bi-LSTM-CRF的农业问答系统研究

针对农业领域问答系统面临的实体识别困难的问题,提出一种基于改进Bi-LSTM-CRF的实体识别方法。首先通过BERT预训练模型的预处理,生成基于上下文信息的词向量,然后将训练出的词向量输入Bi-LSTM-CRF做进一步的训练处理,最后,利用Python的Django框架设计农业领域的实体识别、实体查询、农知问答等子系统。经过试验对比,所提出的改进的Bi-LSTM-CRF在农业信息领域具有更好的实体识别能力,在农业信息语料库上的精确率、召回率和F1值分别为93.23%、91.08%和92.16%。实现农业领域实体识别和农业信息问答的知识图谱网站演示,对农业信息化的发展具有重要意义。

微观轨迹信息驱动的Bi-LSTM合流区车速预测

为明确城市快速路合流区的微观速度特性,确保车辆在衔接段运行速度协调可控,使车辆安全运行。首先,基于无人机高空视频,从广域视角提取了典型多车道交织区全样本高精度车辆轨迹数据,分析车速的累积频率、分布趋势、特征百分位值等运行特性。然后,基于可有效捕捉前向历史速度数据的变化特征的LSTM模型,构建Bi-LSTM车速预测模型;考虑到人工设置训练参数对模型预测性能的影响较大、时间较长,提出基于遗传算法优化的Bi-LSTM速度预测模型(GA-BiLSTM)。最后,以R^(2)、Error Mean、Error StD、MSE、RMSE、NRMSE、秩相关rs这7类评价指标,建立多指标融合的评价方案。结果表明:GA-Bi-LSTM速度预测模型表现较优,拟合指标R^(2)、秩相关rs分别为0.9046、0.9495,误差指标Error Mean、Error StD、MSE、RMSE、NRMSE分别为0.0041、0.4470、0.1997、0.4469、0.0765。研究成果可为城市快速路的合流区车速调控提供理论依据。

基于Bi LSTM-CTC的语音识别系统研究

传统模型较难识别出数量庞大的数据,为了提高对日语语音识别系统的准确率,此次研究综合了语音识别与深度学习的基本理论。在此基础上,提出使用Fbank特征作为声学模型的输入特征,构建了基于双向长短期记忆网络 (Bi-directional Long-Short Term Memory, BiLSTM)的日语语音识别系统。结果表明,预加重后的日语语音信号能量变化幅度在 -35 dB 至0 dB的范围内,频谱分布更加平衡。在经过多轮次训练后,BiLSTM-CTC模型的词错率比其他两种模型分别低了11.03%、3.63%,具有更加优越的性能。在使用Fbank特征时,研究模型的词错率比使用梅尔倒谱系数 (Mel-scaleFrequency Cepstral Coefficients, MFCC)特征时低。这表明采用Fbank特征能够提高日语语音识别的精度。此次研究不仅对深度学习技术的发展提供重要的理论,还对以深层神经网络为基础的语音识别具有重要的现实意义。

城市交通网格集群的Bi-LSTM的流量预测

为提升交通流预测精度,深层次地挖掘交通流数据的时空特征,提出一种基于双向长短时记忆网络(Bi-LSTM)的城市交通网格集群流量预测模型。将所获得的网约车轨迹数据集网格化;考虑人为确定集群个数对结果的影响,用贝叶斯信息准则进行参数估计确定集群数,利用高斯混合模型对交通状况相似的网格进行聚类得到不同交通网格集群;利用集群内部交通网格的输入时间序列的相互影响设计多对多模型,构建Bi-LSTM模型预测不相交集群上的流量;以经典多元线性回归模型(MLRA)作为对照组进行实验验证,采用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和动态时间规整(DTW)这四类评价指标对预测结果进行综合评价,验证基于Bi-LSTM模型的城市交通网格集群流量预测的可行性。实验结果表明:MLRA模型和Bi-LSTM模型对城市交通网格集群流量的预测值小于真实值,早高峰时段尤为明显;各交通网格集群的交通状态态势相似,集群的簇内相关性较强,两类模型均可实现较好的流量预测效果,Bi-LSTM表现更优;MLRA和Bi-LSTM预测模型的精度MAE、RMSE、MAPE分别为3.2011、4.4009、0.3187,3.0687、4.2943、0.3045,Bi-LSTM与MLRA相比,模型精度分别提高了4.14%、2.40%、4.46%,说明所构建的Bi-LSTM交通流网格集群流量预测精度高、误差低,要优于MLRA模型,表现出较好的泛化性能;MLRA和Bi-LSTM的DTW结果分别为52938.6356、54815.1055,构建的Bi-LSTM模型较MLRA模型各自工作日和节假日时间序列相似性DTW结果提高3.42%,表现出更好的鲁棒性。利用城市交通流量的特点和交通轨迹数据网格化的优点,基于Bi-LSTM模型的城市交通网格集群流量预测与MLRA交通流量预测模型相比,具有精度高、误差低的特点。同时,DTW指标方面,基于Bi-LSTM对城市交通网格集群流量模型与真实流量变化趋势一致,表现出较好的鲁棒性。

融合Bi-LSTM和条件随机场的在线学习情感分析方法

为改善文本评论的细粒度属性识别和情感分析的准确度,提出基于双向长短期记忆(Bi-LSTM)和条件随机场(CRF)的属性级情感分析框架.将评论句的属性项提取和情感极性分析建模为序列标注问题,提出新的标注方案,在完成属性项提取的同时确定情感极性.结合词性(POS)嵌入和词嵌入作为神经网络输入,并融合Bi-LSTM和CRF网络,利用Bi-LSTM高效捕捉两个方向的词语关联,并将结果输入CRF网络以得到特征函数与输出标签之间的条件分布,实现高质量特征提取和准确标签分配.实验结果表明,结合所提新标注方案后,Bi-LSTM和CRF网络具有互补性,融合网络性能显著优于单一网络.此外,所提方案在公开数据集上取得了与当前先进方法大致相当的性能,且在外部知识库不可用的在线学习评论数据集上,所提方法的情感分析准确度优于当前其他先进的深度学习方法和学习评论分析方法,具有较好的应用价值.

基于Bi-LSTM的金属疲劳裂纹涡流脉冲热像技术检测与识别

涡流脉冲热像(Eddy current pulsed thermography,ECPT)技术是一种新型的无损检测方法,广泛应用于金属材料结构的检测,但该技术常依赖人工经验提取特征进行裂纹检测与识别,自动化和智能性化程度不足。结合涡流脉冲热像技术以及循环神经网络(Recurrent Neural Network,RNN)的特性,提出一种基于双向长短期记忆网络(Bidirectional Long Short-Term Memory Network,Bi-LSTM)金属疲劳裂纹涡流脉冲热像分类识别方法。实验通过涡流加热装置对被测金属试件进行感应加热,使用红外热像采集装置对金属平板试件进行实时的数据采集,获得图像序列并制作数据集。运用设计的Bi-LSTM模型增强特征向量中的时序信息,对不同尺寸裂纹的热图像进行训练并测试。实验分析表明,Bi-LSTM网络可有效应用于金属疲劳裂纹检测与识别,针对现有裂纹检测准确率可达到100%,优于传统神经网络和其他深度学习的模型,具有更高的识别精度。

基于CNN和Bi-LSTM的无监督日志异常检测模型

日志能记录系统运行时的具体状态,而自动化的日志异常检测对网络安全至关重要。针对日志语句随时间演变导致异常检测准确率低的问题,提出一种无监督日志异常检测模型LogCL。首先,通过日志解析技术将半结构化的日志数据转换为结构化的日志模板;其次,使用会话和固定窗口将日志事件划分为日志序列;再次,提取日志序列的数量特征,使用自然语言处理技术对日志模板进行语义特征提取,并利用词频-词语逆频率(TF-IWF)算法生成加权的句嵌入向量;最后,将特征向量输入一个并列的基于卷积神经网络(CNN)和双向长短期记忆(Bi-LSTM)网络的模型中进行检测。在两个公开的真实数据集上的实验结果表明,所提模型较基准模型LogAnomaly在异常检测的F1-score上分别提高了3.6和2.3个百分点。因此LogCL能够对日志数据进行有效的异常检测。

基于改进Bi-LSTM网络下的多时变状态锂电池剩余寿命预测方法

针对现有模型仅考虑一种内部状态对锂电池性能退化影响的问题,同步建立3个模型分别预测3种时变状态随锂电池性能退化的变化轨迹,并以内阻与温度预测为基础实现锂电池容量的实时更新;针对传统神经网络中的sigmoid与ReLU激活函数存在梯度消失与神经元坏死问题,在双向长短时记忆(bi-directional long short term memory,Bi-LSTM)网络与全连接网络中引入一种新的Mish激活函数,使模型以平稳的梯度流提取更高质量的特征用于剩余使用寿命(RUL)预测的建模分析。最后利用蒙特卡洛(Monte Carlo,MC)与Dropout技术对锂电池RUL的预测结果不确定性进行分析。在美国Kristen教授课题组所公开的锂电池数据集上进行对比试验的结果表明,所提改进Bi-LSTM模型预测的均方误差(mean squared error,MSE)、平均绝对误差(mean absolute error,MAE)与R^(2)可达9.16×10^(-5)、0.00795、99.794%。随着获取数据量的增加,模型对锂电池RUL预测的精度越高,RUL平均预测误差可达2.3个循环,验证了所提模型能有效地实现锂电池循环RUL的实时更新。

基于迁移学习和Bi-LSTM神经网络的桥梁温度-应变映射建模方法

为快速构建并准确预测温度作用引起的斜拉桥主梁应变用于结构状态评估,基于某大跨度斜拉桥主梁超过1年的温度和应变监测数据,提出了一种基于迁移学习和双向长短时记忆(bi-directional long short-term memory,Bi-LSTM)神经网络的斜拉桥温度-应变映射模型建立方法。首先,利用解析模态分解(analytical mode decomposition,AMD)去噪应变数据,得到仅由温度引起的应变响应;其次,选择温度和某一测点应变数据构成数据集,采用Bi-LSTM神经网络训练该数据集,并通过网络结构和超参数优化建立温度-应变Bi-LSTM基准模型;最后,利用迁移学习方法,将已训练好的基准模型中部分参数迁移到其他温度-应变数据集,建立相应的温度-应变映射被迁移模型,并与未采用迁移学习的神经网络训练方法进行对比。研究结果表明,相比直接建立的温度-应变Bi-LSTM神经网络映射模型,采用迁移学习方法建立的被迁移模型,其拟合精度均高于所用的基准模型,且训练时间短,预测误差小。

基于IGF+Bi-LSTM算法的心电信号分类

为强化心电信号渐变特征、提高时序信号分类精度,基于Bi-LSTM提出了一种融合渐变数据特征的自适应算法IGF+Bi-LSTM(self-adaptive Bi-LSTM based on integrating gradient features)。该算法在一定范围内自适应选取相似程度最高的渐变数据特征,通过数据融合强化渐变特征在网络隐空间的交互,拓展Bi-LSTM信息传递模式;针对时序信号间存在周期性不匹配和强度不一致的问题,提出一种基于差分的改进的B式距离,以刻画数据和不同标签数据全体间的差异度S并自适应调整IGF+Bi-LSTM中的融合系数。实验表明,该算法在ECG数据集上的分类精度达到98.7%,F1值为98.7%,证明了IGF+Bi-LSTM算法的有效性和实用性。

云环境下基于动态滑动窗口多通道Bi-LSTM的虚拟机故障预测模型

针对点值预测方法预测虚拟机故障,未充分利用虚拟机历史周期特征和上下文信息、预测准确率不高的问题,提出了一种动态滑动窗口多通道Bi-LSTM的虚拟机故障预测模型。该模型首先利用动态滑动窗口动态捕获虚拟机故障发生过程的上下文特征;然后构建多通道机制的Bi-LSTM以同时学习不同指标类之间的相关性特征,预测虚拟机下一周期的故障;最后根据OCSVM和区间偏移度方法对预测结果进行判断,得出具体的故障类型。实验表明,该模型在预测准确率、召回率、F值三个指标上均优于基线模型,验证了模型对虚拟机故障预测的有效性。

结合Bert与Bi-LSTM的英文文本分类模型

作为自然语言处理技术中的底层任务之一,文本分类任务对于上游任务有非常重要的辅助价值;最近几年,深度学习广泛应用于NLP中的上下游任务的趋势,深度学习在下游任务文本分类中性能不错;但是目前的基于深层学习网络的模型在捕捉文本序列的长距离型上下文语义信息进行建模方面仍有不足,同时也没有引入语言信息来辅助分类器进行分类;针对这些问题,提出了一种新颖的结合Bert与Bi-LSTM的英文文本分类模;该模型不仅能够通过Bert预训练语言模型引入语言信息提升分类的准确性,还能基于Bi-LSTM网络去捕捉双向的上下文语义依赖信息对文本进行显示建模;具体而言,该模型主要有输入层、Bert预训练语言模型层、Bi-LSTM层以及分类器层搭建而成;实验结果表明,与现有的分类模型相比较,所提出的Bert-Bi-LSTM模型在MR数据集、SST-2数据集以及CoLA数据集测试中达到了最高的分类准确率,分别为86.2%、91.5%与83.2%,大大提升了英文文本分类模型的性能。