基于改进Bi-LSTM网络下的多时变状态锂电池剩余寿命预测方法

针对现有模型仅考虑一种内部状态对锂电池性能退化影响的问题,同步建立3个模型分别预测3种时变状态随锂电池性能退化的变化轨迹,并以内阻与温度预测为基础实现锂电池容量的实时更新;针对传统神经网络中的sigmoid与ReLU激活函数存在梯度消失与神经元坏死问题,在双向长短时记忆(bi-directional long short term memory,Bi-LSTM)网络与全连接网络中引入一种新的Mish激活函数,使模型以平稳的梯度流提取更高质量的特征用于剩余使用寿命(RUL)预测的建模分析。最后利用蒙特卡洛(Monte Carlo,MC)与Dropout技术对锂电池RUL的预测结果不确定性进行分析。在美国Kristen教授课题组所公开的锂电池数据集上进行对比试验的结果表明,所提改进Bi-LSTM模型预测的均方误差(mean squared error,MSE)、平均绝对误差(mean absolute error,MAE)与R^(2)可达9.16×10^(-5)、0.00795、99.794%。随着获取数据量的增加,模型对锂电池RUL预测的精度越高,RUL平均预测误差可达2.3个循环,验证了所提模型能有效地实现锂电池循环RUL的实时更新。

基于贝叶斯自优化Bi-LSTM组合网络的高速铁路轨道-桥梁系统震后响应预测方法

中国高速铁路(HSR)规划建设逐渐向地震易发地区延伸,亟需一种及时、准确的灾后地震响应快速预测方法,以实现高速铁路系统运输生命线安全的快速评估。本文提出了一种基于贝叶斯自优化双向长短期记忆(Bi-LSTM)网络的快速预测方法,以经过实验验证的高速铁路轨道-桥梁系统有限元模型地震动响应计算数据为样本,将预测地震响应和有限元计算结果进行比较,验证所提方法的精度和鲁棒性,表明该方法在预测高速铁路桥梁结构的非线性地震反应方面是有效的,且高速铁路轨道-桥梁系统的不同预测位置对预测精度的影响不明显;此外,为了降低神经网络训练数据量需求,提出了一种基于离散小波分解的分层聚类算法,结果表明,基于小波分解的分层聚类方法在保证预测精度的同时,有效地减少了训练地震集的输入数量。

基于改进INFO-Bi-LSTM模型的SO_(2)排放质量浓度预测

针对火电机组SO_(2)排放质量浓度的影响因素众多,难以准确预测的问题,提出一种改进向量加权平均(weighted mean of vectors,INFO)算法与双向长短期记忆(bi-directional long short term memory,Bi-LSTM)神经网络相结合的预测模型(改进INFO-Bi-LSTM模型)。采用Circle混沌映射和反向学习产生高质量初始化种群,引入自适应t分布提升INFO算法跳出局部最优解和全局搜索的能力。选取改进INFO-Bi-LSTM模型和多种预测模型对炉内外联合脱硫过程中4种典型工况下的SO_(2)排放质量浓度进行预测,将预测结果进行验证对比。结果表明:改进INFO算法的寻优能力得到提升,并且改进INFO-Bi-LSTM模型精度更高,更加适用于SO_(2)排放质量浓度的预测,可为变工况下的脱硫控制提供控制理论支撑。

基于迁移学习和Bi-LSTM神经网络的桥梁温度-应变映射建模方法

为快速构建并准确预测温度作用引起的斜拉桥主梁应变用于结构状态评估,基于某大跨度斜拉桥主梁超过1年的温度和应变监测数据,提出了一种基于迁移学习和双向长短时记忆(bi-directional long short-term memory,Bi-LSTM)神经网络的斜拉桥温度-应变映射模型建立方法。首先,利用解析模态分解(analytical mode decomposition,AMD)去噪应变数据,得到仅由温度引起的应变响应;其次,选择温度和某一测点应变数据构成数据集,采用Bi-LSTM神经网络训练该数据集,并通过网络结构和超参数优化建立温度-应变Bi-LSTM基准模型;最后,利用迁移学习方法,将已训练好的基准模型中部分参数迁移到其他温度-应变数据集,建立相应的温度-应变映射被迁移模型,并与未采用迁移学习的神经网络训练方法进行对比。研究结果表明,相比直接建立的温度-应变Bi-LSTM神经网络映射模型,采用迁移学习方法建立的被迁移模型,其拟合精度均高于所用的基准模型,且训练时间短,预测误差小。

基于Bi-LSTM的浅层地下双孔洞探测技术

文章探究一种基于深度学习的浅层地下孔洞探测技术,以应对地下孔洞给桩基施工安全所造成的严重威胁。基于浅层地震反射波法的原理,采用基础施工过程中的桩锤激震作为激励源,通过在探测区域地表上布置少量加速度传感器采集孔洞反射信号,并将反射信号作为深度学习的输入,以输出孔洞信息,建立一种新型的智能孔洞探测方法。结果表明,双向长短期记忆神经网络(bidirectional long short-term memory neural network,Bi-LSTM)的预测模型对于地下双孔洞的工况具有较高的识别准确率,在容许误差为2 m的情况下,孔洞位置和直径的预测准确率可达95.3%。该研究验证了基于深度学习的多孔洞探测技术的可行性,有望为施工前期土层地质状况的评估提供技术保障。

基于Bi-LSTM/Bi-GRU循环神经网络的锂电池SOC估计

锂电池的荷电状态(state-of-charge,SOC)涉及的物理特性或电化学特性高度复杂,其值一般难以直接测量,基于深度神经网络等新方法的SOC估计近期为相关研究者所关注。为进一步提升SOC估计性能,有效捕获锂电池SOC的动态物理特性,缓解深度神经网络模型容易发生的梯度消失与梯度爆炸等问题,本文引入双向学习策略,基于双向长短期记忆循环神经网络(bidirectional long short-term memory,Bi-LSTM)以及双向门控循环单元网络(bidirectional gated recurrent unit,Bi-GRU)估计锂电池的SOC取值。双向循环神经网络SOC估计模型由输入层、隐藏层和输出层组成。输入层输入电池电压、电流与温度序列;隐藏层在正向LSTM/GRU层的基础上增加反向LSTM/GRU层,引入逆序信息,基于输入序列上下文所含信息整体上学习、表征电池特性序列与SOC序列之间的内在关联;输出层输出模型的估计值。所拟模型使用Python语言结合TensorFlow后端在Keras框架中实现,并基于基准数据集在3种温度条件下结合多种工况进行性能分析。结果表明,双向学习策略能有效提升锂电池SOC的估计性能,较之单向学习模型具有更高的估计精度与鲁棒性。与构造电池等效模型等方法的思路不同,所拟方法基于数据驱动学习锂电池SOC的非线性特性,将易于观测的锂电池特性序列数据映射为待估计的SOC取值,为锂电池SOC估计提供了可能的新思路。

基于Bi-LSTM神经网络的人类行为识别研究

人类行为识别研究在医疗服务、智能环境和网络空间安全等领域有许多重要应用,但是大多数的分类方法识别率不是很高。从UCI公开数据集中获取人类行为动作数据,并对数据进行预处理,利用TensorFlow深度学习平台搭建基于Bi-LSTM的神经网络模型,实现对人类行为的识别。实验结果证明Bi-LSTM神经网络模型的识别准确率为88.80%。结果表明Bi-LSTM神经网络模型的识别率较高,可用于人类行为识别。

基于Bi-LSTM的电动直臂车磷酸铁锂电池SOC估计

针对电动直臂车的特殊工况,提出了一种基于双向长短期记忆神经网络(Bi-LSTM)的电动直臂车荷电状态(SOC)估计模型和方法。该方法将电池的工作电压、电流及表面温度作为输入,采用双向传递的两层LSTM神经网络进行训练,再将两次得到的结果进行拼接作为最终输出。实验结果表明,该方法比传统前馈(BP)神经网络和单向LSTM神经网络具有更好的估计性能,并且可以精确估计不同环境温度下的电池及整车SOC。

基于改进Bi-LSTM的航迹预测模型设计

随着我国航空事业的发展,国家航空安全形势不容乐观,飞机航迹精准预测对执行反劫机任务场景时提高指挥员战场决策能力至关重要,可使指挥员迅速掌握战场态势、精准把握作战时间、快速作出优化决策,对有效打赢反恐战争具有重要意义。针对航迹特征提取过程的梯度消失影响预测精确性的问题,提出了一种基于残差门的Bi-LSTM改进预测模型。在单个LSTM模型中引入残差结构,由正反序两个残差门LSTM构建出Bi-LSTM模型,使得Bi-LSTM模型可以更好的记忆和训练数据特征,避免轨迹数据梯度消失,对飞机航迹数据具有较高的预测精度。

结合知识图谱与双向长短时记忆网络的小麦条锈病预测

针对现有小麦条锈病预测方法没有利用病害发生因素之间的语义信息,存在预测难度大、准确率低等问题,利用知识图谱(Knowledge Graph,KG)和双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)处理多源异构复杂数据的各自优势,提出一种基于KG与Bi-LSTM结合的小麦条锈病预测方法。首先,构建小麦条锈病知识图谱,将与小麦条锈病发生相关的环境信息转换为特征向量;其次,利用特征向量训练Bi-LSTM模型,得到基于Bi-LSTM的小麦条锈病预测模型;最后,利用小麦条锈病数据库数据进行试验。结果表明,KG丰富了进行病害预测所描述的语义信息,提升了Bi-LSTM提取高层病害预测特征的能力,从而提高了病害预测的准确率。在小麦条锈病数据库上的预测准确率达到93.21%,比基于Bi-LSTM的病害预测方法提高了4.5个百分点。该方法能较好预测小麦条锈病,为小麦条锈病的预报预警和综合防治提供科学依据。

融合非负正弦位置编码和混合注意力机制的情感分析模型

针对情感分析任务中,序列模型存在难以获取文本的相对位置信息,且处理较长序列时容易丢失关键信息等问题,提出了一种融合非负正弦位置编码(non-negative sinusoidal position encoding,NSPE)和混合注意力机制(hybrid attention mechanism,HAM)的双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)情感分析模型(NSPEHA-BiLSTM)。提出NSPE方法,建立词语的NSPE,为词向量融入相对位置信息;通过Bi-LSTM提取文本特征,并基于HAM分别对特征的全局和局部特征进行赋权,确保关键信息的准确传递;通过全连接层实现文本情感分析。在IMDB数据集中,NSPEA-BiLSTM相较于Bi-LSTM和Text-CNN准确率分别提升了4.67和2.02个百分点,且输入的文本长度越长,模型效果越好,同时验证了NSPE优于其他位置编码。

基于相关性分析的Bi-LSTM测井曲线预测方法

文章提出基于双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)神经网络,考虑测井曲线相关性的测井曲线预测新方法。同一口井往往可以得到反映地层与井筒属性多种测井曲线,通过分析测井曲线之间存在的相关性,根据曲线之间的相关性大小选择合适的训练样本,利用Bi-LSTM进行测井曲线预测。同时,测井曲线前后关联性强,Bi-LSTM可以考虑数据间的前后关联,从而提高测井曲线预测精度。实验结果表明,考虑曲线相关性的Bi-LSTM模型能减少样本数据,明显提高预测精度,均方误差相比单向长短期记忆神经网络方法能减小50%以上,具有很好的应用前景。

基于时间关系的Bi-LSTM+GCN因果关系抽取

针对传统时间关系只应用在机器学习方向关系抽取的问题,提出一种基于序列标注实体识别的关系抽取方法.先构建双向长短期记忆网络(Bi-LSTM)模型进行特征提取,再输入时间关系作为特征矩阵进行图卷积.实验结果表明:时间关系能提高因果关系抽取效果,并且包含时间关系的Bi-LSTM+GCN模型能有效抽取因果事件;带有时间关系的Bi-LSTM+GCN模型获得因果关系的抽取结果优于传统方法因果关系的抽取结果.

基于Bi-LSTM的非等时距路基工后沉降滚动预测

为了实现路基工后沉降的早期、精准预测,提出基于双向长短期记忆网络(Bi-LSTM)的路基沉降预测技术.采用Akima法将观测数据内插为适应时序分析法的等时距序列,提取“填土高度-时间-地基沉降”曲线中的6个影响因素作为变量训练Bi-LSTM模型,结合滚动迭代方法实现沉降预测的后延更新.研究表明,利用深度学习技术可以有效地利用路基施工期信息,增加训练样本量,提升沉降早期预测的可靠性.Bi-LSTM模型对观测信息进行双向特征提取,同等样本量下的预测效果更精确.依托6个中等压缩性土地基和1个复合地基监测断面信息,仅利用路堤填筑期及工后3个月数据,沉降预测的均方根误差(RMSE)和平均绝对百分误差(MAPE)平均值可以控制为1.19 mm、1.04%.

基于Bi-LSTM和自注意力机制的旋转机械故障诊断方法研究

旋转机械因其特殊的功能要求,通常工作在恶劣的环境中,振动信号易受外界干扰。基于传统信号处理方法的故障诊断技术越来越不能满足故障诊断精度的需要,因此,利用大数据和人工智能技术进行旋转机械故障诊断成为目前的主要研究方向之一。针对以上问题,提出一种基于双向长短时记忆网络(Bi-LSTM)和自注意力机制的旋转机械故障诊断方法。首先,利用转子实验台模拟旋转机械的各种运行状态,采集旋转机械在各种运行状态下的振动信号;然后,将振动信号输入Bi-LSTM网络,自注意力机制将Bi-LSTM各时间步的输出进行加权求和,获得振动信号的深层特征表示;最后,通过全连接层和Softmax层输出旋转机械各种运行状态的预测概率。实验结果表明:本文提出的方法能够有效地实现旋转机械的故障诊断,与其他方法相比,模型的训练稳定性、收敛速度和故障识别准确率均得到提高。

基于词聚类CNN和Bi-LSTM的汉语复句关系识别方法

复句关系识别是对分句间语义关系的甄别,是复句语义分析的关键。由于非充盈态汉语复句存在隐式关系的特点,给语义关系识别造成了困难。因此,为了深度挖掘复句中隐含的语义信息实现正确的关系分类,该文提出了一种基于词聚类的CNN与Bi-LSTM相结合的网络结构BCCNN。其中,通过使用词聚类算法对单词向量建模提取单词间的语义相似特征,并在此基础上使用CNN对复句进行深度建模以获得复句的局部特征。另外,该文将CNN中的池化层替换为Bi-LSTM网络层,在减少池化操作所带来语义信息丢失的同时又得到了全局的长距离语义依赖特征。与其他基于汉语复句语料库(CCCS)和清华汉语树库(TCT)的实验结果对比,论文的方法达到了较好的识别效果,其准确率分别达到了92.4%和90.7%。

基于双向长短期记忆神经网络的配网电压异常数据检测

受自然环境、计量仪器等影响,量测数据会出现异常,导致调度人员错误决策,威胁电力系统安全稳定运行。为保障电力系统安全稳定运行,提出了一种基于双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)神经网络的配网电压无监督异常数据检测方法。利用Bi-LSTM神经网络处理时序数据的双向特性,建立时序预测模型,通过对比预测值和实际值的误差检测异常数据。最后,基于某实际配网电压数据进行仿真验证,仿真结果表明:所提方法在准确率、F1分数等指标方面均优于决策树、K近邻、支持向量机、长短期记忆(long short-term memory,LSTM)神经网络。

基于动态时间规整的谱聚类方法与双向长短期记忆网络的电动公交短期充电负荷预测

对电动公交车进行较为精准的短期充电负荷预测,有利于电网合理调度,从而在一定程度上缓解大规模电动公交车接入对电网冲击的影响。因此,提出一种电动公交短期充电负荷预测方法,以提高负荷预测精度。首先,结合电动公交车充电负荷具有的间歇性和波动性特点,提出基于动态时间规整(dynamic time warping,DTW)的改进谱聚类(spectral clustering,SC)方法,对公交车日充电负荷曲线进行聚类;其次,对每类负荷综合考虑时间、日类型、温度及历史负荷值等影响因素,利用双向长短期记忆(bi-directional-long short-term memory,Bi-LSTM)构建电动公交车短期充电负荷预测模型;最后,利用某市实际天气数据和历史负荷数据进行仿真验证,并与其他预测方法进行对比分析。实验结果表明,所提方法能提高短期充电负荷预测准确度。

基于自注意力机制的中文标点符号预测模型

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明,该模型F1值达到85.63%,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测。

基于Bi-LSTM的同时同频全双工数字域自干扰抑制方法

同时同频全双工(co-frequency co-time full duplex, CCFD)系统在相同的频率上同时进行信号的收发,理论上可使通信频谱利用率提高一倍.但是由于收发天线等前端模块距离较近,系统中会存在很强的自干扰信号.当前常用的自适应滤波、最小二乘法估计等自适应干扰抑制方法存在着不能有效抑制多径信道和功放非线性产生自干扰信号的不足.针对此问题,本文提出一种基于双向长短时记忆神经网络(bi-directional long short-term memory, Bi-LSTM)的CCFD数字域自干扰抑制方法.首先根据多径信道的特征,采用记忆多项式对自干扰信道进行建模;然后采用Wild Horse优化算法(Wild Horse optimizer, WHO),通过迭代寻找到最优时延单位以确定训练数据的特征数;最后搭建Bi-LSTM网络进行训练,重构出自干扰信号,并在接收端减去,以达到自干扰抑制的目的.在仿真实验中采用OFDM (orthogonal frequency division multiplexing)信号作为参考信号,实现了47.17 dB自干扰信号抑制比,较传统最小二乘(least square, LS)算法有31.58 dB的提升.结果表明,本文所提出的方法可高效准确地提高CCFD系统的自干扰信号抑制能力.