融合Res3D、BiLSTM和注意力机制的羊只行为识别方法

识别动物行为可以为疾病预防和合理喂养提供重要依据,从而有助于更好地关注动物的健康和福利。本文提出了一种融合三维残差卷积神经网络、双向长短期记忆网络和注意力机制的深度学习网络模型(AdRes3D-BiLSTM)。AdRes3D-BiLSTM模型可以直接针对视频流进行识别,在AdRes3D部分引入了深度可分离卷积和注意力机制,不但减少了浮点运算量,提升了网络轻量化程度,还提高了时间和空间两个维度的特征提取能力;提取的特征被输入BiLSTM模块后,从前后2个方向对时序特征向量进行筛选和更新,最后对羊只行为进行准确识别。试验结果表明,AdRes3D-BiLSTM对羊只站立、躺卧、进食、行走和反刍5种行为的综合识别准确率达到了98.72%,帧速率达到52.79 f/s,模型内存占用量为28.03 MB。研究结果为基于视频流的动物行为识别提供了新的方法和思路。

基于自注意力机制和改进的K-BiLSTM的水产养殖水体溶解氧含量预测模型

为精确预测水产养殖水体溶解氧含量,本研究提出一种基于自注意力机制(ATTN)和改进的K-means聚类-基于残差和批标准化(BN)的双向长短期记忆网络(BiLSTM)的水产养殖水体溶解氧含量预测模型。首先,根据环境数据的相似性,使用改进的K-means算法将数据划分成若干个类别;然后,在BiLSTM基础上构建残差连接和加入BN完成高层次特征提取,利用BiLSTM的长期记忆能力保存特征信息;最后,引入自注意力机制突出不同时间节点数据特征的重要性,进一步提升模型的性能。试验结果表明,本研究提出的基于自注意力机制和改进的K-BiLSTM模型的平均绝对误差为0.238、均方根误差为0.322、平均绝对百分比误差为0.035,与单一的BP模型、CNN-LSTM模型、传统的K-means-基于残差和BN的BiLSTM-ATTN等模型相比具有更优的预测性能和泛化能力。

基于改进DBO优化BiLSTM的IGBT老化预测模型

为了表征逆变器故障中IGBT模块的老化趋势,提高老化过程的预测精度,本文提出一种基于改进蜣螂搜索算法(IDBO)优化双向长短期神经网络(BiLSTM)超参数的IGBT老化预测模型。首先提取老化过程中Vce.on的时频域特征,利用核主成分分析进行降维构建归一化综合指标。其次,针对蜣螂搜索算法(DBO)的不足,通过引入改进Circle混沌映射、Levy飞行和自适应权重因子提升了DBO寻优能力和收敛性能,利用IDBO对BiLSTM预测模型超参数实现全局寻优。最后,通过实际IGBT退化数据验证了基于IDBO优化BiLSTM老化预测模型的有效性和优越性。结果表明,所构建的IDBO-BiLSTM模型与BiLSTM模型相比RMSE平均下降36.42%、MAE平均下降31.77%、MAPE平均下降41.03%。

融合BiLSTM和VMD的GNSS坐标时间序列重构

GNSS观测时间序列包含复杂的非线性构造运动,如地面质量荷载、模型残差、周围环境因素等。由于环境因素的复杂性,季节性信号可能具备准周期时变的特征,传统的时间序列分析模型很难模型化。因此,可以采用一种双向长短期记忆(Bidirectional Long Short-Term Memory,BiLSTM)循环神经网络与变分模态分解(Variational Mode Decomposition,VMD)联合的信号重构方法。首先利用VMD强大的分解能力将GNSS信号进行频域剖分并将其分为多项子信号和噪声项,再基于BiLSTM强大的学习能力对GNSS信号进行训练建模。结果表明,BiLSTM+VMD模型能充分挖掘信号的时频域特征,提高信号重构的精度和稳定性,GNSS N、E、U三分量重构结果均方根误差(Root Mean Squared Error,RMSE)都表现出不同程度的降低,尤其水平方向效果更为显著,相比EMD与VMD方法,E方向离散度分别降低了61%和19%,N方向离散度分别降低了20%和14%。这为GNSS观测时间序列中信号提取与模型参数估计提供了一个有价值的模型。

基于Bo-BiLSTM网络的IGBT老化失效预测方法

针对绝缘栅双极型晶体管(IGBT)受热应力冲击后对其进行老化失效预测精度不高的情况,提出一种基于贝叶斯优化(Bo)-双向长短期记忆(BiLSTM)网络的IGBT老化失效预测方法。首先分析IGBT模块老化失效原理,然后基于NASA老化实验数据集建立失效特征数据库,最后利用Matlab软件构造Bo-BiLSTM网络预测失效特征参数数据。选取常用回归预测性能评估指标将长短期记忆(LSTM)网络模型、BiLSTM网络模型与Bo-BiLSTM网络模型的预测结果进行对比分析。结果表明,Bo-BiLSTM网络的模型拟合精度更高,基于Bo-BiLSTM网络的IGBT老化失效预测方法具有较好的预测效果,能够应用于IGBT的失效预测。

基于残差修正CNN-BiLSTM的空中目标航迹短期预测算法

针对因深度学习自身局限性和递归预测策略产生的累积误差,导致航迹预测精度不高的问题,提出了一种基于残差修正CNN-BiLSTM的空中目标航迹短期预测算法。首先,引入卷积模块用于提取航迹数据之中具有潜在关联的空间位置特征,利用双向长短时记忆网络提取航迹数据中的时序特征,并实现对空中目标的实时单步预测和多步超前预测;其次,引入整合移动平均自回归为残差修正模型,对实时单步预测产生的残差建模,计算混合神经网络模型多步超前预测时的残差值;最后,将混合神经网络模型和残差修正模型的输出结果进行融合,得到最终的航迹预测值。实验结果表明,该算法大大降低了神经网络因自身局限性产生的误差和因递归策略预测产生的累积误差,能够显著提高空中目标航迹短期预测的精度。

基于A-BiLSTM和CNN的文本分类

为解决单一神经网络不能获取准确全局文本信息的问题,提出一种基于A-BiLSTM双通道和优化CNN的文本分类模型。A-BiLSTM双通道层使用注意力机制关注对文本分类贡献值较大的部分,并用BiLSTM提取文本中上下文语义信息;A-BiLSTM双通道层中将两者输出的特征信息融合,得到高级语义;A-BiLSTM双通道层后,使用优化CNN的强学习能力提取关键局部特征,得到最终文本特征表示。分类器输出文本信息的类别。实验结果表明,该模型分类效果优于其它对比模型,具有良好的泛化能力。

基于改进BiLSTM的山岭道路地质灾害风险检测模型

为了克服传统模型对山岭地区道路地质灾害预测的困难,提高山岭道路地质灾害风险检测的准确性和效率,提出了一种新型的山岭道路地质灾害预测模型。通过对双向长短时记忆网络进行算法优化,引入了注意力机制,提升了模型的学习能力和预测性能。并将该模型与传统的随机森林、递归神经网络和梯度提升机模型在同一数据集上进行比较,以验证其效能。实验结果表明,改进后的模型显示出更快的收敛性能,其数值均优于比对模型。该模型与实际数据匹配程度最高,拟合度达到了98.2%,相较于比对模型提高了8.3%-27.6%。改进的双向长短时记忆网络在山岭道路地质灾害风险检测方面显示出显著的性能优势,具有更高的准确性和更快的收敛速度,这证明了其在地质灾害风险评估领域的应用潜力。

基于Inception-BiLSTM的小样本刀具磨损状态识别研究

针对工业生产中故障数据不足难以准确进行故障诊断问题,以Inception模块为主体结构,结合双向长短时记忆网络(BiLSTM),提出了Inception-BiLSTM故障诊断方法,并用刀具磨损状态识别进行实验验证。首先,将振动信号通过连续小波变换(CWT)得到时频特征图,利用Inception网络对时频图进行特征提取;然后,使用全局平均池化(GAP)将特征向量降维;最后,使用BiLSTM提取数据信息,以识别刀具磨损状态。实验结果表明,在小样本条件下,该方法相较于对比方法对刀具磨损状态识别的准确率更高。

基于BERT+CNN_BiLSTM的列控车载设备故障诊断

列控车载设备作为列车运行控制系统核心设备,在高速列车运行过程中发挥着重要作用。目前,其故障诊断仅依赖于现场作业人员经验,诊断效率相对较低。为了实现列控车载设备故障自动诊断并提高诊断效率,提出了BERT+CNN_BiLSTM故障诊断模型。首先,使用来自变换器的双向编码器表征量(Bidirectional encoder representations from transformers,BERT)模型将应用事件日志(Application event log,AElog)转换为计算机能够识别的可以挖掘语义信息的文本向量表示。其次,分别利用卷积神经网络(Convolutional neural network,CNN)和双向长短时记忆网络(Bidirectional long short-term memory,BiLSTM)提取故障特征并进行组合,从而增强空间和时序能力。最后,利用Softmax实现列控车载设备的故障分类与诊断。实验中,选取一列实际运行的列车为研究对象,以运行过程中产生的AElog日志作为实验数据来验证BERT+CNN_BiLSTM模型的性能。与传统机器学习算法、BERT+BiLSTM模型和BERT+CNN模型相比,BERT+CNN_BiLSTM模型的准确率、召回率和F1分别为92.27%、91.03%和91.64%,表明该模型在高速列车控制系统故障诊断中性能优良。

基于CNN-BiLSTM的航空发动机滑油流量故障诊断预测方法研究

航空发动机滑油系统为整个发动机的传动系统、轴承齿轮等部件提供滑油,是保证航空发动机正常运行的重要系统,因此准确对航空发动机滑油量进行预测是对保证飞机飞行的安全有重要意义的。为了提高预测准确性,提出了一种基于CNN-BiLSTM的航空发动机滑油流量预测模型,可以同时捕捉数据中的空间特征以及时序关系。以某航QAR数据进行验证,结果与CNN和LSTM模型进行对比,左发预测准确率提升了2.43%和7.85,右发预测准确率提升了7.97%和10.82%,证明了本文所提方法的有效性,为航空发动机滑油流量故障诊断的预测方法提供了新的解决方案。

基于NGO-CNN-BiLSTM神经网络的动态质子交换膜燃料电池剩余使用寿命预测

为解决质子交换膜燃料电池(PEMFC)剩余使用寿命(RUL)预测精度不高的问题,提出了一种基于北方苍鹰优化(NGO)、卷积神经网络(CNN)和双向长短时记忆(BiLSTM)神经网络的动态燃料电池RUL预测模型。首先,利用NGO对CNN-BiLSTM模型的学习率、隐藏节点及正则化系数进行寻优,然后,通过CNN-BiLSTM模型的卷积层对输入数据进行特征提取,输入到BiLSTM层进行时序建模和预测。同时,利用小波阈值去噪算法对原始数据进行平滑处理,采用皮尔逊相关系数提取模型输入变量,并搭建NGO-CNN-BiLSTM神经网络功率预测模型。仿真验证结果表明,该方法预测精度达99.49%,高于其他对比模型的预测精度。

基于VMD-BiLSTM-WOA的短期风电功率预测

风力发电对于解决全球能源短缺问题有重要意义,准确预测风电功率有助于风电并网的合理调度和可靠的电网运行.文章提出了一种基于变分模态分解(Variational Mode Decomposition, VMD)、双向长短期记忆网络(Bidirectional Long Short-term Memory Network, BiLSTM)以及鲸鱼优化算法(Whale Optimization Algorithm, WOA)的混合深度学习模型,以用于短期风电功率预测.首先,VMD将原始风电功率分解为多个子模态,有效减少了序列的波动性;然后对每个子模态分别建立BiLSTM模型,使用WOA对BiLSTM中的参数进行优化,以提高混合模型的效率和预测性能;最后将各个子模型的结果叠加得到最终预测结果.在实验中通过建立不同的比较模型来说明改进策略的有效性和优越性,结果表明所提的混合模型在风电功率预测中具有较高的预测精度.

基于GCN和BiLSTM的Android恶意软件检测方法

现有Android恶意软件检测方法大多是对单一结构类型的特征进行学习,在分析应用程序语义方面有所缺失。针对传统检测方法捕获特征语义不够全面的问题,文中创新性地提出了一种基于GCN和BiLSTM的Android恶意软件检测模型,在精准提取样本结构信息的同时对恶意行为语义进行重点分析。首先以图的方式表征26类关键系统调用间的拓扑关系,使用双层GCN网络聚合系统调用图中节点的高阶结构信息,有效提高特征学习效率;然后利用带有自注意力机制的BiLSTM网络获取操作码序列的上下文语义,通过为具有恶意特征的序列赋予高权重得到特征内部的强相关性;最后使用Softmax输出融合结构信息和上下文特征的样本分类概率。在基于Drebin和AndroZoo数据集的实验中,所提模型准确率达到了93.95%,F1值达到了97.09%,相较于基准算法有显著提高,充分证明了基于GCN和BiLSTM的模型能有效提升Android恶意软件的检测效果。

基于改进BiLSTM的电力工程数据智能分析算法设计

针对目前电力工程费用计算复杂、时间成本较高且准确性低的问题,文中开展了基于改进BiLSTM的电力工程数据智能分析算法设计研究。从技术、工程量和费用三个维度构建了电力工程数据智能分析指标体系,进而提出了一种基于BiLSTM与Attention联合模型的电力工程费用预测算法。该算法将电力工程数据作为BiLSTM的模型输入,并采用Attention机制提高了对重要数据的关注程度。通过引入数据指标与电力工程费用的自动关联分析技术,实现了对电力工程费用的精准预测。仿真算例分析结果表明,与LSTM及BiLSTM算法相比,所提算法具有更高的预测准确性,平均预测误差小于5%。

基于LCD-SSA-BiLSTM模型的月径流预测研究

径流预测在水资源优化配置和防汛抗旱方面发挥着重要作用。但径流序列非平稳会导致预测误差及峰值预测误差较大,因此提出了基于局部特征尺度分解(LCD)、麻雀搜索算法(SSA)和双向长短期记忆神经网络(BiLSTM)的组合预测模型(LCD-SSA-BiLSTM),以提高非平稳径流序列的预测精度。以汾河上游4个站点(汾河水库站、上静游站、兰村站和寨上站)为研究对象开展月径流序列预测研究,采用纳什效率系数、平均绝对误差、均方根误差、合格率4个评价指标对预测结果进行定量评价。结果表明,LCD-SSA-BiLSTM模型的平均绝对误差为10.346×10^(4)~124.629×10^(4)m^(3),均方根误差为19.416×10^(4)~191.284×10^(4)m^(3),纳什效率系数为0.975~0.988,4个水文站的合格率均在90%及以上,预测精度为甲级,与单一BiLSTM、EMD-BiLSTM、LCD-BiLSTM及EMD-SSA-BiLSTM模型相比预测效果更好,因此LCD-SSA-BiLSTM模型是预测非平稳月径流序列的有效方法。

基于BiLSTM的NL2SQL模型

随着互联网技术的发展,很多应用为大众提供金融量化服务,而大部分用户不具备金融或计算机专业知识,他们期望使用自然语言查询数据,因此自然语言转SQL(NL2SQL)被迫切需要。针对此问题,提出一种基于双向长短期记忆模型(BiLSTM)的中文金融NL2SQL算法,分为编码和解码阶段。在编码阶段,利用BiLSTM和注意力机制生成特征向量。在解码阶段,根据SQL的语法规则,将SQL生成解耦为九个分类任务,各个任务间相互依赖联合学习,之后生成复杂的SQL语句。除模型外,还训练出包含金融词汇的向量库,构建金融领域的数据集。通过在此数据集上实验验证,结果表明,该方法准确率更高,能有效解决金融领域SQL生成问题,并在某金融量化分析系统中实现。

基于1DCNN-BiLSTM的端到端滚动轴承故障诊断方法

针对滚动轴承早期故障诊断时时频域特征选取主观性强、时序特征信息利用不足等问题,提出一种基于卷积神经网络和双向长短时记忆神经网络的滚动轴承早期故障诊断方法。采用卷积神经网络提取原始振动信号特征,并在卷积层后引入批正则化层,以消除数据的不规则性对权重优化的影响,并通过扩展首层卷积层和调整步长以提高特征提取效率。引入双向长短时记忆神经网络提升卷积神经网络对时序特征的提取能力,通过批正则化层和Dropout层增强模型的鲁棒性和减少神经元与神经元之间的依赖关系。最后,通过滚动轴承试验数据对文中方法进行验证。结果表明:与传统方法相比,文中方法不仅训练速度更快,而且故障诊断准确率也大幅提高。

基于聚类的HPO-BILSTM光伏功率短期预测

考虑到光伏发电功率在不同天气类型下的波动性和不确定性,对此提出一种基于模糊C均值聚类算法(FCM)和猎食者优化算法(HPO)优化双向长短期记忆网络(BILSTM)的光伏发电短期功率预测模型。首先对光伏发电数据进行处理和分析,再进行主成分分析(PCA)降维和FCM聚类算法将数据按天气类型分为阴、晴、雨;最后通过HPO筛选得出BILSTM神经网络的最佳超参数,避免因超参数设置不佳对实验带来的影响,进一步提高实验的准确性和模型的泛化能力。最后通过预测和对比实验进行分析,验证所提方法的优越性。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。