基于双向LSTM-Attention模型的火电厂负荷预测研究

准确预测电厂负荷可指导火电厂制定发电计划和调度安排,有利于降低能源成本和污染物排放,对电厂的经济性和环保性有重要意义。本文提出一种基于双向LSTM-Attention的火电厂负荷预测方法。首先,通过皮尔逊系数筛选出关键特征变量;其次利用双向长短期记忆网络提取关键变量之间的长期依赖关系与短期变化特征,最后融合注意力权重机制以进一步突出关键时序信息,进而实现负荷的准确预测。以某在役600 MW超临界机组为对象进行验证。结果表明:相较于单向LSTM、双向LSTM、单向LSTM-Attention,本文所提方法的决定系数R^(2)、均方根误差S_(RMSE)和平均绝对误差S_(MAE)均为最优,分别为0.9566、16.3159、13.5043,能更准确地捕捉到负荷快速波动的趋势,为电厂的负荷预测和能源管理提供可行的方法。

基于IWOA-双向LSTM的绞车滚筒可靠性分析

绞车滚筒作为钻机的重要组成部分,在运行中应保持良好的性能稳定性,对其进行可靠性分析十分必要。为此,采用哈默斯雷采样方法,对传统7000 m绞车滚筒的设计变量在Isight平台通过SolidWorks、ANSYS、MATLAB联合进行灵敏度分析,利用蒙特卡洛模拟法对输入变量进行抽样,搭建IWOA-双向LSTM模型对绞车滚筒可靠性进行预测。研究结果表明:IWOA-双向LSTM可靠性预测模型预测精度远远超过了传统的可靠性预测模型,其结合蒙特卡洛模拟法可对绞车滚筒的关键参数如耐久应力和疲劳寿命等进行估计,以此得到绞车滚筒理论的工作应力区间及其使用寿命,从而为绞车滚筒的运维及安全稳定运行提供有力保障。研究结论可为钻采设备的可靠性分析提供一种新方案。

基于双向长短期记忆网络的公交到站时间预测模型

为实现准确预测公交到站时间,提高城市公交出行分担率,本文提出一种基于双向长短期记忆神经网络(BiLSTM)并考虑超参数寻优的公交到站时间预测模型。通过引入非线性收敛因子、正弦余弦算子及自适应参数改进海鸥算法对双向LSTM模型实现超参数寻优,并增加Attention机制以提高双向LSTM处理信息能力,构建改进海鸥算法优化增加Attention机制的双向LSTM(ISOA-BiLSTM-Attention)预测模型。使用中国江西省南昌市220路公交GPS数据分方向和分时段预测车辆到站时间,验证模型预测精度。结果表明:整体上来说,Attention机制优化后的双向LSTM模型比单独采用双向LSTM模型预测精度更好;改进的海鸥算法可对双向LSTMAttention模型实现较好的优化效果,相较于现有模型及标准海鸥算法(SOA)优化双向LSTMAttention模型,ISOA-BiLSTM-Attention对于不同方向及不同时段公交到站时间预测的平均绝对百分比误差、均方根误差及平均绝对误差至少分别降低5.96%、9.87%及7.99%;同时,ISOABiLSTM-Attention具有最大的模型决定系数R2值,体现了该预测模型泛化能力及稳定性较好,可针对公交到站时间进行较为准确地拟合。

基于单心搏活动特征与BiLSTM-Attention模型的心律失常检测

为了更准确地检测心律失常,提出基于单心搏活动特征与BiLSTM-Attention模型的心律失常检测方法。采用MIT-BIH心律失常数据库对算法进行验证,用双正交小波变换去除噪声干扰;通过二进样条小波变换的模极大极小值对检测R波峰值位置,并提取QRS波群数据及RR间期;使用BiLSTM-Attention分类模型进行心搏识别。实验结果表明,N、S、V和F类心搏的灵敏度分别为99.76%、94.74%、97.53%、83.93%,阳性预测值分别为99.76%、94.03%、97.53%、87.04%,F1综合指标达到了99.40%,证明了该算法的有效性。

基于BiLSTM模型的定义抽取方法

定义抽取是从非结构化文本中自动识别定义句的任务,定义抽取问题可建模为句子中术语及相应定义的序列标注问题,并利用标注结果完成抽取任务。针对传统的定义抽取方法在抽取定义特征过程中费时且容易造成错误传播的不足,提出一个基于双向长短时记忆(BiLSTM)的序列标注神经网络模型,对输入文本进行自动化定义抽取。通过将原始数据输入到BiLSTM神经网络中,完成输入句的特征表示,并采用基于LSTM的解码器进行解码得到标注结果。在Wikipedia英文数据集上的实验结果表明,该方法的精确率、召回率和F1值分别为94.21%、90.10%和92.11%,有效提升了基准模型效果。

基于Word2Vec词嵌入和双向LSTM模型对用户回答文本进行分类

本文将利用Word2Vec+双向LSTM对用户回答的短文本进行分类,同时跟Word2Vec+单向LSTM的效果进行对比,以验证双向LSTM和单向LSTM方法的优劣。

基于双向LSTM神经网络和注意模型的语音情感分析

语音交互是最为迅速直接的一种人机交互方式。语音情感识别使得计算机不仅能识别语音语义内容,且能获得人类情感,使人机交互更加人性化,在未来有着非常丰富的应用场景。本文采用柏林工业大学的EMO-DB语音情感数据库,并基于MIR相关技术提取34种语音情感特征。构建双向LSTM神经网络模型,同时引入注意机制开发了注意模型,对组合模型进行训练及参数优化。结果表明,引入注意机制的模型对于德语语音情感分析结果具有较高的准确率。

基于BERT的农作物命名实体识别模型研究

随着数字农业的快速发展,农作物命名实体识别作为农业领域知识图谱构建的基础,成为一种高效率的农作物研究领域识别方法。由于农作物实体识别呈现结构复杂、实体指称不一致、干扰因素多等特征,严重制约了农作物领域实体识别的性能,提出一种基于预训练语言模型的实体识别模型,使用BERT为文本中词进行编码、采用双向LSTM(Long-Short Term Memory)获取句子中关键词的上下文,采用CRFs(Conditional Random Fields)捕获词之间的依赖关系,并结合所构建的农作物命名实体识别数据集进行验证。实验证明该模型能够有效对农作物实体进行识别,且性能优于当前已有的实体识别模型。

游客对空气质量感知的情感分析——基于双向LSTM模型

空气质量是影响旅游目的地发展的重要因素,游客目的地选择、旅游体验和重游意愿等与其关系紧密。获取2013年1月至2019年7月游客在携程网发布的259个国内5A级景区空气质量的13,069条评论,通过双向LSTM模型进行情感分析,借助Gephi、Vosviewer分析其共现网络图,并依托扎根理论诊断影响游客对景区空气质量感知的因素。结果发现:①游客对我国旅游目的地空气质量感知情感值正面极性显著,时间上呈稳中有升的趋势,空间上“南高北低”格局明显。②高情感值景区与景区类型相关,低情感值景区则受地理位置影响。③共现网络图谱和扎根理论分析均得出自然环境、身体健康和服务设施是影响情感值的主要因素。

基于双向LSTM模型的中文命名实体识别

针对中文命名实体在互联网文本中具有词语多样性、上下文语义性等特点使传统的神经网络模型无法准确获取人名、地名、机构名的难题,提出了一种基于双向LSTM模型的中文命名实体识别方法。在识别过程中模型标注结果加入维特比算法,根据上下文信息分别对中文命名实体以字、词为单位进行有效识别,并与传统神经网络实验结果作对比。结果表明,利用双向LSTM模型进行命名实体识别精确率较好,而且具有可行性的优势。

基于双向LSTM语义强化的主题建模

当前,双向LSTM神经网络等深度学习方法已经能有效地表达文本语义特征,为构建深层次的具有语义连贯性的主题模型提供了可能。但是,现有方法在文本的概率主题建模方面,提升的效果还比较有限。该文提出了一个基于双向LSTM语义强化的概率主题模型DGPU-LDA(double generalized polya Urn with LDA)。该模型一方面结合双向LSTM文档语义编码框架DS-Bi-LSTM(document semantic bi-directional LSTM)来实现文档宏观语义的嵌入表示,另一方面采用文档—主题和词汇—词汇双GPU(generalized polya Urn)语义强化机制以及LSTM来刻画参数推断过程中的吉布斯采样过程。在搜狗新闻数据集以及20新闻组数据集上的实验结果表明,相对于一些比较前沿的主题模型,DGPU-LDA模型在主题语义连贯性、文本分类准确率方面展现了一定的优势,同时该模型在文本语义特征表达方面的有效性也得到了证明。

基于双向LSTM和LDA的新冠肺炎情感分类和热门主题挖掘方法

面对新冠肺炎疫情带来的重大影响,通过自然语言处理技术,深入挖掘民众关于新冠肺炎的观点与看法,为疫情期间政府应对网络舆情危机提供参考.针对当前研究中将主题和情感孤立研究的缺陷,首先从微博上收集网络舆情的相关数据,然后通过LDA主题模型和基于Bi-LSTM的情感分类方法进行主题-情感的融合分析.结果表明,Bi-LSTM模型可以较好地识别出喜、怒、哀、惧4类情感,同时LDA主题模型在热门主题挖掘方面也表现良好.

应用双向长短时记忆神经网络的微地震信号降噪方法

地面微地震监测数据噪声干扰强、信噪比低,对后续的微地震初至拾取、成像定位等产生严重影响。因此,微地震信号降噪是微地震数据预处理中的关键步骤,而常规降噪方法常依赖于算法参数的设置,不具备普遍的适用性。为此,提出了一种应用双向长短时记忆(Bi-LSTM)神经网络的微地震信号降噪方法。首先,使用合成信号和实际信号构造样本数据集,对构建的Bi-LSTM模型进行训练和测试,得到降噪效果最好的模型;然后,利用训练好的Bi-LSTM网络对不同信噪比的合成信号和川渝地区油气井的实际压裂监测微地震信号进行降噪处理。降噪后的实际微地震信号用于地震发射层析成像,并分析图像以实现地面微地震信号的震源定位。实验分析结果表明,该方法能够有效降低微地震信号中的各类噪声,提高信噪比,从而提高震源定位的精度。与传统算法相比,该方法不需要参数调整,具有良好的泛化特性。

双向长短时记忆模型训练中的空间平滑正则化方法研究

双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构。但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的识别效果。在实际应用中,通常会使用一些技巧来缓解过拟合问题,例如在待优化的目标函数中加入L2正则项就是常用的方法之一。该文提出一种空间平滑的方法,把BLSTM模型激活值的向量重组成一个2维图,通过滤波变换得到它的空间信息,并将平滑该空间信息作为辅助优化目标,与传统的损失函数一起,作为优化神经网络参数的学习准则。实验表明,在电话交谈语音识别任务上,这种方法相比于基线模型取得了相对4%的词错误率(WER)下降。进一步探索了L2范数正则技术和空间平滑方法的互补性,实验结果表明,同时应用这2种算法,能够取得相对8.6%的WER下降。

基于注意力机制优化的BiLSTM珠江口水质预测模型

为提高珠江口水质预测精度和稳定性,提出了基于时间和特征双注意力机制优化的Bi LSTM水质预测模型,引入特征注意力机制强化模型捕获参数重要特征能力,加入时间注意力机制提高对时间序列相关性信息及水质波动细节信息的挖掘能力.将新模型应用于珠江8个入海口水质预测,开展预测性能试验、泛化能力试验和特征参数扩展性试验.结果表明:①新模型在珠海大桥水质预测取得了较高的预测精度,预测值与实测值的均方根误差RMSE为0.0041 mg·L^(-1),决定系数R^(2)为98.3%.与Multi-Bi LSTM、Multi-LSTM、Bi LSTM和LSTM对比,表明新模型预测精度最高,验证了模型的精准性.②训练样本数量和预测步数均对模型预测精度产生影响,模型预测精度随着训练样本的增加而提升,海珠大桥断面总磷预测时,240组以上训练样本可获得较高预测精度;增加预测步数,会使模型预测精度迅速下降,预测步数大于5步时无法保障模型预测的可靠性.③将新模型应用于珠江8个入海口不同水质指标预测,预测结果均取得较高精度,模型具有较强的泛化能力;输入对象断面预测指标相关联的上游来水、降雨量等特征参数,能够提高模型预测精度.通过多方面多次试验,结果表明新模型能够较好地满足珠江口水质预测精度、适用性和扩展性要求,为复杂水动力环境水体水质高精度预测进行了新的探索.

基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差,无法解决训练数据类别数量不均衡和分类难易不均衡等问题,提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表,提升了BERT模型的领域适应性;其次,通过建立的BERT-BiLSTM模型实现服务文本分类;最后,针对数据集的类别数量不均衡和分类难易不均衡问题,在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能,在互联网获取的真实数据集上进行了大量对比试验,实验结果表明:WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比,WBBI模型具有更快的收敛速度和更好的分类效果。

基于细粒度信息集成的意图识别和槽填充联合模型

意图识别和槽位填充是构建口语理解(SLU)系统的两项主要任务,两者相互联合的模型是对话系统的研究热点。这两个任务紧密相连,槽位填充通常高度依赖于意图信息。针对最近联合模型中:固定阈值很难在不同领域中选择出正向的投票,且复杂的意图信息不能充分地引导槽位填充的问题。提出了一种基于细粒度信息集成的意图识别和槽填充联合模型。其中,将由意图解码器获取的意图信息与各单词的编码表示拼接,形成意图引导的集成编码表示,从而为单词级槽位填充提供细粒度的意图信息。同时,通过计算最大意图得分和最小意图得分的中间值获得逻辑自适应阈值,并用其代替固定阈值。逻辑自适应阈值可随不同意图标签的得分分布而变化。通过在两个多标签数据集上的实验结果验证了提出的模型的性能。

基于ProtBert预训练模型的HLA-Ⅰ和多肽的结合预测算法

针对现有的第Ⅰ类HLA(HLA-Ⅰ)分子与多肽结合亲和力预测算法在特征构造时依赖传统序列评分函数的问题,为突破用经典机器学习算法构造氨基酸序列特征的局限性,提出一种基于蛋白质预训练模型ProtBert的HLA-Ⅰ与多肽的结合预测算法ProHLAⅠ.该算法利用生命体语言与文本语言在组成上的共性,将氨基酸序列类比句子,通过整合ProtBert预训练模型、BiLSTM编码和注意力机制的网络结构优势,对HLA-Ⅰ序列和多肽序列进行特征提取,从而实现HLA-Ⅰ独立于位点的多肽结合预测.实验结果表明,该模型在两组独立测试集中均取得了最优性能.

基于BiLSTM-CRF的司法领域实体识别研究

司法信息自动化是司法领域发展的必然趋势,而司法实体识别是实现司法信息自动化的基础,是后续实现司法事件抽取,构建司法领域知识图谱的必要前提,具有重要的研究意义。目前,随着自然语言处理技术的不断发展,实体识别领域的研究也越来越成熟,但由于中文字符的特殊性以及司法领域对准确性要求非常高等原因,面向司法领域的实体识别研究比较少。对此,提出一种基于深度学习的模型来自动识别裁判文书中的实体,该模型由双向长短期记忆模型(BiLSTM)和条件随机场模块(CRF)组成,将该模型称为BiLSTM-CRF,为了进一步提升模型实体识别的准确率,提出使用Adam优化器对模型进行优化。使用从裁判文书网上获取的减刑案件、假释案件及暂予监外执行案件的裁判文书作为数据集对该模型进行验证。在对比实验中首先将该模型的实验结果与其他实体识别模型进行对比,然后使用不同优化算法优化模型以证明Adam优化器的有效性。实验表明,带Adam优化器的BiLSTM-CRF模型在数据集上能够取得最优的结果,准确率为0.876,召回率为0.858,F1值为0.855。实验结果证明带Adam优化器的BiLSTM-CRF模型在司法领域实体识别上的可行性。

基于深度学习的核武器数量预测

核武器是指利用能自身持有进行的原子核裂变或聚变反应瞬时释放的巨大的能量,产生爆炸作用,并具有大规模毁伤破坏效应的武器。核武器的出现改变了传统战争的规模和样式,对人类和地球上生物的生存和发展产生了深远的影响。为了维护国家安全和世界和平,准确预测世界各国核武器数量以评估各国军事力量是十分必要的。核武器数量的变化是多因素影响的结果,变化趋势复杂,难以预测。对此,提出一种基于双向LSTM网络的核武器数量预测模型。实验选择了中国、法国、俄罗斯、英国、美国和以色列六个国家1938年至2023年核武器数据作为研究对象,对原始数据进行预处理和相关性分析,构建了双向LSTM模型进行拟合预测,利用可视化技术分析预测结果,调节参数并进一步优化模型。实验选择R2、MAE和RMSE作为评估指标,分别为:0.8635、14.4188和17.7144。结果表明,双向LSTM模型预测结果优于Prophet模型,这证明了所构建的双向LSTM模型的有效性。