基于双重分解和双向长短时记忆网络的中长期负荷预测模型

针对中长期电力负荷序列噪声含量高、难以直接提取序列周期规律从而影响预测精度的问题,提出了一种基于完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和奇异谱分析(singular spectrum analysis,SSA)双重分解的双向长短时记忆网络(bidirectional long and short time memory,BiLSTM)预测模型。首先,采用CEEMDAN对历史负荷进行分解,以得到若干个周期规律更为清晰的子序列;再利用多尺度熵(multiscale entropy,MSE)计算所有子序列的复杂程度,根据不同时间尺度上的样本熵值将相似的子序列重构聚合;然后,利用SSA去噪的功能,对高度复杂的新序列进行二次分解,去除序列中的噪声并提取更为主要的规律,从而进一步提高中长序列预测精度;再将得到的最终一组子序列输入BiLSTM进行预测;最后,考虑到天气、节假日等外部因素对电力负荷的影响,提出了一种误差修正技术。选取了巴拿马某地区的用电负荷进行实验,实验结果表明,经过双重分解可以将均方根误差降低87.4%;预测未来一年的负荷序列时,采用的BiLSTM模型将拟合系数最高提高2.5%;所提出的误差修正技术可将均方根误差降低9.7%。

融合BERT和双向长短时记忆网络的中文反讽识别研究

用户对微博热点话题进行评论时会使用反语、讽刺的修辞手法,其本身带有一定的情感倾向会对情感分析结果造成一定影响。因此该文主要针对中文微博评论进行反讽识别,构建了一个包含反语、讽刺和非反讽的三分类数据集,提出一个基于BERT和双向长短时记忆网络(BiLSTM)的模型BERT_BiLSTM。该模型通过BERT生成含有上下文信息的动态字向量,输入BiLSTM提取文本的深层反讽特征,在全连接层传入softmax对文本进行反讽识别。实验结果表示,在二分类和三分类数据集上,提出的BERT_BiLSTM模型与现有主流模型相比准确率和F1值均有明显提高。

基于双向长短时记忆网络和自注意力机制的药物-药物相互作用预测

提出了一种基于双层双向长短时记忆网络(bi-directional long short term memory,BiLSTM)和自注意力(self-attention)机制的药物-药物相互作用(drug-drug interactions,DDIs)预测方法SA-BiLSTM。首先,利用FP3指纹、MACCS指纹、Pubchem指纹和PaDEL分子描述符对药物特征信息进行提取。其次,使用套索回归(least absolute shrinkage and selection operator,Lasso)方法消除对分类无关的特征,并利用重复编辑最近邻(repeated edited nearest neighbors,RENN)方法对数据进行平衡处理,得到最优特征向量。最后,将最优特征向量输入结合自注意力机制和双向长短时记忆网络的分类器预测DDIs。基于五折交叉验证,同时与其它预测方法进行比较,本工作所提出的方法在两个数据集上获得较高的预测准确率。为了综合评价SA-BiLSTM的性能,对药物-药物相互作用网络进行验证。实验结果表明,SA-BiLSTM表现出优秀的预测能力,可以为DDIs的预测提供一种新的思路。

结合知识图谱与双向长短时记忆网络的小麦条锈病预测

针对现有小麦条锈病预测方法没有利用病害发生因素之间的语义信息,存在预测难度大、准确率低等问题,利用知识图谱(Knowledge Graph,KG)和双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)处理多源异构复杂数据的各自优势,提出一种基于KG与Bi-LSTM结合的小麦条锈病预测方法。首先,构建小麦条锈病知识图谱,将与小麦条锈病发生相关的环境信息转换为特征向量;其次,利用特征向量训练Bi-LSTM模型,得到基于Bi-LSTM的小麦条锈病预测模型;最后,利用小麦条锈病数据库数据进行试验。结果表明,KG丰富了进行病害预测所描述的语义信息,提升了Bi-LSTM提取高层病害预测特征的能力,从而提高了病害预测的准确率。在小麦条锈病数据库上的预测准确率达到93.21%,比基于Bi-LSTM的病害预测方法提高了4.5个百分点。该方法能较好预测小麦条锈病,为小麦条锈病的预报预警和综合防治提供科学依据。

基于多任务双向长短时记忆网络的隐式句间关系分析

隐式句间关系识别是篇章句间关系识别任务中一个重要的问题。由于隐式句间关系的语料没有较好的特征,目前该任务的识别仍不能达到很好的效果。隐式句间关系的语句和显式句间关系的语句在语义等方面有着一定的联系,为了充分利用这两个任务之间的联系,该论文使用多任务学习的方法,并使用双向长短时记忆(BiLSTM)网络学习语句的相关特征;同时,为充分利用文本的特征,采用融合词嵌入的方法并引入先验知识。与其他基于哈工大的中文篇章级语义关系语料库的实验结果表明,该文方法的平均F1值为53%,提升约13%;平均召回率(Recall)为51%,提升约9%。

基于注意力机制的双向长短时记忆网络模型突发事件演化关系抽取

针对现有突发事件关系抽取研究多集中于因果关系抽取而忽略了其他演化关系的问题,为了提高应急决策中信息抽取的完备性,应用一种基于注意力机制的双向长短时记忆(LSTM)网络模型进行突发事件演化关系抽取。首先,结合突发事件演化关系的概念,构建演化关系模型并进行形式化定义,依据模型对突发事件语料进行标注;其次,搭建双向LSTM网络结构,并引入注意力机制计算注意力概率以突出关键词汇在文本中的重要程度;最终,使用搭建的网络模型进行演化关系抽取得到结果。在演化关系抽取实验中,相对于现有因果关系抽取方法,所提方法不仅抽取出更加充分的演化关系,为突发事件应急决策提供了更完善的信息;同时,在正确率、召回率和F1分数上分别平均提升了7.3%、6.7%和7.0%,有效提高了突发事件演化关系抽取的准确性。

基于双向长短时记忆网络的系统异常检测方法

在系统日志异常检测中,日志结构不统一且新执行的日志路径检测依然不够准确。针对这些问题,提出一种基于双向长短时记忆网络的日志路径异常检测模型。通过日志解析器构造日志键使得日志结构统一化,同时将日志键转化为时序序列构建时序化的日志结构;采用双向长短时记忆网络对时序化的日志序列进行建模和预测,根据是否发生误判来优化模型参数,提升新执行的日志路径检测效率。实验结果表明,与传统的基于机器学习的日志路径异常检测模型相比,该模型在HDFS和OpenStack数据集上准确率分别提升11%和20%,验证了该模型的有效性。

融合注意力机制与双向长短时记忆网络的基于语音分析的抑郁识别方法

为有效地通过语音识别抑郁状态,在将语音进行滤波、降采样等预处理后通过短时傅里叶变换成时频图,输入本文提出的DD-AudioNet(一种融合注意力机制与双向长短时记忆网络的卷积神经网络)进行训练,提取神经网络的瓶颈层向量作为深度学习特征,共128个,再加上声学、频域、停顿、Mel频率倒谱系数和色度5类常用特征共计563个,基于特征选择方法Lasso选择了26个.用迁移学习方法CORAL拉近训练集和测试集的特征分布,最后通过逻辑回归、随机森林和XgBoost分别进行分类辨识.实验结果表明,本文通过高维度特征定义与选择,设计的DD-AudioNet提取的深度学习特征可有效提升基于语音的抑郁状态辨识能力.

基于双向长短时记忆网络和注意力机制的RNA m5C甲基化位点预测

RNA 5-甲基胞嘧啶(m5C)修饰在许多生物过程中发挥重要的作用,对m5C位点的准确识别有助于更好地理解其生物学功能,所以识别m5C甲基化位点十分必要。尽管已发展了多种识别m5C甲基化位点的机器学习方法,但预测能力仍有待提高。本文基于双向长短时记忆网络和注意力机制,提出了一种预测RNA m5C甲基化位点的深度学习算法。用该方法在人、小鼠、酿酒酵母和拟南芥共4种生物的RNA m5C数据集上进行实验,m5C位点预测AUC值分别达到92.5%、99.7%、93.6%和86.5%。与现有预测方法相比,该方法具有较好的预测性能,并且具有更优的泛化能力,为RNA m5C甲基化位点预测提供了一种新方法。

基于注意力机制和双向长短时记忆网络的横波速度预测方法及应用

横波速度信息对油气勘探而言至关重要,但实际测井资料中常常缺失横波速度资料。横波速度与测井参数之间存在非线性相关性,二者关系复杂难以用解析解表征。为此,提出了一种基于注意力机制和双向长短时记忆网络的横波速度预测方法(AT-BLSTM)。该方法首先利用注意力机制为测井参数分配权重,自动聚焦对横波速度预测贡献大的测井参数,然后利用双向长短时记忆网络以及横波速度曲线纵向上的时序特征,挖掘各种测井参数与横波速度之间的相关关系,获得各种测井参数与横波速度之间的学习模型,再输入优选测井参数,最终可直接获得横波速度的预测结果。将上述方法应用于挪威北海Volve油田和我国西南某工区的实际测井资料进行横波速度预测,并将预测结果与常规双向长短时记忆网络、门控循环神经网络以及基于经验公式的传统方法的预测结果进行对比。结果表明,利用基于注意力机制和双向长短时记忆网络的横波速度预测方法得到的测井参数权重分配合理,横波速度预测结果与实测横波速度误差较小、相关系数较高,有效提高了横波速度预测精度,预测结果具有良好的稳定性。

基于双向长短时记忆网络的企业弹性能力预测模型

传统的风险管理方法专注于识别、预测和评估可能发生的潜在风险,但当企业面临突发的、不可预期的风险时,往往束手无策。因此,学术界逐渐将风险管理的视角由预测并规避风险转变为提升企业自身对风险的承受能力和从风险中恢复的能力,也就是企业的弹性能力。文中提出了基于时序特征数据的企业弹性能力预测方法,使用Bi-LSTM对时序特征数据进行双向编码,获得企业的特征表示,并通过softmax分类器得到弹性能力分类结果。模型在中国上市公司的真实数据集中进行实验,macro-F1值达到89.0%,与RF,XGBoost和LightGBM等未使用时序特征数据的模型相比有一定提升。此外,进一步探讨了企业弹性能力的多种影响因素及其重要程度,并首次将机器学习方法应用到企业弹性能力的评估预测中,为企业应对突发风险提供了理论方法指导。

基于双向长短时记忆网络的牵引机齿轮泵故障诊断

为了提高电梯牵引机齿轮泵的典型故障诊断精度,提出一种基于经验模态分解(EEMD)和双向长短时记忆网络(BLSTM)的行星齿轮泵故障诊断方法。总共设置4种行星齿轮故障类型,综合验证检测性能。通过EEMD方法完成信号分解,对网络实施训练来提升故障类型的分辨精度。研究结果表明:本故障诊断网络模型损失<1%,具有良好稳定性。断齿、正常齿的轮识别率都达到了93%以上,齿根裂纹故障识别率达到了87.2%,可以实现精确识别齿面故障。经过EEMD处理的网络稳定性与精度显著提升。到达后期迭代阶段时,BLSTM网络拟合速度开始变快,精度也获得提升。

基于双向长短时记忆网络和卷积神经网络的电力系统暂态稳定评估

基于机器学习方法的暂态稳定评估已成为电力系统分析与控制领域的热点,由于实际系统中存在不能实现相量测量单位(PMU)的全面覆盖以及数据采集存在噪声的问题,使得传统机器学习方法的评估性能受到较大限制。针对此,构建了一种在PMU最优布点上的时间序列特征,提出了一种将改进卷积神经网络(improved convolutional neural network,ICNN)与双向长短时记忆网络(bidirectional long short term memory network,BiLSTM)进行融合的评估方法。该方法首先利用BiLSTM提取电压、相角以及有功功率三种基本电气量的时间序列特征,随后通过卷积和池化操作对数据进行进一步的数据挖掘,最后利用轻量梯度提升机完成对数据的分类。为了避免出现过拟合现象,该方法还通过正则化、Dropout等方式提升模型的泛化性能。在新英格兰10机39节点上的算例表明,该方法能利用基本电气量数据进行暂态稳定评估,且在复杂条件下仍能保持较好的评估性能。

基于双向长短时记忆网络的母线负荷分解方法

目前在负荷分解领域的研究多以家庭住宅的总负荷分解为电器级别的负荷为主,对于中高电压等级的母线负荷分解研究较少,为解决这一问题,提出基于双向长短时记忆网络(Bi-LSTM)的中高电压等级母线负荷分解算法。首先在长短时记忆(LSTM)的基础上构建了Bi-LSTM;其次以母线负荷和其对应的外部信息源(如日期类型、天气等)作为Bi-LSTM的输入量,母线负荷的各下属建筑负荷作为输出量,对Bi-LSTM进行训练;最后以网络分解的母线负荷构成值与实际值间的平均相对误差作为评价指标。实验结果表明该方法可有效对构成成分未知的母线负荷进行分解。

基于双向长短时记忆网络的配电网关键线路单调性规律提取

针对可再生能源发电不断并入配电网,配电网出现双向流动的有功潮流,使配电网输电线路的有功潮流越来越不确定的问题,把握配电网关键线路的有功输电规律对于保证输电安全、防止大面积停电事故的发生具有重要意义。对此,在量测环境下,提出了基于双向长短期记忆网络的配电网关键线路单调性规律提取方法。首先,建立了配电网输电网潮流计算模型;在此基础上,给出了配电网关键输电线路的识别方法;基于双向长短时记忆网络方法,建立了配电网关键线路单调性的规律提取方法;最后,以某实际电网为例,表明了所提方法的有效性。

基于双向长短时记忆网络的产品画像构建研究

属性抽取作为自然语言处理方向的热门任务之一,在电子商务领域也有着较高的应用价值,然而目前传统的特征工程抽取算法,对于电商从业者而言成本过于高昂。针对这一现象,笔者构建了一个中文网购商品属性抽取算法框架,该模型实现了对商品属性及评论的自动化抽取,通过双向长短时记忆模型抽取文本序列并输出商品属性,并基于商品属性映射空间向量模型以构建领域知识图谱,获得电子商务平台的产品画像本体。

基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别

针对高速混行多车交互环境下车辆驾驶意图识别模型大多忽视驾驶风格和车-车交互信息等问题,提出一种基于改进双向长短时记忆(Bi LSTM)网络的驾驶意图识别模型,以目标车辆轨迹序列、驾驶风格、周围车辆的交互特征作为模型的输入进行训练学习,实现对考虑驾驶风格的驾驶意图特征数据集的分类识别,同时使用鲸鱼优化算法对隐含层节点数和学习率等超参数进行寻优,以规避人工调参的负面影响。最后,使用NGSIM数据集对该模型的有效性进行验证,结果表明,模型的识别准确率达到97.5%,证明其在识别车辆驾驶意图方面具有较高的准确性。

基于多通道卷积双向长短时记忆网络的输电线故障分类

针对单通道故障分类器不能全面表达三相故障特征信息引起分类精度不高的问题,提出了一种基于多通道卷积双向长短时记忆神经网络(MCCNN-BiLSTM)的输电线故障分类方法。该方法可同时输入故障三相信号,并能有效提取故障信号的空间和时间特征,实现了三相故障信号特征的全面提取,有效地提高了神经网络的分类的精度。基于735 kV三相串联补偿输电线模型大量故障数据分析,对三相故障电压信号不采用任何特征提取算法,仅截取故障周期的三相电压幅值数据作为基本故障特征信号输入。仿真实验结果表明:该网络能快速准确地分类识别11种故障,并且不易受故障时刻、过度电阻等因素的影响,具有良好的鲁棒性和适应性。

基于改进灰狼算法优化双向长短时记忆神经网络的水冷壁壁温预测

提出一种基于改进灰狼(MGWO)算法优化双向长短时记忆(BiLSTM)神经网络的水冷壁壁温预测模型,灰狼算法采用非线性因子调整策略、自适应位置更新策略和动态权重修改策略进行改进以提升算法的全局寻优能力,利用改进灰狼算法优化BiLSTM模型的隐藏层数量、学习率和正则化参数以提高模型的预测精度,采用新疆某电厂的数据进行预测仿真,结果表明:改进后的算法预测精度更高,在机组升、降负荷时,均可以预测到壁温的变化趋势,模型的平均均方根误差相比于长短时记忆(LSTM)神经网络、BiLSTM模型分别降低了9.86%和3.69%,且可以提前预测到水冷壁壁温的超温情况,对于预防水冷壁超温有重要意义。

基于双向长短时记忆网络的改进注意力短文本分类方法

【目的】针对短文本篇幅较短、特征稀疏等问题,基于双向长短时记忆网络,提出一种改进注意力的端到端短文本分类模型。【方法】采用预训练词向量完成原始文本数字化;利用双向长短时记忆网络进行语义特征提取;在此基础上,改进注意力层将正向和反向特征进行融合,用于全局注意力得分计算,以获得具有深层语义特征的短文本向量表示;采用Softmax给出样本标签的分类结果。【结果】相比于传统的卷积神经网络、长短时记忆网络以及双向长短时记忆网络模型,基于双向长短时记忆网络的改进注意力模型在包含中英文的多个数据集上分类精度取得提升,其中最高提升为19.1%。【局限】仅针对短文本分类问题,对于篇幅长度较长文本,模型分类精度提升有限。【结论】基于双向长短时记忆网络的改进注意力模型实现短文本分类,能够充分利用文本的上下文语义特征,有效地克服短文本特征稀疏,提高短文本分类性能。