双路卷积神经网络和序列到序列的多步短期负荷预测

为提高多步短期电力负荷预测精度,满足实际应用中对于不同时间长度的预测需求,提出一种双路卷积神经网络和序列到序列相结合的多步预测方法。首先,构造双支路并行结构的特征提取网络双路卷积神经网络对负荷输入数据进行不同尺度的深层次特征提取;其次,分别以双向门控循环单元和长短期记忆网络作为编码器和解码器构建序列到序列网络,利用编码器对双路卷积神经网络的输出特征进行编码,并引入注意力机制完成输入数据到动态变化的中间向量的信息转换;最后通过解码器解码实现未来多个时刻的负荷序列输出。实验结果表明,所提方法较其他方法具有更优的多步预测性能。

基于对抗性的权重注意力机制序列到序列模型的锂离子电池SOC估计方法

锂电池荷电状态(SOC)的准确估算是新能源技术发展中的一项关键技术,由于难以直接获取SOC准确数值,而面对此长序列预测问题,采用传统深度学习方法,其估算效果不佳。对此,该文提出一种对抗性的权重注意力序列到序列(AWAS)模型以估算SOC,其中权重注意力机制通过引入额外的线性变换增强了注意力机制提取长序列依赖的能力。该模型由门控循环单元(GRU)作为编码器和解码器的基本构建模块。首先利用编码器提取特征间的相关信息;其次将包含特征信息的隐藏向量交由权重注意力处理,以深化特征间的关联性学习;再次由GRU进行解码;最后与生成对抗网络(GAN)中的鉴别器联合,提高模型估算能力。通过多步SOC估算任务的测试实验,该文提出的模型估算SOC的方均根误差及平均绝对百分比误差分别达到0.1695%和0.2096%;同时,在不同数据集的单步估算任务测试中,平均绝对误差和方均根误差达到0.1412%和0.1094%;相比稀疏化Informer模型在平均绝对误差评估指标上降低了45.7%。

一种基于序列到序列时空注意力学习的交通流预测模型

城市交通流预测是研究交通时空序列数据的动态演化并预测未来交通情况的关键技术,对于智能交通预警及管理决策来讲至关重要.但是有效的交通流建模非常具有挑战性,因为它受到很多复杂因素的影响,例如交通网络的时空依赖性和序列突变性等问题.一些研究工作将卷积神经网络(convolutional neural networks, CNN)或循环神经网络(recurrent neural networks, RNN)用于交通流量预测建模.但是,直接使用经典的深度学习模型难以有效捕获与交通流相关的多通道多变量序列数据中的隐含时空依赖性特征.针对上述问题,提出了一种新的序列到序列时空注意力深度学习框架(spatial-temporal attention traffic forecasting, STATF)来处理城市交通流建模任务,它是一种基于卷积LSTM编码层和LSTM解码层,并辅助注意力机制的端到端深度学习模型,可以自适应地学习与城市交通流相关的多通道多变量时空序列数据中的时空依赖性和非线性相关性特征.基于3个真实的交通流数据集实验结果表明:不管是单步预测还是多步预测条件下,STATF模型都具有更优的预测性能.

基于序列到序列模型的生成式文本摘要研究综述

相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综述了编码、解码、训练等方面的研究工作,并对这些工作进行了比较和讨论,在此基础上总结出该领域未来研究的若干技术路线和发展方向。

耦合注意力机制大坝变形改进LSTM序列到序列预测模型

目前,大坝变形预测主要采用的浅层网络结构存在难以挖掘数据序列隐含深层特征的问题.常用的LSTM和GRU等模型虽然具有分析变形序列的时间自相关性特征的特点,但忽略了环境因子序列和变形序列之间的映射关系,且难以克服深度神经网络梯度下降训练易陷入局部最优的问题.针对上述问题,提出了耦合注意力机制大坝变形改进LSTM序列到序列预测模型.利用编码和解码双层LSTM构建序列到序列结构,同步提取输入影响因子和输出变形的序列特征,并耦合注意力机制,动态度量各影响因子对变形的贡献率,以提高预测精度.进一步利用蚁群信息素及双混沌优化改进鲸鱼捕食机制,构建基于改进鲸鱼优化算法的耦合注意力机制的LSTM序列到序列网络模型的无梯度环境,规避早熟收敛,弥补梯度下降本身的缺陷.工程应用结果表明,本文所提模型能够精确预测大坝变形,在各点位测试集上平均MAPE、MAE和RMSE分别为0.125%、0.604 mm和0.865 mm.此外,时效、水位和温度分量对点位变形的贡献率依次为51.93%、30.14%和17.93%.本研究为大坝安全监控提供理论与技术支撑.

基于序列到序列和注意力机制的超短期风速预测

风速具有较大的波动性,给风速预测带来较大难度。为解决以上问题,该文提出基于序列到序列和注意力机制的深度学习模型来进行超短期风速预测,首先采用1维卷积神经网络和门控循环单元对风速序列数据做编码处理,得到语义向量,然后使用注意力机制和门控循环单元对语义向量做动态解码,最后输出预测值,通过反向传播算法和梯度下降算法训练模型参数。在实际采集的风速数据上对模型的预测精度和性能做评估,实验结果表明:相较于其他模型,该模型提高了超短期风速预测精度和鲁棒性,具有较好的泛化能力,验证了所提模型的有效性。

基于双输入序列到序列模型的井眼轨迹实时智能预测方法

准确预测井眼轨迹是井眼轨迹控制的基础,对提高钻井效率极为重要,但影响井眼轨迹变化的因素众多,且井下力学行为复杂,使井眼轨迹难以准确预测,为此,提出了一种双输入序列到序列模型(Di-S2S)。该模型考虑了钻压、钻速等时序特征以及钻进方式、地层分层、钻具组合等非时序特征,应用自然语言处理方法对非时序特征进行了数值化和降维表征,基于增量训练建立了模型动态更新机制。使用12口井数据进行了模型训练与验证,并与LSTM和BP模型进行了对比,结果显示,井斜角平均绝对误差分别较LSTM和BP模型降低49%和8%,方位角平均绝对误差分别较LSTM和BP模型降低了49%和24%。动态更新模型的井斜角和方位角平均绝对误差较离线模型分别降低了61%和67%,均低于0.2°,表明该模型精度较高,具备实时预测能力,可为导向钻井提供一定技术支撑。

基于序列到序列模型的代码片段推荐

在软件开发过程中,开发者经常会以复用代码的方式,提高软件开发效率。已有的研究通常采用传统的信息检索技术来实现代码推荐。这些方法存在自然语言查询的高层级的意图与代码的低层级的实现细节不匹配的问题。提出了一种基于序列到序列模型的代码片段推荐方法DeepCR。该方法结合程序静态分析技术与序列到序列模型,训练自然语言查询生成模型,为代码片段生成查询,通过计算生成的查询和开发者输入的自然语言查询的相似度得分来实现代码片段推荐。所构建的代码库的数据来源于Stack Overflow问答网站,确保了数据的真实性。通过计算代码片段推荐结果的平均倒数排名(MRR)和Hit@K来验证方法的有效性。实验结果表明,DeepCR优于现有研究工作,能够有效提高代码片段推荐效果。

基于序列到序列的中文短文本省略补全

省略作为一种常见的语言现象,在上下文中普遍存在,特别是在问答、对话等短文本中出现的频率更高。不同于传统的机器学习方法,该文针对问答、对话这样的短文本,构建了一个序列到序列的神经网络模型来实现对上下文中出现的省略进行识别和补全。在搜集和整理的短文本问答和对话语料上进行了各种实验,验证了该模型在省略识别和恢复上能够取得较好的性能。

基于序列到序列模型的无监督文本简化方法

训练基于序列到序列(seq2seq)的文本简化模型需要大规模平行语料库,但是规模较大且标注质量较好的语料却难以获得。为此,提出一种无监督文本简化方法,使模型的学习仅需要无标注的复杂句和简单句语料。首先,利用去噪自编码器(denoising autoencoder)分别从简单句语料和复杂句语料中学习,获取简单句的自编码器和复杂句的自编码器;然后,组合两个自编码器形成初始的文本简化模型和文本复杂化模型;最后,利用回译策略(back-translation)将无监督文本简化问题转换为监督问题,不断迭代优化文本简化模型。通过在标准数据集上的实验验证,该方法在通用指标BLEU和SARI上均优于现有无监督模型,同时在词汇级别和句法级别均有简化效果。

基于序列到序列神经网络模型的古诗自动生成方法

计算机写诗是实现计算机写作的第一步。目前计算机写诗普遍存在主题不明确、诗的内容与写作意图不一致的问题。为改善这些问题,效仿古人写诗的过程,提出了一种两个阶段生成古诗的方法。第一阶段获取写诗大纲,采用TextRank算法对用户输入文本提取关键词,并提出一种基于注意力机制的序列到序列神经网络模型用于关键词扩展;第二阶段根据写诗大纲生成每一行诗句,并提出一种包含双编码器和注意力机制的序列到序列神经网络模型用于古诗生成。最后通过对实验结果的评估验证了提出方法的有效性。与基准方法相比,该方法生成的古诗的主题意义更加明确,诗所表现的内容和写作意图更加一致。

基于序列到序列模型的观点核心信息抽取

方面项和观点项的成对抽取是基于方面的情感分析中的一个子任务,旨在从评论句中提取出观点核心信息。现有的方法需要对数据进行大量复杂的标注或者会产生大量的负样本,耗费大量人力且计算代价过大,为解决该问题,将方面-观点项对的抽取任务转换为文本生成任务,提出了一种基于序列到序列模型(Seq2Seq)的端到端生成框架来生成方面-观点项对的方法,在所提出的框架中将大型预训练模型BART的编码器和解码器作为Seq2Seq模型的编码器和解码器,在解码时结合指针机制直接生成方面-观点词对序列。提出的模型在15res数据集上的F1值为77.31%,比最佳的基线模型提升了3.74%。实验结果表明,提出的模型在3个数据集上均优于其他基线模型。

基于序列到序列模型的文本到信息框生成的研究

本文展示了一种序列到序列的模型(Seq2Seq)来基于文本生成信息框(Infobox),信息框指的是一组"属性-值"对。该模型以端到端的方式工作,可利用一个编码器将一个文本段落表示成一个隐向量序列,然后通过解码器来生成信息框。本文在WIKIBIO数据集上进行实验。研究提出的序列到序列模型取得了58.2的F1值,该结果比流水线式的基准方法显著提升了21.0个百分点。实验结果表明,本模型具有以生成序列的方式来生成"属性-值"对的能力。引入注意力与拷贝机制可以提升模型的准确率。更重要的是,研究观察到该拷贝机制有能力从输入文本中拷贝稀有词来生成目标端信息框中的"值"。

基于多尺度与改进注意力机制的序列到序列模型

序列到序列模型是一种基于神经网络的模型,在机器学习的多个领域取得了良好的效果。针对序列到序列模型的注意力机制模块,提出两种改进方法:维护前面几个时间步骤中的定位和预期上下文历史信息;将前几步的注意力向量与当前解码状态作多尺度卷积。新模型被部署于语音识别和文本到语音系统,实验结果表明,该模型与传统序列到序列模型相比性能显著提高,是处理语音识别和文本分析等问题的有效方法。

一种基于序列到序列模型的时间序列插补

多变量时间序列通常包含缺失值。针对如何利用不完整的信息探索复杂的丢失模式进而修复多变量时间序列的丢失值,提出了连续初始化的序列到序列模型(successively initialized sequence-to-sequence model,SISSM)。在SISSM模型中,为了增强对时间依赖性和变量相关性的模拟能力,设计了交叉回归器并结合门控递归单元(gated recurrent unit,GRU),作为编码器的递归分量来学习历史信息代表性;改进了传统的GRU作为解码器的递归分量以生成插补值;并提出了一种状态初始化方法以缓解生成序列中的误差累积现象。在两组真实的临床数据集上进行了仿真实验。实验结果表明,相比于其他算法,SISSM可以更好地实现多变量时间序列的缺失数据插补。

较短的长序列时间序列预测模型

针对现有的研究大多将短序列时间序列预测和长序列时间序列预测分开研究而导致模型在较短的长序列时序预测时精度较低的问题,提出一种较短的长序列时间序列预测模型(SLTSFM)。首先,利用卷积神经网络(CNN)和PBUSM(Probsparse Based on Uniform Selection Mechanism)自注意力机制搭建一个序列到序列(Seq2Seq)结构,用于提取长序列输入的特征;其次,设计“远轻近重”策略将多个短序列输入特征提取能力较强的长短时记忆(LSTM)模块提取的各时段数据特征进行重分配;最后,用重分配的特征增强提取的长序列输入特征,提高预测精度并实现时序预测。利用4个公开的时间序列数据集验证模型的有效性。实验结果表明,与综合表现次优的对比模型循环门单元(GRU)相比,SLTSFM的平均绝对误差(MAE)指标在4个数据集上的单变量时序预测分别减小了61.54%、13.48%、0.92%和19.58%,多变量时序预测分别减小了17.01%、18.13%、3.24%和6.73%。由此可见SLTSFM在提升较短的长序列时序预测精度方面的有效性。

基于序列到序列模型的抽象式中文文本摘要研究

[目的/意义]为更好地处理文本摘要任务中的未登录词(out of vocabulary, 00V ),同时避免摘要重复,提高文本摘要的质量,本文以解决00V问题和摘要自我重复问题为研究任务,进行抽象式中文文本摘要研究。[方法/过程]在序列到序列(sequence to sequence, seq2seq)模型的基础上增加指向生成机制和覆盖处理机制,通过指向生成将未登录词拷贝到摘要中以解决未登录词问题,通过覆盖处理避免注意力机制(attentionmechanism)反复关注同一位置,以解决重复问题。将本文方法应用到LCSTS中文摘要数据集上进行实验,检验模型效果。[结果/结论]实验结果显示,该模型生成摘要的ROUGE ( recall -oriented understudy for gisting evaluation)分数高于传统的seq2seq模型以及抽取式文本摘要模型,表明指向生成和覆盖机制能够有效解决未登录词问题和摘要重复问题,从而显著提升文本摘要质量。

基于序列到序列模型的法律问题关键词抽取

传统的关键词抽取算法不能够抽取那些没有在文本当中出现过的关键词,因此在抽取法律问题(短文本)的关键词任务上效果不佳。该文提出了一种基于强化学习的序列到序列(seq2seq)模型来从法律问题中抽取关键词。首先,编码器将给定法律问题文本的语义信息压入一个密集矢量;然后,解码器自动生成关键词。因为在关键词抽取任务中,生成的关键词的前后顺序无关紧要,所以引入强化学习来训练所提出的模型。该模型结合了强化学习在决策上的优势和序列到序列模型在长期记忆方面的优势,在真实数据集上的实验结果表明,该模型在关键词抽取任务上有较好的效果。

基于二维CTC和注意力序列的场景文本识别模型

为提高当前场景文本识别算法在自然场景下识别不规则文本和中文文本的准确率,提出了一种基于二维(2D)CTC和注意力机制序列的自然场景文本识别模型。该模型分为编码部分和解码部分,利用二维CTC自适应地关注文本的空间位置信息,同时排除背景噪声的影响。通过在ICDAR数据集上的实验结果表明,对比CTC和Seq2Seq的模型,提高了对不规则文本和中文文本识别的准确率,同时加快了收敛速度。

基于改进Seq2Seq的短时AIS轨迹序列预测模型

采用深度学习进行船舶轨迹序列预测对于智能航运具有重要意义。船舶自动识别系统(Automatic Identification System,AIS)蕴藏着大量船舶轨迹特征,基于AIS数据预测船舶轨迹是近年智能航运研究的热点之一。文中提出了一种基于改进Seq2Seq的短时AIS轨迹序列预测模型,该模型使用门控循环单元网络将历史时空序列编码为一个上下文向量,用以保留轨迹空间点间的时序关系,同时缓解梯度下降的问题。通过使用门控循环单元网络作为解码器来预测船舶轨迹的时空序列。实验采用了大规模真实船舶AIS数据,选取两类典型河段(重庆弯曲河段和武汉顺直河段)为实验区域,以评估和验证模型的有效性和适用性。实验证明,该模型能够有效提高短时轨迹序列预测的准确性和效率,为智能航船碰撞预警提供了一种有效可行的方法。