基于双输入序列到序列模型的井眼轨迹实时智能预测方法

准确预测井眼轨迹是井眼轨迹控制的基础,对提高钻井效率极为重要,但影响井眼轨迹变化的因素众多,且井下力学行为复杂,使井眼轨迹难以准确预测,为此,提出了一种双输入序列到序列模型(Di-S2S)。该模型考虑了钻压、钻速等时序特征以及钻进方式、地层分层、钻具组合等非时序特征,应用自然语言处理方法对非时序特征进行了数值化和降维表征,基于增量训练建立了模型动态更新机制。使用12口井数据进行了模型训练与验证,并与LSTM和BP模型进行了对比,结果显示,井斜角平均绝对误差分别较LSTM和BP模型降低49%和8%,方位角平均绝对误差分别较LSTM和BP模型降低了49%和24%。动态更新模型的井斜角和方位角平均绝对误差较离线模型分别降低了61%和67%,均低于0.2°,表明该模型精度较高,具备实时预测能力,可为导向钻井提供一定技术支撑。

基于序列到序列模型的生成式文本摘要研究综述

相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综述了编码、解码、训练等方面的研究工作,并对这些工作进行了比较和讨论,在此基础上总结出该领域未来研究的若干技术路线和发展方向。

基于序列到序列模型的代码片段推荐

在软件开发过程中,开发者经常会以复用代码的方式,提高软件开发效率。已有的研究通常采用传统的信息检索技术来实现代码推荐。这些方法存在自然语言查询的高层级的意图与代码的低层级的实现细节不匹配的问题。提出了一种基于序列到序列模型的代码片段推荐方法DeepCR。该方法结合程序静态分析技术与序列到序列模型,训练自然语言查询生成模型,为代码片段生成查询,通过计算生成的查询和开发者输入的自然语言查询的相似度得分来实现代码片段推荐。所构建的代码库的数据来源于Stack Overflow问答网站,确保了数据的真实性。通过计算代码片段推荐结果的平均倒数排名(MRR)和Hit@K来验证方法的有效性。实验结果表明,DeepCR优于现有研究工作,能够有效提高代码片段推荐效果。

基于序列到序列模型的无监督文本简化方法

训练基于序列到序列(seq2seq)的文本简化模型需要大规模平行语料库,但是规模较大且标注质量较好的语料却难以获得。为此,提出一种无监督文本简化方法,使模型的学习仅需要无标注的复杂句和简单句语料。首先,利用去噪自编码器(denoising autoencoder)分别从简单句语料和复杂句语料中学习,获取简单句的自编码器和复杂句的自编码器;然后,组合两个自编码器形成初始的文本简化模型和文本复杂化模型;最后,利用回译策略(back-translation)将无监督文本简化问题转换为监督问题,不断迭代优化文本简化模型。通过在标准数据集上的实验验证,该方法在通用指标BLEU和SARI上均优于现有无监督模型,同时在词汇级别和句法级别均有简化效果。

基于序列到序列模型的观点核心信息抽取

方面项和观点项的成对抽取是基于方面的情感分析中的一个子任务,旨在从评论句中提取出观点核心信息。现有的方法需要对数据进行大量复杂的标注或者会产生大量的负样本,耗费大量人力且计算代价过大,为解决该问题,将方面-观点项对的抽取任务转换为文本生成任务,提出了一种基于序列到序列模型(Seq2Seq)的端到端生成框架来生成方面-观点项对的方法,在所提出的框架中将大型预训练模型BART的编码器和解码器作为Seq2Seq模型的编码器和解码器,在解码时结合指针机制直接生成方面-观点词对序列。提出的模型在15res数据集上的F1值为77.31%,比最佳的基线模型提升了3.74%。实验结果表明,提出的模型在3个数据集上均优于其他基线模型。

一种基于序列到序列模型的时间序列插补

多变量时间序列通常包含缺失值。针对如何利用不完整的信息探索复杂的丢失模式进而修复多变量时间序列的丢失值,提出了连续初始化的序列到序列模型(successively initialized sequence-to-sequence model,SISSM)。在SISSM模型中,为了增强对时间依赖性和变量相关性的模拟能力,设计了交叉回归器并结合门控递归单元(gated recurrent unit,GRU),作为编码器的递归分量来学习历史信息代表性;改进了传统的GRU作为解码器的递归分量以生成插补值;并提出了一种状态初始化方法以缓解生成序列中的误差累积现象。在两组真实的临床数据集上进行了仿真实验。实验结果表明,相比于其他算法,SISSM可以更好地实现多变量时间序列的缺失数据插补。

基于序列到序列模型的文本到信息框生成的研究

本文展示了一种序列到序列的模型(Seq2Seq)来基于文本生成信息框(Infobox),信息框指的是一组"属性-值"对。该模型以端到端的方式工作,可利用一个编码器将一个文本段落表示成一个隐向量序列,然后通过解码器来生成信息框。本文在WIKIBIO数据集上进行实验。研究提出的序列到序列模型取得了58.2的F1值,该结果比流水线式的基准方法显著提升了21.0个百分点。实验结果表明,本模型具有以生成序列的方式来生成"属性-值"对的能力。引入注意力与拷贝机制可以提升模型的准确率。更重要的是,研究观察到该拷贝机制有能力从输入文本中拷贝稀有词来生成目标端信息框中的"值"。

基于序列到序列模型的抽象式中文文本摘要研究

[目的/意义]为更好地处理文本摘要任务中的未登录词(out of vocabulary, 00V ),同时避免摘要重复,提高文本摘要的质量,本文以解决00V问题和摘要自我重复问题为研究任务,进行抽象式中文文本摘要研究。[方法/过程]在序列到序列(sequence to sequence, seq2seq)模型的基础上增加指向生成机制和覆盖处理机制,通过指向生成将未登录词拷贝到摘要中以解决未登录词问题,通过覆盖处理避免注意力机制(attentionmechanism)反复关注同一位置,以解决重复问题。将本文方法应用到LCSTS中文摘要数据集上进行实验,检验模型效果。[结果/结论]实验结果显示,该模型生成摘要的ROUGE ( recall -oriented understudy for gisting evaluation)分数高于传统的seq2seq模型以及抽取式文本摘要模型,表明指向生成和覆盖机制能够有效解决未登录词问题和摘要重复问题,从而显著提升文本摘要质量。

基于序列到序列模型的法律问题关键词抽取

传统的关键词抽取算法不能够抽取那些没有在文本当中出现过的关键词,因此在抽取法律问题(短文本)的关键词任务上效果不佳。该文提出了一种基于强化学习的序列到序列(seq2seq)模型来从法律问题中抽取关键词。首先,编码器将给定法律问题文本的语义信息压入一个密集矢量;然后,解码器自动生成关键词。因为在关键词抽取任务中,生成的关键词的前后顺序无关紧要,所以引入强化学习来训练所提出的模型。该模型结合了强化学习在决策上的优势和序列到序列模型在长期记忆方面的优势,在真实数据集上的实验结果表明,该模型在关键词抽取任务上有较好的效果。

基于改进Seq2Seq的短时AIS轨迹序列预测模型

采用深度学习进行船舶轨迹序列预测对于智能航运具有重要意义。船舶自动识别系统(Automatic Identification System,AIS)蕴藏着大量船舶轨迹特征,基于AIS数据预测船舶轨迹是近年智能航运研究的热点之一。文中提出了一种基于改进Seq2Seq的短时AIS轨迹序列预测模型,该模型使用门控循环单元网络将历史时空序列编码为一个上下文向量,用以保留轨迹空间点间的时序关系,同时缓解梯度下降的问题。通过使用门控循环单元网络作为解码器来预测船舶轨迹的时空序列。实验采用了大规模真实船舶AIS数据,选取两类典型河段(重庆弯曲河段和武汉顺直河段)为实验区域,以评估和验证模型的有效性和适用性。实验证明,该模型能够有效提高短时轨迹序列预测的准确性和效率,为智能航船碰撞预警提供了一种有效可行的方法。

基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法

中文拼写纠错是一项检测和纠正文本中拼写错误的任务。大多数中文拼写错误是在语义、读音或字形上相似的字符被误用,因此常见的做法是对不同模态提取特征进行建模。但将不同特征直接融合或是利用固定权重进行求和,使得不同模态信息之间的重要性关系被忽略以及模型在识别错误时会出现偏差,阻止了模型以有效的方式学习。为此,提出了一种新的模型以改善这个问题,称为基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法。该方法使用文本序列错误概率作为动态权重、中文常见拼写错误概率作为固定权重,对语义、读音和字形信息进行了高效融合。模型能够合理控制不同模态信息流入混合模态表示,更加针对错误发生处进行学习。在SIGHAN基准上进行的实验表明,所提模型的各项评估分数在不同数据集上均有提升,验证了该算法的可行性。

基于知识迁移和双向异步序列的对话生成模型

针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练的知识库问答模型获取输入语句的知识表达、候选知识表达以及关键字;搭建2个编码器-解码器结构,通过双向异步解码将关键字显式地生成在对话回复中;编、解码阶段均引入预训练模型的知识理解和知识表达能力,提升对话生成对知识信息的捕捉能力.提出重复检测惩罚机制,通过赋予惩罚权重的方式减少对话生成中的重复词汇.实验结果表明,所提模型在自动评估和人工评价指标上均优于已有的对话生成方法.

一种面向新闻文本的生成式中文摘要生成模型

生成技术旨在解决海量中文文本所带来的信息过载和冗余问题,以提高信息传播效率和方便读者获取信息。在序列到序列深度模型基础上,提出了一种引入对比学习的中文摘要生成模型SimCLCTS (Simple Model for Contrastive Learning of Chinese Text Summarization)。SimCLCTS通过在模型中增加以对比损失函数为特征的无监督评估模块,弥补了序列到序列模型中学习目标和评价指标不一致导致的暴露偏差问题。对比实验表明,该模型减少了暴露偏差量,在面向新闻类的中文文本摘要生成中取得了良好效果。

带场景信息的新结构Seq2Seq模型研究

目前存在许多不同结构的深度学习模型适用于不同领域的时间序列分析任务,其中之一是序列到序列(Seq2Seq)模型。经典的Seq2Seq模型一般由基于循环神经网络的编码器和解码器组成,其能对时序数据在时间维度上的变化规律进行建模。为了进一步提升模型拟合时间序列的效果,在经典的Seq2Seq模型的基础上提出了三项改进。第1项改进旨在引入外部信息,第2项改进旨在提升模型的学习能力,第3项改进旨在减小模型拟合存在较大数量级变化的序列的误差。在某企业对企业服务的成交总额数据集上进行了实验,结果是这3项改进都能提升模型拟合的效果,且同时使用3项改进的提升比只用任何1项的效果好。可得出结论,所提改进能够提升Seq2Seq模型拟合有外部信息,结构复杂,且存在较大数量级变化的时间序列的效果。

基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法

针对现有基于深度神经网络的代码缺陷检测方法无法分析缺陷特征并输出相关评审建议的问题,提出一种基于大感知域LSTM-Seq2Seq模型的代码缺陷检测方法。首先,使用长短期记忆网络(LSTM,long short-term memory)学习缺陷代码的编码特征,建立缺陷判别模型。其次,针对模型与数据集不匹配的问题,向序列到序列模型(Seq2Seq,sequence to sequence)引入代码段长度系数,提升模型对代码评审任务的适用度;通过建立代码缺陷特征与评审建议特征间的映射关系建立了代码分析模型,实现评审输出功能。最后,利用公开数据集SARD对该方法进行了验证,该方法在准确率、召回率、F1值方面的测试结果分别为92.50%、87.20%、87.60%,典型代码缺陷输出的评审文本与专家评审的文本相似度为85.99%,可有效减少评审过程对专家经验的依赖。

一种情感可控的古诗自动生成模型

古诗是中华民族重要的非物质文化遗产,使用计算机实现古诗的自动生成已成为一个热门的研究课题,但现有的古诗生成方法在生成诗句与主题的关联性上表现不佳且无法控制情感的表达。为解决这些问题,文中基于序列到序列(Seq2Seq)模型,提出一种通过关键字和情感分类词共同控制绝句诗生成的方法。具体实现过程分为两个阶段:首先使用TextCNN和TextRank算法分别对收集的古诗进行情感分类和关键字提取,自行构建实验数据集;其次针对古诗主题与情感表达不准确的问题,引入带注意力机制的Seq2Seq模型,在模型的编码端和译码端使用门控神经单元(GRU),通过4个关键字和情感分类词控制最终绝句诗的生成,并在生成阶段使用集束搜索代替传统的贪心搜索来增加生成古诗的多样性。对比实验结果表明,所提方法生成绝句诗的效果在自动评价和人工评价上均优于基准模型,对于内容与情感的表达更加准确和有效。

融合卷积收缩门控的生成式文本摘要方法

在深度学习技术的推动下,基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一,尤其在生成式文本摘要任务中取得显著效果。然而,现有的采用循环神经网络的模型存在并行能力不足和时效低下的局限性,无法充分概括有用信息,忽视单词与句子间的联系,易产生冗余重复或语义不相关的摘要。为此,提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器,提取不同层次的文本表征得到上下文编码,采用卷积收缩门控单元调整编码权重,强化全局相关性,去除无用信息的干扰,过滤后得到最终的编码输出,并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式预训练Transformer(GPT)的解码模块3种不同的解码器,加强编码器与解码器的关联,以此探索能生成高质量摘要的模型结构。在LCSTS和CNNDM数据集上的实验结果表明,相比主流基准模型,设计的TCSG、ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0,验证了该方法的有效性和可行性。

Seq2Seq模型的短期水位预测

为有效预测未来一定时间内的连续水位,提出了基于序列到序列(Seq2Seq)的短期水位预测模型,并使用一个长短期记忆神经网络(LSTM)作为编码层,将历史水位序列编码为一个上下文向量,使用另一个LSTM作为解码层,将上下文向量解码来预测目标水位序列。以流溪河为研究对象,针对不同预测长度分别建立水位预测模型,并与LSTM模型和人工神经网络(ANN)模型进行了对比。结果表明:Seq2Seq模型对连续6 h、12 h和24 h水位预测的纳什效率系数最高分别为0.93、0.90和0.85;当预测长度为6 h时,LSTM和Seq2Seq模型预测结果相似,ANN模型精度较低;当预测长度为12 h和24 h时,Seq2Seq模型相比LSTM模型和ANN模型预测效果更好,收敛速度更快。

基于无监督预训练的跨语言AMR解析

抽象语义表示AMR是将给定文本的语义特征抽象成一个单根的有向无环图。由于缺乏非英文语言的AMR数据集,跨语言AMR解析通常指给定非英文目标语言文本,构建其英文翻译对应的AMR图。目前跨语言AMR解析的相关工作均基于大规模英文-目标语言平行语料或高性能英文-目标语言翻译模型,通过构建(英文,目标语言和AMR)三元平行语料进行目标语言的AMR解析。与该假设不同的是,本文探索在仅具备大规模单语英文和单语目标语言语料的情况下,实现跨语言AMR解析。为此,提出基于无监督预训练的跨语言AMR解析方法。具体地,在预训练过程中,融合无监督神经机器翻译任务、英文和目标语言AMR解析任务;在微调过程中,使用基于英文AMR 2.0转换的目标语言AMR数据集进行单任务微调。基于AMR 2.0和多语言AMR测试集的实验结果表明,所提方法在德文、西班牙文和意大利文上分别获得了67.89%,68.04%和67.99%的Smatch F1值。

基于注意力机制的泊位占有率预测模型研究

为解决泊位占有率的预测精度随步长增加而下降的问题,提出了一种基于注意力机制的泊位占有率预测模型。通过卷积神经网络获得多变量的时间模式信息作为模型的注意力机制。通过对模型训练、学习特征信息,并对相关性高的序列分配较大的学习权重,来实现解码器输出高度相关的有用特征预测目标序列。应用多个停车场数据集对模型进行测试,测试结果及对比分析表明,所提模型在步长达到36时对泊位占有率的预测数据能较好地估计真实值,预测精度和稳定性相比LSTM均有提高。