一种融合主题的PGN-GAN文本摘要模型

为了改进生成式文本的摘要模型,本文提出了一种基于主题的生成对抗与指针网络结合的文本摘要模型.首先通过LDA主题建模方法获取主题词,在获取单词的主题向量后,将结合主题的词向量与传统的序列注意力相结合,形成新的复合注意力共同影响单词的生成,然后通过加入生成对抗网络以在指针生成网络上取得了更好的效果.实验采用gigaword数据集进行训练,采用ROUGE评分机制进行评分,结果证明由于融入主题因素,相比单独采用指针网络我们的模型提升了摘要结果的可读性及准确性,具有更好的表现.

融合关键信息的PGN文本主题句生成方法

针对现有模型无法充分理解上下文和同时解决不同类型文本主题句自动生成以及生成重复内容的难题,对一种融合关键信息的PGN文本主题句生成方法进行研究。融合句子情感倾向加权特征和TextRank迭代算法筛选关键句;根据不同文本类型进行参数自动配置,利用BERT预训练语言模型对获取的关键句进行向量化表征并输入到融合coverage复制机制的指针生成网络模型中生成主题句;采用后处理技术对生成的主题句内容和长度进行检测与修正得到最终主题句。在公开数据集LCSTS上的实验结果表明,所提模型可以更充分地理解原文并有效减少重复内容的生成,它的Rouge-1和Rouge-L值均高于基线模型。

基于BERT-PGN模型的中文新闻文本自动摘要生成

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。

基于IF-PGN模型的短文本摘要生成

针对以往提出的模型生成的摘要准确性不够,且含有过多冗余信息的问题,提出一种生成式文本摘要模型--信息过滤-指针生成网络。该模型对神经网络编码解码结构进行扩展,引入信息过滤网络和指针生成网络,可以有效地捕获原文信息,免于无效信息的影响,且让指针网络的复制概率更加准确,生成的摘要内容更加丰富、连贯。在CNN/Ddily Mail数据集上的实验结果表明, ROUGE指标有明显提升。

基于PGN-CL的文本摘要生成模型

基于Seq2Seq框架的生成式文本摘要模型取得了不错的研究进展,但此类模型大多存在未登录词、生成文本重复、曝光偏差问题。为此,本文提出基于对抗性扰动对比学习的指针生成器网络PGN-CL来建模文本摘要生成过程,该模型以指针生成器网络PGN为基本架构,解决摘要模型存在的未登录词和生成文本重复的问题;采用对抗性扰动对比学习作为一种新的模型训练方式来解决曝光偏差问题。在PGN模型的训练过程中,通过向目标序列添加扰动并建立对比损失函数来生成对抗性正负样本,使负样本与目标序列在嵌入空间相似但语义差别很大,正样本与目标序列在语义空间很相近但嵌入空间差距较大,这些区分困难的正负样本可以引导PGN模型在特征空间更好地学习到正负样本的区分特征,获得更准确的摘要表示。在LCSTS数据集上的实验结果表明,提出的模型在ROUGE评价指标上的表现优于对比基线,证明了融合指针生成器网络和对抗性扰动对比学习对摘要质量提升的有效性。

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

基于交互引导的问答对联合生成模型

大规模问答对的自动生成在知识问答库构建和机器阅读理解等许多应用具有关键价值.尽管其重要性已得到广泛认可,现有问答对生成方法仍面临着严峻挑战.首先,在传统的问答对生成模型中,抽取式的答案获取方法难以适用于复杂的自然交互场景.相比较而言,生成式模型通过对文本的语义理解,能够自动生成表述更加自然的答案.其次,对于问答对生成任务来说,为了防止生成的答案和问题出现语义上的不匹配,需要更全面地捕捉并增强答案生成和问题生成两个子任务之间的交互.最后,由于答案抽取和问题生成存在任务难度的差异,这两个任务在联合训练的过程中会出现任务之间的优化不平衡问题.为此,本文提出了一个基于交互引导的问答对联合生成模型(Interaction-Guided Joint Abstractive QAPs Generation Model,IGJA-QAP).具体而言,本文设计了一个带有答案引导的多头门机制的联合生成模型,同时对两个子任务进行统一建模并有效地捕获和增强它们之间的信息交互,从而可以生成语义上匹配的问答对.本文在三个大规模数据集SQuAD、NewQA和CoQA上进行了综合全面的实验分析.本文提出的模型在答案生成任务上METEOR值平均分别超出其他最佳方法3.0%、5.9%和4.3%,问题生成任务上METEOR值平均分别超出其他最佳方法1.5%、0.5%和2.1%.实验结果表明,本文提出的模型达到了目前最高的性能.

基于BERT模型的生成式自动文本摘要

随着深度学习的不断发展,预训练语言模型在自然语言处理领域已经取得了良好的效果。当然,自动文本摘要作为自然语言处理领域的重要研究方向之一也得益于大规模预训练语言模型。尤其在生成式文本摘要方面,利用大规模预训练语言模型,生成一段能较为准确地反映原文主旨信息的摘要。但是目前的研究还存在一些问题,比如对原文档的语义信息了解不够充分,无法对多义词进行有效表征,生成的摘要存在重复内容,且逻辑性不强等。为了缓解上述问题,论文基于BERT预训练语言模型提出一种新的生成式文本摘要模型TextRank-BERT-PGN-Coverage(TBPC)。该模型利用经典的Encoder-Decoder框架,预训练权重并生成摘要。该实验采用CNN/Daily Mail数据集作为实验所用数据集,实验结果表明,与该领域目前已有的研究结果相比,论文提出的模型取得了较好的实验效果。

基于指针生成网络和扩展Transformer的多属性可控文本摘要模型

模型可以生成符合用户偏好的摘要.之前的摘要模型侧重于单独控制某个属性,而不是多个属性的组合.传统的Seq2Seq多属性可控文本摘要模型在满足多个控制属性时,存在无法整合所有控制属性、无法准确再现文本中关键信息和无法处理单词表外单词等问题.为此,本文提出了一种基于扩展Transformer和指针生成网络(pointer generator network,PGN)的模型.模型中的扩展Transformer将Transformer单编码器-单解码器的模型形式扩展成具有双重文本语义信息提取的双编码器和单个可融合指导信号特征的解码器形式.然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表生成新的摘要信息,以解决摘要任务中常出现的OOV(out of vocabulary)问题.此外,为高效完成位置信息编码,模型在注意力层中使用相对位置表示来引入文本的序列信息.模型可以用于控制摘要的许多重要属性,包括长度、主题和具体性等.通过在公开数据集MACSum上的实验表明,相较以往方法,本文提出的模型在确保摘要质量的同时,更加符合用户给定的属性要求.

基于改进指针生成网络的文本摘要

随着人们每天接收的消息越来越多,能够短时高效地找到自己想要的内容,获取想要的信息是提升自己的关键,因此文本摘要变得必不可少。人工生成文章的摘要是一项费时费力的任务,自动生成可读性高、流畅性强的摘要变得很有必要。摘要生成有很多方法,又分为抽取式摘要和生成式摘要。指针生成网络因为其能有效解决未登录词的问题,仍然是一种非常流行的文本摘要方法。在我们的工作中,仍然使用传统的指针生成网络为基本框架,引入Transformer中的编码器部分作为预处理,提升编码质量;另外,引入未登录词惩罚来提高生成摘要文本的新颖性。实验结果表明,该模型在NLPCC数据集上取得了良好的效果。

先验知识指导生成虚拟样本在指针式仪表识别上的应用

为解决现有指针式仪表识别方法依赖于预处理的有效性且泛化能力不足的问题,提出一种基于深度卷积神经网络与虚拟样本结合的识别方法.该方法利用深度卷积神经网络自适应地提取仪表图像关键特征,避免无关信息的干扰;采用先验知识构建指针式仪表虚拟样本生成模型,解决深度卷积神经网络面临的小样本难题.仿真数据、实验数据和现场实际应用结果表明,文中方法是可行有效的,且比传统的指针定位方法识别效果更好,尤其在更换仪表、局部信息缺失等复杂情况下具有很好的鲁棒性.

基于指针网络的抽取生成式摘要生成模型

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词(OOV)问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。

基于混合过滤编码的神经中文生成式摘要

在神经生成式摘要任务中,由于输入文档与参考摘要之间不存在显式的对齐关系,通常会导致重复生成相同单词的问题以及生成的摘要与输入文档语义不相关、准确性低的问题.为更好解决该问题,提出了混合过滤编码网络(HFEN)并在HFEN中集成混合过滤编码机制(HFEM)、注意力机制、指针生成器.HFEM分为管道过滤编码机制(PFEM)、特征融合过滤编码机制(FFFEM).其中,FFFEM具体通过添加特征融合层实现.在中文摘要领域基准数据集(LCSTS)上的实验结果表明:HFEN相较于基线模型生成了准确性更高、重复单词更少的摘要,ROUGE指标有较大提升.

基于指针生成网络的代码注释自动生成模型

代码注释在软件质量保障中发挥着重要的作用,它可以提升代码的可读性,使代码更易理解、重用和维护.但是出于各种各样的原因,有时开发者并没有添加必要的注释,使得在软件维护的过程中,往往需要花费大量的时间来理解代码,大大降低了软件维护的效率.近年来,多项工作利用机器学习技术自动生成代码注释,这些方法从代码中提取出语义和结构化信息后,输入序列到序列的神经网络模型生成相应的注释,均取得了不错的效果.然而,当前最好的代码注释生成模型Hybrid-DeepCom仍然存在两方面的不足.一是其在预处理时可能破坏代码结构导致不同实例的输入信息不一致,使得模型学习效果欠佳;二是由于序列到序列模型的限制,其无法在注释中生成词库之外的单词(out-of-vocabulary word,简称OOV word).例如在源代码中出现次数极少的变量名、方法名等标识符通常都为OOV词,缺少了它们,注释将难以理解.为解决上述问题,提出了一种新的代码注释生成模型CodePtr.一方面,通过添加完整的源代码编码器解决代码结构被破坏的问题;另一方面,引入指针生成网络(pointer-generator network)模块,在解码的每一步实现生成词和复制词两种模式的自动切换,特别是遇到在输入中出现次数极少的标识符时模型可以直接将其复制到输出中,以此解决无法生成OOV词的问题.最后,在大型数据集上通过实验对比了CodePtr和Hybrid-DeepCom模型,结果表明,当词库大小为30000时,CodePtr的各项翻译效果指标平均提升6%,同时,处理OOV词的效果提升近50%,充分说明了CodePtr模型的有效性.

面向法律文书的分段式摘要模型

是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低。基于预训练模型和Transformer结构的文档级句子编码器,提出一种结合内容抽取与摘要生成的分段式摘要模型。采用BERT模型对大量语料进行自监督学习,获得包含丰富语义信息的词表示。基于Transformer结构,通过全连接网络分类器将每个句子分成3类标签,抽取每句摘要对应的原文句子集合。利用指针生成器网络对原文句子集合进行压缩,将多个句子集合生成单句摘要,缩短输出序列和输入序列的长度。实验结果表明,相比直接生成摘要全文,该模型在生成句子上ROUGE-1、ROUGE-2和ROUGE-L的F1平均值提高了1.69个百分点,能够有效提高生成句子的准确率。

基于指针生成网络的中文对话文本摘要模型

针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network,PGN)模型,且该模型结合了抽取式和生成式两种文本摘要方法.模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量,然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息,以解决文本摘要任务中常出现的OOV(out of vocabulary)问题,同时模型使用覆盖机制来追踪过去时间步的注意力分布,动态的调整单词的重要性,解决了重复词问题,最后,在解码阶段引入了Beam Search优化算法,使得解码器能够获得更加准确的摘要结果.实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行,结果表明本文提出的FastformerPGN模型在中文文本摘要任务中达到的效果要优于基准模型,具有更好的效果.

一种用于代码注释自动生成的语法辅助复制机制

现有代码注释生成方法的复制机制未考虑源代码复杂多变的语法结构,导致存在准确率和鲁棒性不高等问题。通过改进指针网络使其支持结构化数据输入,提出一种语法辅助复制机制,以用于代码注释自动生成。该机制包含节点筛选策略和去冗余生成策略2个部分。节点筛选策略基于语法信息引入掩盖变量以过滤无效节点,从而降低指针网络对复杂语法的学习成本。去冗余生成策略基于时间窗口对节点概率进行动态调整,可解决代码自动注释中关键信息缺失的问题。实验结果表明,在WikiSQL数据集上,相比基准方法,该机制的BLEU、ROUGE-2和ROUGE-L指标值分别提升14.5%、10.3%和5.5%,在ATIS数据集上,上述指标值分别提升2.8%、6.6%和2.5%,验证了该机制的有效性以及引入语法信息的必要性。

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖(OOV)的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。

融合关键信息的科技文献创新点生成方法

相较传统的阅读方式,利用摘要生成等技术生成文献的创新点存在正确性低、事实准确性差、与原文的关键信息有偏差等问题。据此,提出一种融合关键信息的科技文献创新点生成方法,在该领域构建一个中文长文本-生成创新点语料库,提出一个领域知识抽取方法,用实体知识指导原文内容的选择,利用指针生成网络生成最终的创新点。实验结果表明,该方法在Rouge分数上均优于主流方法,生成的创新点具有更好的正确性和事实准确性。

基于双注意力的段落级问题生成研究

段落级问题生成是指从给定的段落中生成一个或多个与之相关的问题。目前的研究主要使用序列到序列的神经网络最大程度地利用段落信息,但这种方法存在冗余信息干扰、无法聚焦重点句子的问题。针对上述问题,该文提出了一种基于双注意力的段落级问题生成模型。该模型首先对段落和答案所在句子分别使用注意力机制,然后利用门控机制动态地分配权重并融合上下文信息,最后利用改进的指针生成网络结合上下文向量和注意力分布来生成问题。实验结果表明,该模型在SQuAD数据集上比现有主流模型具有更高的性能。