基于指针生成网络和扩展Transformer的多属性可控文本摘要模型

模型可以生成符合用户偏好的摘要.之前的摘要模型侧重于单独控制某个属性,而不是多个属性的组合.传统的Seq2Seq多属性可控文本摘要模型在满足多个控制属性时,存在无法整合所有控制属性、无法准确再现文本中关键信息和无法处理单词表外单词等问题.为此,本文提出了一种基于扩展Transformer和指针生成网络(pointer generator network,PGN)的模型.模型中的扩展Transformer将Transformer单编码器-单解码器的模型形式扩展成具有双重文本语义信息提取的双编码器和单个可融合指导信号特征的解码器形式.然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表生成新的摘要信息,以解决摘要任务中常出现的OOV(out of vocabulary)问题.此外,为高效完成位置信息编码,模型在注意力层中使用相对位置表示来引入文本的序列信息.模型可以用于控制摘要的许多重要属性,包括长度、主题和具体性等.通过在公开数据集MACSum上的实验表明,相较以往方法,本文提出的模型在确保摘要质量的同时,更加符合用户给定的属性要求.

基于改进指针生成网络的文本摘要

随着人们每天接收的消息越来越多,能够短时高效地找到自己想要的内容,获取想要的信息是提升自己的关键,因此文本摘要变得必不可少。人工生成文章的摘要是一项费时费力的任务,自动生成可读性高、流畅性强的摘要变得很有必要。摘要生成有很多方法,又分为抽取式摘要和生成式摘要。指针生成网络因为其能有效解决未登录词的问题,仍然是一种非常流行的文本摘要方法。在我们的工作中,仍然使用传统的指针生成网络为基本框架,引入Transformer中的编码器部分作为预处理,提升编码质量;另外,引入未登录词惩罚来提高生成摘要文本的新颖性。实验结果表明,该模型在NLPCC数据集上取得了良好的效果。

基于指针生成网络的中文对话文本摘要模型

针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network,PGN)模型,且该模型结合了抽取式和生成式两种文本摘要方法.模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量,然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息,以解决文本摘要任务中常出现的OOV(out of vocabulary)问题,同时模型使用覆盖机制来追踪过去时间步的注意力分布,动态的调整单词的重要性,解决了重复词问题,最后,在解码阶段引入了Beam Search优化算法,使得解码器能够获得更加准确的摘要结果.实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行,结果表明本文提出的FastformerPGN模型在中文文本摘要任务中达到的效果要优于基准模型,具有更好的效果.

PGNFuzz:基于指针生成网络的工业控制协议模糊测试框架

工业安全问题一直是重要而紧迫的全球性问题,工控协议被广泛应用于工业控制系统(Industrial Control System, ICS)组件之间的通信,其安全性关系到整个系统的安全稳定运行,迫切需要保证所有工控协议的安全。网络协议模糊测试对保证ICS的安全性和可靠性起着重要的作用,传统的模糊测试方法提高了工控协议的安全性,其中许多方法具有实际应用价值。然而,传统的模糊测试方法严重依赖于工控协议的规范,使得测试过程昂贵、耗时、麻烦和枯燥,如果规范不存在,任务就很难进行。因此,文中提出了一种基于指针生成网络(Pointer-Generator Networks, PGN)的智能且自动的协议模糊测试方法,并给出了一系列的性能指标。在此基础之上,设计了一个自动化智能应用模糊测试框架PGNFuzz,可用于各种工业控制协议。采用Modbus和EtherCAT等几种典型的工控协议对该框架的有效性和效率进行测试,实验结果表明,该方法在便捷性、有效性和效率方面均优于其他通用型模糊器(General Purpose Fuzzer, GPF)和其他基于深度学习的模糊测试方法。

基于指针网络的抽取生成式摘要生成模型

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词(OOV)问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。

基于指针生成网络的代码注释自动生成模型

代码注释在软件质量保障中发挥着重要的作用,它可以提升代码的可读性,使代码更易理解、重用和维护.但是出于各种各样的原因,有时开发者并没有添加必要的注释,使得在软件维护的过程中,往往需要花费大量的时间来理解代码,大大降低了软件维护的效率.近年来,多项工作利用机器学习技术自动生成代码注释,这些方法从代码中提取出语义和结构化信息后,输入序列到序列的神经网络模型生成相应的注释,均取得了不错的效果.然而,当前最好的代码注释生成模型Hybrid-DeepCom仍然存在两方面的不足.一是其在预处理时可能破坏代码结构导致不同实例的输入信息不一致,使得模型学习效果欠佳;二是由于序列到序列模型的限制,其无法在注释中生成词库之外的单词(out-of-vocabulary word,简称OOV word).例如在源代码中出现次数极少的变量名、方法名等标识符通常都为OOV词,缺少了它们,注释将难以理解.为解决上述问题,提出了一种新的代码注释生成模型CodePtr.一方面,通过添加完整的源代码编码器解决代码结构被破坏的问题;另一方面,引入指针生成网络(pointer-generator network)模块,在解码的每一步实现生成词和复制词两种模式的自动切换,特别是遇到在输入中出现次数极少的标识符时模型可以直接将其复制到输出中,以此解决无法生成OOV词的问题.最后,在大型数据集上通过实验对比了CodePtr和Hybrid-DeepCom模型,结果表明,当词库大小为30000时,CodePtr的各项翻译效果指标平均提升6%,同时,处理OOV词的效果提升近50%,充分说明了CodePtr模型的有效性.

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖(OOV)的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。

基于PGN-CL的文本摘要生成模型

基于Seq2Seq框架的生成式文本摘要模型取得了不错的研究进展,但此类模型大多存在未登录词、生成文本重复、曝光偏差问题。为此,本文提出基于对抗性扰动对比学习的指针生成器网络PGN-CL来建模文本摘要生成过程,该模型以指针生成器网络PGN为基本架构,解决摘要模型存在的未登录词和生成文本重复的问题;采用对抗性扰动对比学习作为一种新的模型训练方式来解决曝光偏差问题。在PGN模型的训练过程中,通过向目标序列添加扰动并建立对比损失函数来生成对抗性正负样本,使负样本与目标序列在嵌入空间相似但语义差别很大,正样本与目标序列在语义空间很相近但嵌入空间差距较大,这些区分困难的正负样本可以引导PGN模型在特征空间更好地学习到正负样本的区分特征,获得更准确的摘要表示。在LCSTS数据集上的实验结果表明,提出的模型在ROUGE评价指标上的表现优于对比基线,证明了融合指针生成器网络和对抗性扰动对比学习对摘要质量提升的有效性。

基于关键词与指针生成网络的摘要生成算法

为解决传统生成式模型在生成摘要的过程中会忽略关键词信息为摘要提供的重要线索,导致关键词信息的丢失,生成的摘要不能很好地契合原文信息,文章提出了一种以指针生成网络为骨架融合BERT预训练模型和关键词信息的摘要生成方法.首先,结合TextRank算法与基于注意力机制的序列模型进行关键词的提取,使得生成的关键词能够包含更多的原文信息.其次,将关键词注意力加入到指针生成网络的注意力机制里,引导摘要的生成.此外,我们使用双指针拷贝机制来替代指针生成网络的拷贝机制,提高拷贝机制的覆盖率.在LCSTS数据集上的结果表明,所设计的模型能够包含更多的关键信息,提高了摘要生成的准确性和可读性.

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

基于交互引导的问答对联合生成模型

大规模问答对的自动生成在知识问答库构建和机器阅读理解等许多应用具有关键价值.尽管其重要性已得到广泛认可,现有问答对生成方法仍面临着严峻挑战.首先,在传统的问答对生成模型中,抽取式的答案获取方法难以适用于复杂的自然交互场景.相比较而言,生成式模型通过对文本的语义理解,能够自动生成表述更加自然的答案.其次,对于问答对生成任务来说,为了防止生成的答案和问题出现语义上的不匹配,需要更全面地捕捉并增强答案生成和问题生成两个子任务之间的交互.最后,由于答案抽取和问题生成存在任务难度的差异,这两个任务在联合训练的过程中会出现任务之间的优化不平衡问题.为此,本文提出了一个基于交互引导的问答对联合生成模型(Interaction-Guided Joint Abstractive QAPs Generation Model,IGJA-QAP).具体而言,本文设计了一个带有答案引导的多头门机制的联合生成模型,同时对两个子任务进行统一建模并有效地捕获和增强它们之间的信息交互,从而可以生成语义上匹配的问答对.本文在三个大规模数据集SQuAD、NewQA和CoQA上进行了综合全面的实验分析.本文提出的模型在答案生成任务上METEOR值平均分别超出其他最佳方法3.0%、5.9%和4.3%,问题生成任务上METEOR值平均分别超出其他最佳方法1.5%、0.5%和2.1%.实验结果表明,本文提出的模型达到了目前最高的性能.

基于指针生成网络的标题生成方法

标题生成是文本摘要的一个主要应用,也是自然语言处理的一个重要研究方向。标题生成是为了应对文本信息的爆炸性增长以及人工生成标题存在的庸俗化、博眼球等问题而必然发展的场景。多样性与合理性是研究标题生成的核心问题之一,提供尽可能多的正向标题是标题生成的最终目的。本文介绍了如何应对标题生成中存在的未登录词问题与如何输出多个契合文本的标题的方法。

先验知识指导生成虚拟样本在指针式仪表识别上的应用

为解决现有指针式仪表识别方法依赖于预处理的有效性且泛化能力不足的问题,提出一种基于深度卷积神经网络与虚拟样本结合的识别方法.该方法利用深度卷积神经网络自适应地提取仪表图像关键特征,避免无关信息的干扰;采用先验知识构建指针式仪表虚拟样本生成模型,解决深度卷积神经网络面临的小样本难题.仿真数据、实验数据和现场实际应用结果表明,文中方法是可行有效的,且比传统的指针定位方法识别效果更好,尤其在更换仪表、局部信息缺失等复杂情况下具有很好的鲁棒性.

融合关键信息的PGN文本主题句生成方法

针对现有模型无法充分理解上下文和同时解决不同类型文本主题句自动生成以及生成重复内容的难题,对一种融合关键信息的PGN文本主题句生成方法进行研究。融合句子情感倾向加权特征和TextRank迭代算法筛选关键句;根据不同文本类型进行参数自动配置,利用BERT预训练语言模型对获取的关键句进行向量化表征并输入到融合coverage复制机制的指针生成网络模型中生成主题句;采用后处理技术对生成的主题句内容和长度进行检测与修正得到最终主题句。在公开数据集LCSTS上的实验结果表明,所提模型可以更充分地理解原文并有效减少重复内容的生成,它的Rouge-1和Rouge-L值均高于基线模型。

一种融合主题的PGN-GAN文本摘要模型

为了改进生成式文本的摘要模型,本文提出了一种基于主题的生成对抗与指针网络结合的文本摘要模型.首先通过LDA主题建模方法获取主题词,在获取单词的主题向量后,将结合主题的词向量与传统的序列注意力相结合,形成新的复合注意力共同影响单词的生成,然后通过加入生成对抗网络以在指针生成网络上取得了更好的效果.实验采用gigaword数据集进行训练,采用ROUGE评分机制进行评分,结果证明由于融入主题因素,相比单独采用指针网络我们的模型提升了摘要结果的可读性及准确性,具有更好的表现.

基于BERT-PGN模型的中文新闻文本自动摘要生成

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。

基于IF-PGN模型的短文本摘要生成

针对以往提出的模型生成的摘要准确性不够,且含有过多冗余信息的问题,提出一种生成式文本摘要模型--信息过滤-指针生成网络。该模型对神经网络编码解码结构进行扩展,引入信息过滤网络和指针生成网络,可以有效地捕获原文信息,免于无效信息的影响,且让指针网络的复制概率更加准确,生成的摘要内容更加丰富、连贯。在CNN/Ddily Mail数据集上的实验结果表明, ROUGE指标有明显提升。

融入领域知识的跨境民族文化生成式摘要方法

从跨境民族文化文本中生成具有领域知识的摘要对进一步开展跨境民族文化文本检索、问答等任务具有重要的支撑作用,当前基于深度学习的生成式文本摘要取得了较好的效果,但直接用于跨境民族文化文本摘要任务会导致生成的摘要出现领域词汇丢失的问题.为此,提出一种融入领域知识的跨境民族文化生成式摘要方法(Domain Knowledge-Culture-Generative Summary,DKCGS),在编码端将跨境民族文化领域词典编码与原文本编码融合,以此增强模型对领域词汇的表征能力;在解码端,基于指针生成网络将具有同义或跨境关系的领域词汇分布与原文本分布结合,提高模型生成文化领域词汇的准确率.同时,在通用领域文本上进行预训练并进一步初始化参数,以缓解数据稀缺导致模型训练效果不佳的问题.实验结果表明,提出的方法在跨境民族文本摘要数据集上比基线模型的Rouge-1提升了0.95,有效提升了跨境民族文化文本摘要生成的质量.

融合关键信息的科技文献创新点生成方法

相较传统的阅读方式,利用摘要生成等技术生成文献的创新点存在正确性低、事实准确性差、与原文的关键信息有偏差等问题。据此,提出一种融合关键信息的科技文献创新点生成方法,在该领域构建一个中文长文本-生成创新点语料库,提出一个领域知识抽取方法,用实体知识指导原文内容的选择,利用指针生成网络生成最终的创新点。实验结果表明,该方法在Rouge分数上均优于主流方法,生成的创新点具有更好的正确性和事实准确性。

融合流注意力机制的中文摘要生成方法

针对现有文本摘要生成方法对源文全局语义信息提取不充分问题,提出了一种融合流注意力机制的并行编码器摘要生成算法模型.首先使用单颗粒的分词方法对源文进行分词;然后在编码阶段引入多头流注意力机制,从而更全面地提取源文的全局语义信息;其次运用并行编码器训练模型,使得输入序列中语义信息获得更大权重;最后将编码得到的全局语义信息送入到融合指针的解码器中,通过指针复制源文词汇,减少生成摘要中未登录词的出现,从而使得解码过程中生成的摘要更加全面准确地匹配源文语义.模型在CLTS和NLPCC两个数据集上进行实验,使用ROUGE-1、ROUGE-2和ROUGE-L作为评价指标.实验结果显示,与基准模型相比在CLTS数据集上分别有2.62%、1.44%和0.87%的提升,在NLPCC数据集上分别有2.82%、1.84%和1.64%的提升,表明所提算法模型在中文摘要生成任务上更加有效.