基于指针生成网络和扩展Transformer的多属性可控文本摘要模型

模型可以生成符合用户偏好的摘要.之前的摘要模型侧重于单独控制某个属性,而不是多个属性的组合.传统的Seq2Seq多属性可控文本摘要模型在满足多个控制属性时,存在无法整合所有控制属性、无法准确再现文本中关键信息和无法处理单词表外单词等问题.为此,本文提出了一种基于扩展Transformer和指针生成网络(pointer generator network,PGN)的模型.模型中的扩展Transformer将Transformer单编码器-单解码器的模型形式扩展成具有双重文本语义信息提取的双编码器和单个可融合指导信号特征的解码器形式.然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表生成新的摘要信息,以解决摘要任务中常出现的OOV(out of vocabulary)问题.此外,为高效完成位置信息编码,模型在注意力层中使用相对位置表示来引入文本的序列信息.模型可以用于控制摘要的许多重要属性,包括长度、主题和具体性等.通过在公开数据集MACSum上的实验表明,相较以往方法,本文提出的模型在确保摘要质量的同时,更加符合用户给定的属性要求.

融合关键信息的PGN文本主题句生成方法

针对现有模型无法充分理解上下文和同时解决不同类型文本主题句自动生成以及生成重复内容的难题,对一种融合关键信息的PGN文本主题句生成方法进行研究。融合句子情感倾向加权特征和TextRank迭代算法筛选关键句;根据不同文本类型进行参数自动配置,利用BERT预训练语言模型对获取的关键句进行向量化表征并输入到融合coverage复制机制的指针生成网络模型中生成主题句;采用后处理技术对生成的主题句内容和长度进行检测与修正得到最终主题句。在公开数据集LCSTS上的实验结果表明,所提模型可以更充分地理解原文并有效减少重复内容的生成,它的Rouge-1和Rouge-L值均高于基线模型。

基于BERT-PGN模型的中文新闻文本自动摘要生成

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。

基于指针生成网络的中文对话文本摘要模型

针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network,PGN)模型,且该模型结合了抽取式和生成式两种文本摘要方法.模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量,然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息,以解决文本摘要任务中常出现的OOV(out of vocabulary)问题,同时模型使用覆盖机制来追踪过去时间步的注意力分布,动态的调整单词的重要性,解决了重复词问题,最后,在解码阶段引入了Beam Search优化算法,使得解码器能够获得更加准确的摘要结果.实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行,结果表明本文提出的FastformerPGN模型在中文文本摘要任务中达到的效果要优于基准模型,具有更好的效果.

融合预训练和注意力增强的中文自动摘要研究

通过对源文本信息压缩来提炼文本核心内容。目前,大多数生成式自动摘要任务采用基于注意力机制的序列到序列模型,但该模型解码预测生成的摘要具有语义准确率低且内容重复率高的问题。针对上述问题,提出了一种融合预训练和注意力增强的自动摘要生成方法来提高生成摘要的质量。该模型以带覆盖机制的指针生成网络(pointer generator network,PGN)模型为基础,利用Transformer模型的编码器预训练文本获得具有语义联系的词向量;在序列到序列模型的解码器中,通过注意力增强机制让解码端的当前时刻注意力分布参考历史时刻注意力分布信息;优化束搜索算法抑制解码端输出短句。实验评价指标采用ROUGE值。在公共中文数据集NLPCC2018和LCSTS上的实验结果表明,与伴随覆盖机制的PGN模型训练结果相比,ROUGE-1、ROUGE-2和ROUGE-L指标均得到了提高,验证了所提方法的先进性和有效性。

基于关键词生成的网格事件相似度并行计算

为实现在海量网格事件库中快速、准确地检索事件,本文提出一种基于关键词生成的网格事件相似度并行计算方法.该方法通过双向LSTM网络的编码器和单向LSTM网络的解码器构建指针生成网络生成事件关键词,使用记忆网络作为指针生成网络的序列信息存储单元,并将注意力机制用在输入序列上以将更重要的信息输入至解码器,同时引入覆盖机制来解决生成重复文本问题.在生成事件关键词后,基于结构相似度和情境相似度计算事件总体相似度,并利用GPU对LSTM网络和相似度计算进行加速.实验结果表明:相比基于机器学习的计算方法,该方法在事件相似度计算性能上更好,最高获得了4.04倍的加速比.