基于改进T5 PEGASUS模型的新闻文本摘要生成

生成任务旨在解决用户在阅读新闻时无法快速把握内容重点而造成的时间损耗和阅读疲劳等问题。目前面向中文的文本摘要模型效果较佳的是T5 PEGASUS模型,但针对该模型的研究较少。文中针对T5 PEGASUS模型的中文分词方面进行改进,使用更适用于新闻领域的Pkuseg分词方法进行处理,并在NLPCC2017、LCSTS、SogouCS这3种新闻长度不同的公开数据集上验证其有效性。研究发现Pkuseg分词方法更适合T5 PEGASUS模型,模型生成摘要的ROUGE(Recall-Oriented Understudy for Gisting Evaluation)值与新闻文本长度成正相关,训练集损失值和损失值下降速度与新闻文本长度成负相关,在面对少量训练集时能得到较高的ROUGE分数,因此该模型具有较强的小样本学习能力。

融合多层注意力表示的中文新闻文本摘要生成

针对现有的文本摘要模型词向量表意不全面,且难以对远距离词句进行表征,提出一种融合多层注意力表示的中长文本摘要方法。通过抽取式技术将新闻文本进行分割,得到主体文本和辅助文本;将主体文本进行图卷积神经网络的学习和依存句法分析,得到词向量的图卷积表示和依存词对信息,同时对辅助文本进行高频主题词的挖掘;将这三种信息融合送入Transformer序列模型中,并对编码器和解码器的局部注意力稍作修改,使其能够更多地关注主题相关的部分和依存句法结构;生成文本摘要。在公共文本摘要数据集NLPCC 2017上的实验表明,该方法能够得到较高的ROUGE分数,生成质量更好的文本摘要。

基于关键词抽取和提示学习的生成式文本摘要生成方法

针对现有的预训练模型难以进行微调以及生成式摘要算法容易产生未登录词的问题提出一种基于关键词抽取和提示学习的摘要方法。首先添加提示学习(Prompt Learning)通过向输入增加提示信息,将下游任务改成文本生成任务,通过对输入文本进行改造,构造人工模板,随之对改造后的输入文本进行关键词提取,并将提取后的关键词与改造后的输入文本拼接,从而构造新的输入,接着引入关键词提取算法TF-IDF加强生成模型对关键词的关注,在CNN/DM数据集上的实验表明,该模型能够有效提高生成文本摘要的质量,使Rouge-1、Rouge-2、Rouge-L值得到了提高。

基于混合注意力与强化学习的文本摘要生成

基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史生成单词的注意力来克服该问题;使用强化学习作为一种新的训练方式来解决曝光偏差问题,同时修正损失函数。在CNN/Daily Mail数据集对模型进行测试,以ROUGE为评价指标,结果证明了混合注意力对重复问题有较大的改善,借助强化学习可以消除曝光偏差,整合后的模型在测试集上超越先进算法。

融合关键词的中文新闻文本摘要生成

针对现有基于seq2seq模型在生成摘要时容易出现语义无关的摘要词,同时没有考虑到关键词在摘要生成中的作用,提出一种融合关键词的中文新闻文本摘要生成方法。首先将源文本词依次输入到Bi-LSTM模型中;然后将得到的时间步隐藏状态输入到滑动卷积神经网络,提取每个词与相邻词之间的局部特征;其次利用关键词信息和门控单元对新闻文本信息进行过滤,去除冗余信息;再通过自注意力机制获得每个词的全局特征信息,最终编码得到具有层次性的局部结合全局的词特征表示;将编码得到的词特征表示输入到带有注意力机制的LSTM模型中解码得到摘要信息。该方法通过滑动卷积网络对新闻词的n-gram特征建模,在此基础上利用自注意力机制,获得具有层次性的局部结合全局的词特征表示。同时,考虑了关键词在新闻摘要生成中的重要作用,利用门控单元去除冗余信息,以获得更精准的新闻文本信息。在搜狗全网新闻语料上的实验表明,该方法能够有效提高摘要生成质量,能够有效地提高ROUGE-1、ROUGE-2、ROUGE-L值。

基于TextRank算法的联合打分文本摘要生成

自动文本摘要生成是自然语言处理领域中颇具挑战性的问题之一,其任务是为书籍、篇章、新闻或者微博等某一文本资源生成简洁而又具有意义的文本摘要。TextRank算法是一种基于图的文本摘要生成算法,只利用当前文档即可实现关键词提取和文摘生成,因其简洁有效而得到广泛应用。本文在TextRank算法的基础上提出一个无监督抽取式联合打分模型。一方面,结合词频逆句频余弦相似度与词向量余弦相似度共同计算句子得分;另一方面,采用最大边缘相关度算法(Maximal Marginal Relevance,MMR)将抽取得到的摘要去除冗余。实验表明,改进后的方法生成的摘要具有更高的质量,尤其具有更好的梗概性和多样性。

融合卷积收缩门控的生成式文本摘要方法

在深度学习技术的推动下,基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一,尤其在生成式文本摘要任务中取得显著效果。然而,现有的采用循环神经网络的模型存在并行能力不足和时效低下的局限性,无法充分概括有用信息,忽视单词与句子间的联系,易产生冗余重复或语义不相关的摘要。为此,提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器,提取不同层次的文本表征得到上下文编码,采用卷积收缩门控单元调整编码权重,强化全局相关性,去除无用信息的干扰,过滤后得到最终的编码输出,并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式预训练Transformer(GPT)的解码模块3种不同的解码器,加强编码器与解码器的关联,以此探索能生成高质量摘要的模型结构。在LCSTS和CNNDM数据集上的实验结果表明,相比主流基准模型,设计的TCSG、ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0,验证了该方法的有效性和可行性。

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

基于语义对齐的生成式文本摘要研究

针对当前生成式文本摘要模型在解码时对摘要整体语义信息利用不充分的问题,提出一种基于语义对齐的神经网络文本摘要方法。该方法以带注意力、Pointer机制和Coverage机制的Sequence-to-Sequence模型为基础,在编码器与解码器之间加入语义对齐网络,实现文本到摘要的语义信息对齐;将获得的摘要整体语义信息与解码器的词汇预测上下文向量进行拼接,使解码器在预测当前词汇时不仅利用已预测词汇序列的部分语义,而且考虑拟预测摘要的整体语义。在中文新闻语料LCSTS上的实验表明,该模型能够有效地提高文本摘要的质量,在字粒度上的实验显示,加入语义对齐机制可以使Rouge_L值提高5.4个百分点。

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖(OOV)的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。

基于深度学习的生成式文本摘要技术综述

在互联网数据急剧扩张和深度学习技术高速发展的背景下,自动文本摘要任务作为自然语言处理领域的主要研究方向之一,其相关技术及应用被广泛研究。基于摘要任务深化研究需求,以研究过程中存在的关键问题为导向,介绍现有基于深度学习的生成式文本摘要模型,简述定义及来源、数据预处理及基本框架、常用数据集及评价标准等,指出发展优势和关键问题,并针对关键问题阐述对应的可行性解决方案。对比常用的深度预训练模型和创新方法融合模型,分析各模型的创新性和局限性,提出对部分局限性问题的解决思路。进一步地,对该技术领域的未来发展方向进行展望总结。

基于关键信息指导的文本摘要模型

现有生成式文本摘要模型缺乏对关键词信息的关注,存在输入文本中关键信息丢失问题.因此,提出了一种基于关键词语义信息增强的指针生成网络(keyword semantic information enhancement pointer-generator networks,KSIE-PGN)模型.首先,构建了基于DistilBERT的关键词抽取模型(keywords selection method based on BERT,KSBERT).其次,提出了基于关键词掩码的覆盖机制,在使用覆盖机制时,保留解码过程中模型对关键词的持续关注.接着,KSIE-PGN模型在解码过程融合了多种关键词信息,包括关键词语义向量和关键词上下文向量,从而解决解码器丢失输入文本关键信息这一问题.在CNN/Daily Mail数据集上的实验结果表明KSIE-PGN模型能够较好地捕捉输入文本中的关键信息.

基于复制和覆盖率机制的生成式文本摘要方法研究

生成技术将给定的冗长文本数据中的重点信息提取出来组成文本摘要,有利于信息的搜集和后续处理。以序列到序列模型为基础,模型使用双向长短期记忆神经网络作为编码器单元获取上下文相关隐藏状态向量,针对文本摘要生成领域的长期依赖问题、未登录词问题和目标摘要中字词重复问题,分别使用注意力机制、复制机制和覆盖率机制,在中文新闻短摘要文本数据集LCSTS上进行实验,以ROUGE系列评分作为评价标准,平均提高0.3个百分点。

Senti-PG-MMR:多文档游记情感摘要生成方法

由于大量的游客在社交媒体上记录自己的心情,人们在享受便捷获取网络上大量旅游信息的同时,也淹没在混乱的游记信息海洋里。为了从游记中获取游客关心的景点信息和游客对景点表达的情感信息,该文提出了一个多文档游记的情感摘要生成方法,该方法结合指针生成网络和最大边界相关算法,构建了一个端到端的神经网络摘要生成模型。该模型在进行文本摘要生成时,对于情感信息给予重视,使得生成的摘要包含一定的情感信息。通过在自建数据集上进行训练和测试,实验结果验证了该模型的有效性。

基于双编码器的短文本自动摘要方法

针对当前生成式文本摘要方法存在的语义信息利用不充分、摘要精度不够等问题,提出一种基于双编码器的文本摘要方法。首先,通过双编码器为序列映射(Seq2Seq)架构提供更丰富的语义信息,并对融入双通道语义的注意力机制和伴随经验分布的解码器进行了优化研究;然后,在词嵌入生成技术中融合位置嵌入和词嵌入,并新增词频-逆文档频率(TF-IDF)、词性(POS)、关键性得分(Soc),优化词嵌入维度。所提方法对传统序列映射Seq2Seq和词特征表示进行优化,在增强模型对语义的理解的同时,提高了摘要的质量。实验结果表明,该方法在Rouge评价体系中的表现相比传统伴随自注意力机制的递归神经网络方法(RNN+atten)和多层双向伴随自注意力机制的递归神经网络方法(Bi-MulRNN+atten)提高10~13个百分点,其文本摘要语义理解更加准确、生成效果更好,拥有更好的应用前景。

基于深度学习的文本自动摘要方案

针对自然语言处理(NLP)生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题,提出了一种新的生成式自动摘要解决方案,包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gram方法生成的词向量为基础,结合摘要的特点,引入词性、词频和逆文本频率三个词特征,有效地提高了词语的理解;而提出的Bi-MulRnn+生成式自动摘要模型以序列映射(seq2seq)与自编码器结构为基础,引入注意力机制、门控循环单元(GRU)结构、双向循环神经网络(BiRnn)、多层循环神经网络(MultiRnn)和集束搜索,提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要(LCSTS)数据集的实验结果表明,该方案能够有效地解决短文本生成式摘要问题,并在Rouge标准评价体系中表现良好,提高了摘要准确性与语句流畅度。

DAPC:结合双注意力和指针覆盖的文本摘要模型

基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC(Dual Attention and Pointer-Coverage based model)模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。

基于编解码器结构的中文文本摘要

传统生成式模型中存在的梯度经过多次传播后,倾向于消失或爆炸,且存在语言理解不充分的性能缺陷,为此提出一种生成式自动文本摘要方法(BiGRUAtten-LSTM)。编码器端将原始文本输入到编码器并结合双向门控循环单元生成固定长度的语义向量,使用注意力机制分配每个输入词的权重来减少输入序列信息的细节损失。解码器端使用LSTM网络,融合先验知识和集束搜索方法将语义向量解码生成目标文本摘要。通过工业新闻数据集的实验验证,与传统的生成式文本摘要模型相比,ROUGE-1指标提高0.026、ROUGE-2指标提高0.056、ROUGE-L指标提高0.025。

结合主题信息聚类编码的文本摘要模型

结合注意力机制的序列到序列模型在生成式文本摘要的研究中已取得了广泛应用,但基于该模型的摘要生成技术依然存在信息编码不充分、生成的摘要偏离主题的问题,对此提出了一种结合主题信息聚类编码的文本摘要生成模型TICTS(theme information clustering coding text summarization)。将传统的抽取式文本摘要方法与基于深度学习的生成式文本摘要方法相结合,使用基于词向量的聚类算法进行主题信息提取,利用余弦相似度计算输入文本与所提取关键信息的主题相关性,将其作为主题编码的权重以修正注意力机制,在序列到序列模型的基础上结合主题信息与注意力机制生成摘要。模型在LCSTS数据集上进行实验,以ROUGE为评价标准,实验结果相对于基线模型在ROUGE-1的得分上提高了1.1,ROUGE-2提高了1.3,ROUGE-L提高了1.1。实验证明结合主题信息聚类编码的摘要模型生成的摘要更切合主题,摘要质量有所提高。

基于强化学习的混合式文本摘要模型

模型往往能保证语言流畅性,但只能使用原文句子,较为冗余;而生成式文本摘要模型能够使用非原文词生成摘要,比较精简,但时常不合语法,语言流畅性低。针对上述问题,并受到人们书写长文本摘要过程的启发,提出了一种基于强化学习的混合式文本摘要模型,我们首先抽取的方式来实现对于文本中重要句子的抽取,然后通过编码器解码器(Encoder-Decoder)模型对这些句子进行生成式重写,最后组成我们的摘要。两个网络是使用强化学习的方式连接起来一起训练的。模型结合了抽取式文本摘要模型和生成式文本摘要模型的优点,并且保证了最终摘要的语言流畅性与精简性。在康奈尔大学新发布的Newsroom数据集上的实验表明,ROUGE-1、ROUGE-2、ROUGE-N得分在比当前官网最好的模型分别提升了1.1、1.07、0.89分。