带有覆盖率机制的文本摘要模型研究

近年来文本信息出现了爆炸式增长,人们没有足够的精力去阅读这些文本,因此如何自动地从文本中提取关键信息就显得尤为重要,而文本摘要技术可以很好地解决这个问题。目前的文本摘要技术主要是利用带有注意力(attention)机制的序列到序列模型(sequence to sequence)对文本生成摘要,但是注意力机制在每个时刻的计算是独立的,没有考虑到之前时刻生成的文本信息,导致模型在生成文本时忽略了之前生成的内容,导致重复生成部分信息。针对这一问题,在文本摘要模型中引入了一种新的覆盖率(coverage)机制,通过覆盖向量记录历史时刻的注意力权重分布信息,并用来改变当前时刻注意力机制的权重分布,使模型更多地关注没有利用到的信息。改进后的模型在新浪微博数据集上进行了实验,实验结果表明,基于新提出的覆盖率机制的文本摘要模型的准确度高于普通的序列到序列模型。

基于复制和覆盖率机制的生成式文本摘要方法研究

生成技术将给定的冗长文本数据中的重点信息提取出来组成文本摘要,有利于信息的搜集和后续处理。以序列到序列模型为基础,模型使用双向长短期记忆神经网络作为编码器单元获取上下文相关隐藏状态向量,针对文本摘要生成领域的长期依赖问题、未登录词问题和目标摘要中字词重复问题,分别使用注意力机制、复制机制和覆盖率机制,在中文新闻短摘要文本数据集LCSTS上进行实验,以ROUGE系列评分作为评价标准,平均提高0.3个百分点。

利用BERT和覆盖率机制改进的HiNT文本检索模型

为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个段提取关键主题词,然后用基于变换器的双向编码器(bidirectional encoder representations from transformers,BERT)模型将其编码为多个稠密的语义向量,再利用引入覆盖率机制的局部匹配层进行处理,使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算,提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比,取得了最优结果,验证了本文提出模型的有效性。

中文新闻文本多文档摘要生成

针对自动文本摘要任务中多文档生成式摘要模型抽取文本特征不充分、无法捕获跨文档关系和生成内容重复的问题,提出一种多文档生成式摘要模型Transformer-PGN。利用融合段落注意力机制的Transformer结构对文本进行特征抽取,同时捕获跨文档关系;通过指针生成网络逐词生成摘要;结合覆盖率机制避免生成重复单词,形成最终的摘要。实验结果表明,与指针生成网络等模型相比,该模型生成的摘要信息更丰富、冗余度更低,Rouge-1、Rouge-2和Rouge-L分别提升了2.1%、2.4%和2.3%。

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。