融合文本分类的多任务学习摘要模型

应包含源文本中所有重要信息,传统基于编码器-解码器架构的摘要模型生成的摘要准确性较低。根据文本分类和文本摘要的相关性,提出一种多任务学习摘要模型。从文本分类辅助任务中学习抽象信息改善摘要生成质量,使用K-means聚类算法构建Cluster-2、Cluster-10和Cluster-20文本分类数据集训练分类器,并研究不同分类数据集参与训练对摘要模型的性能影响,同时利用基于统计分布的判别法全面评价摘要准确性。在CNNDM测试集上的实验结果表明,该模型在ROUGE-1、ROUGE-2和ROUGE-L指标上相比强基线模型分别提高了0.23、0.17和0.31个百分点,生成摘要的准确性更高。

基于混合过滤编码的神经中文生成式摘要

在神经生成式摘要任务中,由于输入文档与参考摘要之间不存在显式的对齐关系,通常会导致重复生成相同单词的问题以及生成的摘要与输入文档语义不相关、准确性低的问题.为更好解决该问题,提出了混合过滤编码网络(HFEN)并在HFEN中集成混合过滤编码机制(HFEM)、注意力机制、指针生成器.HFEM分为管道过滤编码机制(PFEM)、特征融合过滤编码机制(FFFEM).其中,FFFEM具体通过添加特征融合层实现.在中文摘要领域基准数据集(LCSTS)上的实验结果表明:HFEN相较于基线模型生成了准确性更高、重复单词更少的摘要,ROUGE指标有较大提升.

SFExt-PGAbs:两阶段长文档摘要模型

针对抽取式方法、生成式方法在长文档摘要上的流畅性、准确性缺陷以及在文档编码前截断原始文档造成的重要信息缺失问题,提出一种两阶段长文档摘要模型SFExt-PGAbs,由次模函数抽取式摘要SFExt与指针生成器生成式摘要PGAbs组成。SFExt-PGAbs模拟人类对长文档进行摘要的过程,首先使用SFExt在长文档中抽取出重要句子,过滤不重要且冗余的句子形成过渡文档,然后PGAbs接收过渡文档作为输入以生成流畅且准确的摘要。为获取与原始文档中心思想更为接近的过渡文档,在传统SFExt中拓展出位置重要性、准确性两个子方面,同时设计新的贪心算法。为研究不同特征提取器对生成摘要质量的影响,在PGAbs中应用两种循环神经网络。实验结果显示,在CNNDM测试集上,SFExt-PGAbs相较于基线模型生成了更为流畅、准确的摘要,ROUGE指标有较大提升。同时,子方面拓展后的SFExt也能抽取得到更准确的摘要。