面向法律判决文书的长文档抽取式文摘方法——BIGDCNN

针对法律判决文书信息点较多、结构化程度较高,传统的抽取式文摘方法容易产生冗余句子且无法覆盖全部关键信息的问题,提出BIGDCNN(BERT based Improved Gate Dilated Convolutional Neural Network)模型。首先将原始数据进行语料转换获取序列标注数据,再通过预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)得到从词粒度到句子粒度的长文本表示;最后使用融合了改进门机制的膨胀卷积神经网络(DCNN)以及单模型融合方法,实现低冗余度提取原文关键信息的同时增强抗干扰性,并减小了梯度消失的风险。在法律判决文书自动文摘实验中,本模型的ROUGE-1、ROUGE-2、ROUGE-L评分为62.85%、46.56%、59.25%,较主流模型BERT+Transformer分别提升了15.10、15.75、12.97个百分点。BIGDCNN模型解决了传统抽取式文摘方法的问题,可以高效地运用在法律判决文书的自动文摘场景中。

一种改进的TextRank多文档文摘自动抽取模型

多文档自动文摘通过自然语言处理技术从多篇同主题的文档中提取概述性信息,可有效缓解信息负载问题,有助于用户迅速准确获取原文核心内容。针对中文文本特点,构建一种基于TextRank算法改进的多文档文摘自动抽取模型。首先通过预训练Word2Vec词向量模型与SIF方法融合,在中文维基百科语料库上进行预训练,获取文档中所有句子的句向量;然后借助余弦相似度构造TextRank句子间的边关系;最后使用MMR算法对文摘句进行冗余处理,得到全面又多样的文摘。通过ROUGE-N评价指标对模型进行性能评价,实验结果表明,所提模型的ROUGE-1、ROUGE-2、ROUGE-L指标值分别为0.549、0.322、0.357,均优于传统TextRank方法和Word2vec(实验样本语料)+TextRank+MMR模型,文摘质量更高。