基于词句协同排序的单文档自动摘要算法

对于节录式自动摘要需要从文档中提取一定数量的重要句子,以生成涵盖原文主旨的短文的问题,提出一种基于词句协同排序的单文档自动摘要算法,将词句关系融入以图排序为基础的句子权重计算过程中。首先给出了算法中词句协同计算的框架;然后转化为简洁的矩阵表示形式,并从理论上证明了收敛性;最后进一步通过去冗余方法提高自动摘要的质量。真实数据集上的实验表明,基于词句协同排序的自动摘要算法较经典的TextRank算法在Rouge指标上提升13%~30%,能够有效提高摘要的生成质量。

词句协同排序的自动摘要算法

为了提高自动摘要的质量,研究了基于图模型的词句协同排序的自动摘要算法技术.自动摘要试图从原始文本中提取一定数量的重要句子形成节录式摘要,句排序是实现自动摘要的典型手段,已有工作大多通过构建词或句关联网络,再使用PageRank计算节点排序分值,该算法考虑词与句之间的互影响,提出词句协同排序的自动摘要算法,在句关联网络上融入词对句子排序分值的影响,而词的重要性由包含其句子的排序分值所决定.在句排序结果基础上,提出基于冗余度的句选择方法,以进一步提升自动摘要质量.在10篇中文文档上的试验结果表明,较之于单纯的句排序方法,所提出方法能有效提升自动摘要的准确率和召回率.

词句协同自动摘要提取方法

为提高自动文摘的质量,提出一种词句协同的自动摘要提取算法(F-CoRank)。在传统词频的基础上,提高与标题相似的特征词的词频,得出提高后的词频矩阵和句子之间的相似度后,构建无向网络图,根据词句协同算法,得到各个节点的权重,对得到的粗文摘进行冗余处理,根据相应的需求,选择权重较高的前几个句子作为摘要。在哈工大的单文本文档语料上进行实验,实验结果表明,提高词频权重在一定程度上改进了文摘的质量,相比词句协同算法(Co-Rank)在覆盖率上有了较大提高。