计算机自动文摘方法的分类探讨

信息化时代,自动文摘是语言信息处理领域的重要研究课题。根据计算机判别语篇主题所采取的理论基础和方法的不同,本文将自动文摘技术分为三类:基于语篇表层特征的统计自动文摘法、基于语篇理解的自动文摘法、语篇表层特征和语篇理解相结合的自动文摘法,探讨了每种自动文摘方法的实施路径、特点和不足,提出基于语篇深层次理解的自动文摘的必要性。

面向冗余度控制的中文多文档自动文摘

多文档自动文摘能够帮助人们自动、快速地获取信息,是目前的一个研究热点。相比于单文档自动文摘,多文档自动文摘需要更多考虑文档之间的相关性,以及文档信息之间的冗余性。因此如何控制信息冗余是多文档自动文摘的一个关键所在。该文在考虑文摘特性的基础上提出了一个冗余度控制模型,该模型通过计算文本单元在主题概率分布之间的相似度来决定句子的选择,从而达到控制冗余的目的。实验结果表明,该方法能够有效降低冗余度,且总体性能优于现有的自动文摘系统。

主题模型LDA的多文档自动文摘

近年来使用概率主题模型表示多文档文摘问题受到研究者的关注.LDA(latent dirichlet allocation)是主题模型中具有代表性的概率生成性模型之一.提出了一种基于LDA的文摘方法,该方法以混乱度确定LDA模型的主题数目,以Gibbs抽样获得模型中句子的主题概率分布和主题的词汇概率分布,以句子中主题权重的加和确定各个主题的重要程度,并根据LDA模型中主题的概率分布和句子的概率分布提出了2种不同的句子权重计算模型.实验中使用ROUGE评测标准,与代表最新水平的SumBasic方法和其他2种基于LDA的多文档自动文摘方法在通用型多文档摘要测试集DUC2002上的评测数据进行比较,结果表明提出的基于LDA的多文档自动文摘方法在ROUGE的各个评测标准上均优于SumBasic方法,与其他基于LDA模型的文摘相比也具有优势.

基于主题词权重和句子特征的自动文摘

为获得高质量的自动文摘,在组合词识别算法的基础上,充分考虑词的频率、词性、词的位置、词长等因素,构建了一个词语权重计算公式,该公式能使表达主题的词和短语具有较高的权重.对句子权重的计算,则考虑了句子的内容、位置以及线索词的作用和用户偏好等.摘要的生成充分考虑了候选文摘句的相似性,避免了冗余信息的加入.对摘要的评估进行了从句子粒度到词语粒度的改进,提出了一种基于词语粒度的准确率和召回率计算方法.实验证明,该算法生成的自动文摘有着较高的质量,平均准确率达到77.1%.

自动文摘综述

本文概述了自动文摘的发展历史和研究状况 ,给出当前自动文摘领域主要的研究方法和策略 ,剖析了它们的优点和不足。进一步结合自动文摘自身的特点和难点 ,提出近期自动文摘的研究重点是基于篇章话语形式的浅层分析方法生成指示型文摘。

中文自动文摘原理与方法探索

本文首先介绍了自动文摘的研究情况及存在问题，然后给出了计算机自动文摘的一般模型，最后介绍了我们所研究的两种自动文摘的原理和方法。

基于信息融合的多文档自动文摘技术

提出了一个面向多文档自动文摘任务的多文本框架(Multiple Document Framework,MDF),该框架通过系统地描述不同层面的文本单元之间的相互关系以及文档集合蕴含的事件在时间上的发生及演变,将多篇文档在不损失文档集合原有信息的前提下实现信息融合.MDF简化了传统交叉文本结构理论的文本集合表示模型,又补充了信息融合理论中缺乏的事件主题的演变性和分布性信息.文中给出了建立MDF、基于MDF的信息融合、文摘生成等一整套算法.通过对32组不同主题的网络文档试验结果表明,MDF策略很好地实现了多知识源的并行融合,并获得了较好的结果.

一种基于LexRank算法的改进的自动文摘系统

自动文摘是计算机语言学领域的一个研究重点,其研究和应用受到了计算机科学、语言学、情报信息学等相关学科的广泛关注。首先介绍了基于LexRank算法的自动文摘方法。针对该方法的不足,从句子相似度计算方法、句子权重计算方法以及冗余处理等方面对它进行了改进,从而可以根据输入文本内容动态地调整相关影响因子。实现的文摘系统,可以对中文和英文的单文本或多文本进行自动文摘。在哈工大和DUC的测评语料上进行了实验,结果表明该系统在一定程度上改进了文摘的质量,在多文本文摘中的抗噪声方面也有一定的优越性。最后讨论了自动摘要研究存在的问题,并指出了自动文摘的研究趋势。

基于HowNet概念获取的中文自动文摘系统

本文提出了一种中文自动文摘的方法。不同于其它的基于词频统计的一般方法,运用概念(词义)作为特征取代词语。用概念统计代替传统的词形频率统计方法,建立概念向量空间模型,计算出句子重要度,并对句子进行冗余度计算,抽取文摘句。对于文摘测试,采用两种不同的方法进行测试:一是用机器文摘和专家文摘进行比较的内部测试;二是对不同文摘方法进行分类,通过对分类正确率的比较的外部评测方法。

基于LDA主题特征的自动文摘方法

近年来概率主题模型受到了研究者的广泛关注,LDA(Latent Dirichlet Allocation)模型是主题模型中具有代表性的概率生成模型之一,它能够检测文本的隐含主题。提出一个基于LDA模型的主题特征,该特征计算文档的主题分布与句子主题分布的距离。结合传统多文档自动文摘中的常用特征,计算句子权重,最终根据句子的分值抽取句子形成摘要。实验结果证明,加入LDA模型的主题特征后,自动文摘的性能得到了显著的提高。

基于信息抽取和文本生成的自动文摘系统设计

本文提出了一种自动文摘系统的设计方案，该方案将文摘过程分解为信息抽取和文本生成两个子过程。信息抽取过程对原文进行词语频率、词语分布和修辞结构的分析，并在此基础上参考用户对摘要的需求，抽取原文的部分内容填写文摘框架。文本生成过程对文摘框架中的句子进行加工、组织。

一种主题句发现的中文自动文摘研究

提出了一种基于主题句发现的中文自动文摘方法。该方法使用术语代替传统的词语作为最小语义单位,采用术语长度术语频率方法进行术语权重计算,获得特征词。利用一种改进的k-means聚类算法进行句子聚类,根据聚类结果进行主题句发现。实验表明,该算法所得到的文摘,在各项指标上优于传统的文摘。

自动文摘系统评价方法的研究与实践

自动文摘系统作为一种信息压缩精选工具 ,越来越引起人们广泛的兴趣。但是 ,目前仍未有一种客观公认的评价方法来对已有的系统进行评价 ,从而极大地阻碍了自动文摘领域的研究。本文首先阐述了自动文摘系统评价所面临的问题 ,随后综述了当前国内外自动文摘的评价方法 。

自动文摘的四种主要方法

本文将现有的自动文摘方法概括为四种：自动摘录、基于理解的自动文摘、信息抽取和基于结构的自动文摘，并详细介绍了这四种方法的基本原理，剖析了它们的优点和不足。最后，概述了中文自动文摘的研究状况。

全信息理论在自动文摘系统中的应用

该文介绍了全信息理论提出的背景及其主要内容，并将其应用到一种智能业务──自动文摘系统中，设计实现了一个基于理解的、面向神经网络学习算法领域的中文９动文摘系统 Ｌａｄｉｅｓ。该系统综合利用语法信息和语义信息来理解原文的句法和含义，并通过语用信息制导，对原文进行文摘信息的过滤、提取和生成高质量的文摘。实验结果证明，这一方法是行之有效的。

基于文本相似度的自动文摘评价方法

讨论了现有的自动文摘评价方法,并具体分析了内部评价方法的缺陷,由此提出了基于文本相似度的自动文摘评价方法。同时,通过基于VSM(支持向量机)相似度和基于语义相似度两种相似度方法来比较评价方法的性能。实验表明,基于相似度的方法实现简单、效果良好,是一种更接近自然模型的评价方法。

基于文本聚类的多文档自动文摘研究

针对当前自动文摘方法的不足,提出了基于文本聚类的自动文摘实现方法.可以克服常规自动文摘方法的不足,使文摘的质量和效果得到大大的提高.将文本聚类引入自动文摘中,不但使单文档的文摘质量得到提高,而且能够实现多文档的自动文摘,这是现有的自动文摘技术所没有涉及的.实现了面向"塑料"行业的基于文本聚类的自动文摘系统TCAAS.实验表明该方法可行, 对自动文摘系统的设计具有借鉴意义和深入研究的价值.

基于局部主题关键句抽取的自动文摘方法

自动文摘是语言信息处理中的重要环节。该文提出一种基于局部主题关键句抽取的中文自动文摘方法。通过层次分割的方法对文档进行主题分割,从各个局部主题单元中抽取一定数量的句子作为文章的文摘句。通过事先对文档进行语义分析,有效地避免了数据冗余和容易忽略分布较小的主题等问题。实验结果表明了该方法的有效性。

基于文本聚类的自动文摘系统的研究与实现

针对当前自动文摘方法的不足,提出了基于文本聚类和自然语言理解的自动文摘实现方法。可以克服常规自动文摘方法的不足,使文摘的质量和效果得到大大的提高。将文本聚类引入自动文摘中,不但使单文档的文摘质量得到提高,而且能够实现多文档的自动文摘,这是现有的自动文摘技术所没有涉及的。实现了面向“塑料”行业的基于文本聚类和自然语言理解的自动文摘系统TCAAS。

自动文摘方法分析

介绍了目前自动文摘的四种实现方法,并对这四种方法的优缺点进行了较为详细的分析与比较,介绍了它们的应用实例。最后讨论了一种面向非受限领域的综合式中文自动文摘方法。