关于自然语言处理中的文摘生成及其相关技术

一、引言自然语言处理(简称NLP)伴随着计算机的诞生而诞生。在自然语言处理中,开始人们关注的焦点是机器翻译(简称MT),早在1958年已极为盛行。美国投入大量资金和人力组建各种研究小组进行机器翻译的研究。与此同时,自动文摘(Automatic Abstracting,即文摘生成,Text Summarization,简称TS)

文摘生成系统中词典的一种构造方法

文章讨论了针对文摘生成系统如何有效地建立一种全信息词典，在正确进行自动分词的同时，为后续的文本分析提供尽可能多的词法、词义及词用信息，以便生成具有理解能力的高质量的文本摘要。

生成式自动文摘的深度学习方法综述

自动文摘是文本挖掘的主要任务之一。相比于抽取式自动文摘,生成式自动文摘在思想上更接近人工摘要的过程,具有重要研究意义。近几年伴随着深度学习方法的发展,基于深层神经网络模型的生成式自动文摘也有了令人瞩目的发展。为了更全面地理解该类方法的思想和研究现状,本文从生成式自动文摘的任务描述入手,梳理了基于RNN (recurrent neural network,循环神经网络)的模型、基于CNN (convolutional neural network,卷积神经网络)的模型、基于RNN+CNN的模型、融合注意力机制的模型和融合强化学习的模型共五大类生成式自动文摘的深度学习方法。这类方法表明,在深层神经网络的训练下,特别是融合注意力机制和强化学习后,摘要效果得以明显提升。在生成式自动文摘研究的未来发展中,除深度学习方法本身的不断应用和改进外,还需关注如何有效实现篇章级语义理解下的摘要、面向不同文本对象特点的摘要和摘要结果自动评价等问题。此外,如何结合传统摘要研究中的成熟方法进一步提高摘要效果,也是一个很有价值的研究方向。

基于全局编码信息的生成式自动文摘模型

目前主流的生成式自动文摘方法通常采用基于注意力机制的序列到序列模型,然而此方法只能使解码器关注于原文本中重要单词的语义信息,无法对每一维度的语义特征进一步筛选。经本文研究发现,编码端输出的隐状态语义信息存在噪声,解码器应该对各维度语义信息进行判断,选择对文摘生成更有益的语义特征。因此,本文提出了基于全局编码信息的生成式自动文摘模型,并构造一个融合全局编码信息的选择门控单元,二者相互协作,共同解决编码器输出信息存在噪声的问题。实验结果表明,本文提出的模型在TTNews数据集上获得优于前人的结果,通过组件消融分析验证各组件对文摘生成的积极作用。

基于情感信息的商品评论生成式摘要

近些年来,随着电商平台的飞速发展,越来越多的人会选择在网上购物并且对商品进行评价。对于较长篇幅的评论,进行摘要可以让用户快速地了解到商品的优缺点。目前主流的生成式摘要模型大多只考虑文本的序列化信息,而对一个商品评论来说,评论中的商品属性信息和情感信息极为重要。为了让模型学习到评论中的商品属性及情感信息,该文提出了一种融合评论中属性及情感信息的生成式摘要方法。该方法通过将不同种类的情感和属性信息嵌入生成模型的编码阶段的方式,从而有效的结合这些信息。实验证明,该方法可生成更高质量的摘要,生成的摘要在ROUGE评价指标上会有较大幅度的提升。

基于深度学习的自动文摘句排序方法

针对现有的文摘句排序方法难以理解深层语义的问题,提出一种基于深度学习的多文档文摘句排序方法。设计端到端深度神经网络完成语句的嵌入、理解及排序。用循环神经网络对句子进行单词级嵌入,在此基础上构建句子的上下文向量表示,用RNN对句子在不同位置的内聚性进行评估,利用指针网络RNN进行下一句预测。实验结果表明,相比传统方法,采用该方法能够得到更高质量的多文档文摘,在自动文摘生成及自然语言处理等方面有广泛用途。

通过N-gram增强局部上下文视野感知的中文生成式摘要

基于序列到序列模型的生成式文档摘要算法已经取得了良好的效果。鉴于中文N-gram蕴含着丰富的局部上下文信息,该文提出将N-gram信息整合到现有模型的神经框架NgramSum,即利用N-gram信息增强神经模型局部上下文语义感知能力。该框架以现有的神经模型为主干,从本地语料库提取N-gram信息,提出了一个局部上下文视野感知增强模块和一个门模块,并来分别对这些信息进行编码和聚合。在NLPCC 2017中文单文档摘要评测数据集上的实验结果表明:该框架有效增强了基于LSTM、Transformer、预训练模型三种不同层次的序列到序列的强基线模型,其中ROUGE-1/2/L相较基线模型平均分别提高了2.76,3.25,3.10个百分点。进一步的实验和分析也证明了该框架在不同N-gram度量方面的鲁棒性。

EAME:一种基于问句驱动、镜像模拟基础之上的文本生成系统

本文从文摘文本认知模式与语篇结构角度出发,研制开发了一种电脑辅助文摘文本生成软件系统,Electronic Abstrac Made Easy(EAME)。与同类研究相比,本项研究旨在强调计算机辅助文本生成系统开发中认知与结构问题的重要性。以下,我们打算就本套写作软件系统的基本理念、认知模式、语篇分析,以及操作程序进行讨论与描述。本文共由五个部分组成。我们首先简单介绍了本套电子文摘文本生成系统,然后提出了问句驱动和镜像模拟两种理论模式。此外,我们还通过七组主题/论元问题组群的讨论,揭示出文本生成过程中认知模式和语篇结构的关系;通过实际操作步骤的描述,展示了本套写作软件系统的具体使用方法。最后,我们通过小结与前瞻,以此结束了全文的讨论。本项研究表明,EAME具有较强的实用性,可资进一步推广。本项研究结果可望对相关研究产生积极影响。这些影响主要体现在:1)计算机辅助文本生成系统的开发研制工作中,应处理好人机对话接口层面的技术问题;2)元认知研究在电子文本生成系统的研制与开发中,具有不可取代的重要作用。

基于篇章消解算法的特定领域自动文摘系统的研究

指代是现实生活中比较常见的语法现象,而在文章处理过程中也常常因指代问题导致文摘生成结果不准确,针对自动文摘因指代问题产生的问题,本文对篇章消解算法进行了简介,文中以交通领域为例,详述了如何将篇章消解算法引入特定领域的自动文摘系统中,用以提高文摘的生成效率和准确率。

基于文本结构和图卷积网络的生成式摘要

目前主流的生成式自动文摘采用基于编码器—解码器架构的机器学习模型,且通常使用基于循环神经网络的编码器。该编码器主要学习文本的序列化信息,对文本的结构化信息学习能力较差。从语言学的角度来讲,文本的结构化信息对文本重要内容的判断具有重要作用。为了使编码器能够获取文本的结构信息,该文提出了基于文本结构信息的编码器,其使用了图卷积神经网络对文本进行编码。该文还提出了一种规范融合层,旨在使模型在获取文本结构信息的同时,也能关注到文本的序列化信息。另外,该文还使用了多头注意力机制的解码器,以提高生成摘要的质量。实验结果表明,在加入该文所提出的文本结构信息编码器、规范融合层后,系统性能在ROUGE评价指标上有显著的提高。

基于单词-章节关联的科技论文摘要

为科技论文生成自动摘要,这能够帮助作者更快撰写摘要,是自动文摘的研究内容之一。相比于常见的新闻文档,科技论文具有文档结构性强、逻辑关系明确等特点。目前,主流的编码-解码的生成式文摘模型主要考虑文档的序列化信息,很少深入探究文档的篇章结构信息。为此,文中针对科技论文的特点,提出了一种基于“单词-章节-文档”层次结构的自动摘要模型,利用单词与章节的关联作用增强文本结构的层次性和层级之间的交互性,从而筛选出科技论文的关键信息。除此之外,该模型还扩充了一个上下文门控单元,旨在更新优化上下文向量,从而能更全面地捕获上下文信息。实验结果表明,提出的模型可有效提高生成文摘在ROUGE评测方法上的各项指标性能。

文献信息处理的一些技术探讨

文献信息处理技术发展很快,许多研究难点的存在给计算机应用增加了困难[1-6].本文的工作有三部分:第一部分设计了汉语文摘生成处理的一个方法;第二部分初步探讨了新闻推荐技术;第三部分在分析相关概念与困难的基础上,提出一种文献相似判定的方法与算法,讨论了这一难点问题的研究思路及其应用.初步的测试表明,该方法具有较高的效率.