一种基于深度学习的中文生成式自动摘要方法

针对中文的象形性和结构性特点,本文提出了一种新的生成式自动摘要解决方案,包括基于笔画的文本向量生成技术和一个生成式自动摘要模型。基于笔画的文本向量方法针对组成汉字的最小粒度笔画进行编码,增强了通过Skip-Gram模型得到对应的中文词向量语义信息;然后通过对Seq2Seq模型进行优化,使用Bi-LSTM解决长序列文本信息丢失以及逆向信息的补充问题;并在编码端加入Attention机制以计算不同输入词对解码端的影响权重,在解码端加入Beam Search算法优化生成序列的流畅度。基于LCSTS数据集实验表明,本文提出的模型在中文文本摘要生成质量和可读性上有所提升。

基于深度学习的文本自动摘要方案

针对自然语言处理(NLP)生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题,提出了一种新的生成式自动摘要解决方案,包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gram方法生成的词向量为基础,结合摘要的特点,引入词性、词频和逆文本频率三个词特征,有效地提高了词语的理解;而提出的Bi-MulRnn+生成式自动摘要模型以序列映射(seq2seq)与自编码器结构为基础,引入注意力机制、门控循环单元(GRU)结构、双向循环神经网络(BiRnn)、多层循环神经网络(MultiRnn)和集束搜索,提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要(LCSTS)数据集的实验结果表明,该方案能够有效地解决短文本生成式摘要问题,并在Rouge标准评价体系中表现良好,提高了摘要准确性与语句流畅度。

基于双编码器的中文文本摘要技术的研究与实现

针对自然语言处理领域生成式文本摘要任务中存在的语义编码不充分、摘要语句不通顺问题,提出一种基于序列到序列(Seq2Seq)结构的生成式摘要模型TCAtten-GRU。采用双编码器对源文信息进行充分编码,应用时间卷积网络(TCN)获取全文的语义信息,卷积神经网络(CNN)提取文本的高层特征。解码器采用结合指针机制和集束搜索的门控循环单元(GRU)解决生成摘要不通顺问题。中文短文本摘要数据集LCSTS的实验结果表明,该模型与RNN、RNN content、MC-LSTMatten和BiGRU-GRUatten这4个模型对比,ROUGE-1提高了0.037-0.155,ROUGE-2提高了0.075-0.156,ROUGE-L提高了0.035-0.157,验证了该模型可以有效提升摘要质量。

面向人民日报语料的新闻自动摘要生成

[目的/意义]面向主流新闻媒体人民日报语料展开研究,旨在为文本自动摘要研究提供思路和实践支撑,进而应用到新闻等相关文本信息处理中,为知识聚合服务和信息获取途径研究做出贡献。[方法/过程]以新时代人民日报语料NEPD中的2015年1月、2015年6月和2016年1月的人民日报分词语料作为实验语料,基于TF-IDF、Textrank等抽取式自动摘要算法,以及基于指针生成网络的生成式自动摘要模型展开研究,并对摘要结果进行分析评价。[结果/结论]实验设计面向人民日报语料的新闻抽取式自动摘要算法,构建面向人民日报语料的新闻生成式自动摘要指针生成网络模型,并通过Rouge指标(包括Rouge-1、Rouge-2和Rouge-L 3种指标)对实验结果进行评测,为人民日报分词语料的应用提供具体思路,并对新闻自动摘要系统研究提供语料支持和实践支撑。