长度分布约束下的摘要文本无监督分割算法

作为文章内容的浓缩表达,摘要蕴含着文章关键的发现和结论。自动分析挖掘摘要内容,对于充分利用快速增长的科技文献具有重要意义。该文以Medline生物医学文章的摘要为对象,对摘要的文本分割问题进行了研究。针对摘要各论述侧面(内容块)之间在长度分布上倾向于均匀的特点,提出了一种考虑长度分布约束的摘要文本无监督分割算法,该算法以信息熵作为长度分布均匀性的度量指标,将信息熵与块内语义相似度及块间语义相似度相结合作为优化的目标函数,采用动态规划方法搜索最佳分割点。在8 603篇Medline摘要上对算法进行了实验验证,并与文献中最新的无监督分割算法进行了实验对比。结果表明,该文提出的增加了长度分布约束的分割算法更加适用于摘要文本分割,分割的准确率有3%的提高。

基于多特征融合过滤的对话文本摘要生成研究

原始对话中存在的较多无用信息会干扰模型对重要信息的关注。为此,提出一种基于多特征融合过滤的对话摘要模型,通过自适应地融合多种语义特征来过滤无用信息,实现更加准确的摘要生成。在对话摘要数据集CSDS上的实验结果表明,与先进的BART、MV-BART和BART(DALL)等模型相比,该方法在ROUGE分数上最高可提升2.89%。

基于关键词和Transformer的文本摘要生成研究

生成技术在生成摘要时忽略了关键词的作用,导致生成的摘要难以聚焦关键信息。为此,提出一种以Transformer模型为基础结构,融合关键词和卷积神经网络的文本摘要生成方法,实现以关键词为引导的摘要生成。实验在CSDS数据集上进行,结果表明该方法在ROUGE指标上均有提升,验证了其有效性。

基于深度学习文本摘要的科技名词释义生成方法

科技名词是科学技术形成、积累、交流和传播的前提和基础。为科技名词生成百科性释义,对于普通民众和中文学习者掌握科技名词内涵、正确使用术语具有很强的现实意义。文章提出了一种基于深度学习的科技名词百科释义生成方法。通过网络采集百科文本和专家撰写的术语释义文章,构建了科技名词百科释义数据集。基于T5 PEGASUS预训练模型并对模型进行微调,构建了生成式文本摘要模型和建立了科技名词释义生成系统。实验结果显示,本项研究所提出的模型在生成质量、语义连贯性和通用性等方面具有较高的性能。

基于异构图和关键词的抽取式文本摘要模型

抽取式文本摘要使用一定的策略从冗长的文本中选择一些句子组成摘要,其关键在于要尽可能多地利用文本的语义信息和结构信息。为了更好地挖掘这些信息,进而利用它们指导摘要的抽取,提出了一种基于异构图和关键词的抽取式文本摘要模型(HGKSum)。该模型首先将文本建模为由句子节点和词语节点构成的异构图,在异构图上使用图注意力网络学习节点的特征,之后将关键词抽取任务作为文本摘要任务的辅助任务,使用多任务学习的方式进行训练,得到候选摘要,最后对候选摘要进行精炼以降低冗余度,得到最终摘要。在基准数据集上的对比实验表明,该模型性能优于基准模型,此外,消融实验也证明了引入异构节点和关键词的必要性。

基于关键实体和文本摘要多特征融合的话题匹配算法

随着网络的快速普及,互联网新闻的数量剧增,在这种情况下,如何有效地找到更加符合特定主题的相关报道成为一个迫切需要解决的问题。针对这一问题,提出了基于关键实体和文本摘要多特征融合的话题匹配算法。首先,使用W2NER模型进行命名实体识别,通过词频、TF-IDF、词的合群性、词词相似度和词句相似度特征,提取关键的实体。其次,使用Pegasus模型进行文本摘要,通过BiLSTM融合关键实体特征与文本摘要特征,得到新闻文本的深层次语义特征。再次,使用交叉注意力机制对待匹配新闻进行特征交互,增进彼此的联系。最后,融合新闻文本的深层次语义特征和文本交互特征,共同参与文本话题匹配的判断。在来自于搜狐的真实数据上进行了不同算法的对比实验,结果表明:所提算法准确率和精确率均与其他算法效果相近,召回率和F1值均有所提升。

融合文本摘要和情绪感知的抑郁倾向识别

抑郁症作为世界第四大疾病,严重影响着人们的生理和心理健康。随着互联网的发展,社交媒体的发布内容已经成为研究精神疾病的重要数据源,研究者开始应用自然语言处理技术自动检测抑郁倾向。现存算法无法充分捕捉到长文本中的关键信息,忽略了对用户情绪状态的时序性建模,进而造成抑郁倾向识别性能不佳。该文提出一种融合文本摘要和情绪感知的抑郁倾向识别模型,首先利用文本摘要算法抽取用户历史文本的全局语义特征,在压缩文本长度的同时保留了与用户真实意图强相关的内容;然后利用词汇增强算法计算句子级的细粒度情绪表示,并结合深度神经网络捕获了用户的情绪变化特征。实验结果表明,该文提出的模型取得了更佳的识别效果,在抑郁倾向识别数据集上将检测结果的正类F 1值提升至75.61%。

融合卷积收缩门控的生成式文本摘要方法

在深度学习技术的推动下,基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一,尤其在生成式文本摘要任务中取得显著效果。然而,现有的采用循环神经网络的模型存在并行能力不足和时效低下的局限性,无法充分概括有用信息,忽视单词与句子间的联系,易产生冗余重复或语义不相关的摘要。为此,提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器,提取不同层次的文本表征得到上下文编码,采用卷积收缩门控单元调整编码权重,强化全局相关性,去除无用信息的干扰,过滤后得到最终的编码输出,并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式预训练Transformer(GPT)的解码模块3种不同的解码器,加强编码器与解码器的关联,以此探索能生成高质量摘要的模型结构。在LCSTS和CNNDM数据集上的实验结果表明,相比主流基准模型,设计的TCSG、ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0,验证了该方法的有效性和可行性。

基于大语言模型的教育文本幂等摘要方法

大语言模型在自然语言处理领域蓬勃发展,但在教育数字化领域应用过程中仍面临一系列重要挑战。针对教育数字化领域垂域数据稀缺、摘要长度不稳定导致信息缺失或冗余的问题,提出一种用于教育领域文本摘要的轻量化幂等模型框架IGLM。该模型首先采用多源训练进行自适应扩增以提升数据多样性,然后对下游的文本摘要任务进行多种微调。同时,为降低文本长度的影响,设计幂等摘要生成策略拉近初次摘要与幂等摘要来约束模型,减少语料分布不均导致的偏见,结合量化技术在低资源条件下生成更为精确和流畅的摘要文本。实验以ROUGE分数为评估指标,在公开中文文本摘要数据集LCSTS、EDUCATION、NLPCC上进行验证。实验结果表明,该框架在生成摘要的准确率和流畅性上有明显提升,其中ROUGE-1/2/L相较基线模型在LCSTS数据集上分别提升7.9、7.4、8.7个百分点,在EDUCATION数据集上分别提升12.9、15.4、15.7个百分点,在NLPCC数据集上分别提升12.2、11.7、12.7个百分点,验证了模型有效性。

基于文本摘要的无监督关键词抽取方法

为克服基于嵌入的关键词抽取方法在长文档上性能下降的问题,提出一种基于文本摘要的方法(summarization-based document embedding rank,SDERank)。将句向量的加权和作为文档嵌入,根据每个句子与文档主题的语义相关度赋予权重。以往基于嵌入的方法选择关键词时忽略候选词之间的关联,针对该问题,在SDERank的改进版SDERank+中,PageRank算法被用于提取候选词之间的共现权重作为相似度分数的修正。实验结果表明,在4个广泛使用的数据集上SDERank和SDERank+比之前最好的模型MDERank的F1分数平均高出2.2%和3.29%。

基于知识增强预训练模型的司法文本摘要生成

随着自然语言处理技术的发展,文本摘要技术已经被广泛应用在生活的方方面面,在司法领域,文本摘要技术能够帮助司法文本实现“降维”,对迅速了解案件详情,获取案件要素有很大的帮助,促使司法向信息化、智能化发展。但是现有的摘要生成模型应用在司法文本上,生成的摘要质量不尽如人意,还存在着生成重复、冗余,与现实情况不相符等问题,特别是当行为人存在多项罪名和多项判罚时,使用常见摘要生成模型生成的摘要会出现罪罚不匹配的情况。为了解决这些问题,提出基于知识增强预训练模型的司法文本摘要生成模型LCSG-ERNIE(legal case summary generation based on enhanced language representation with informative entities),该模型在预训练语言模型中融入司法知识,并结合对比学习的思想生成摘要,提高生成摘要的质量,减少出现的罪罚不匹配情况,最终通过实验证明提出的模型取得较好效果。

基于深度学习的子句级文本摘要模型

针对文本自动摘要任务中整句级抽取式模型存在摘要过于冗余,以及训练目标与评价目标不匹配的问题,论文提出了一种基于深度学习的子句级文本摘要模型(CS-ASum)。首先,基于依存句法从原文中抽取子句级单元;然后,利用基于BERT预训练模型和基于Transformer模型的编码器获得子句的向量表示,得到初步候选摘要;最后,通过摘要匹配器计算候选摘要和原文的语义得分,得到最佳摘要。在CNN/Daily Mail数据集上的实验结果表明,CS-ASum在自动评测和人工评测中均优于对比模型,相较于表现最好的生成式摘要模型和抽取式摘要模型,CS-ASum的平均ROUGE指标值分别提高了0.76%和1.07%,由此可见,CS-ASum模型在自动文本摘要任务中比基础模型获得了更简洁、更忠于原文的摘要。

基于二阶段对比学习的中文自动文本摘要方法研究

在中文自动文本摘要中,暴露偏差是一个常见的现象。由于中文文本自动摘要在序列到序列模型训练时解码器每一个词输入都来自真实样本,但是在测试时当前输入用的却是上一个词的输出,导致预测词在训练和测试时是从不同的分布中推断出来的,而这种不一致将导致训练模型和测试模型直接的差异。本文提出了一个两阶段对比学习框架以实现面向中文文本的生成式摘要训练,同时从摘要模型的训练以及摘要评价的建模进行对比学习。在大规模中文短文本摘要数据集(LCSTS)以及自然语言处理与中文计算会议的文本数据集(NLPCC)上的实验结果表明,相比于基线模型,本文方法可以获得更高的面向召回率的摘要评价方法(ROUGE)指标,并能更好地解决暴露偏差问题。

基于深度学习的生成式文本摘要综述

随着互联网飞速发展,文本数据呈现指数级增长,为文档管理、文本分类、信息检索等文本处理任务带来了前所未有的挑战。研究人员虽然开发了各种基于深度学习(DL)的生成式摘要(ATS)模型,但大部分最先进的ATS模型均基于DL架构,基于DL的生成式文本摘要领域仍缺乏全面的文献调查。为此,提供了一份基于DL的ATS的全面调查。首先概述了ATS的概念,然后总结了基于DL的ATS的典型模型及其面临的主要问题、处理方法,最后强调ATS任务中的一些开放性挑战,以及当下的热点、难点问题和未来研究趋势,以期帮助研究人员更好地了解该领域的最新进展。

融合关键信息与专家网络的生成式文本摘要

针对现有生成式摘要模型生成过程中存在原文本关键信息缺失和内容难控制的问题,提出一种结合抽取方法引导的生成式文本摘要方法.该方法首先通过抽取模型从原文本中获取关键句,然后采用双编码策略,分别编码关键句和新闻文本,使关键信息在解码过程中引导生成摘要,最后引入专家网络在解码时筛选信息,以进一步引导摘要生成.在数据集CNN/Daily Mail和XSum上的实验结果表明,该模型可有效改进生成式文本摘要的性能.该方法 在一定程度上提高了生成摘要对原文本关键信息的包含量,同时缓解了生成内容难控制的问题.

基于正反上下文语义对齐融合的多模态文本摘要模型

该文基于序列到序列的神经网络,提出了使用文本语义信息和图片语义信息对多模态文本摘要生成任务进行建模。具体而言,使用文本一级编码器和带有图片信息指导的二级门控编码器对多模态语义信息进行编码,对齐文本与图片的语义信息。通过多模态正向注意力机制与反向注意力机制多方面观察对齐后的源文本与图片内容,分别得到各自模态语义信息的正相关和不相关特征表示。使用正向滤波器过滤正向注意力机制中的不相关信息,使用反向滤波器过滤反向注意力机制中的相关信息,达到分别从正向与反向两个方面选择性地融合文本语义信息和图片语义信息的目的。最后基于指针生成网络,使用正相关信息搭建正向指针、使用不相关信息搭建反向指针,生成带有多模态语义信息补偿的文本摘要内容。在京东中文电子商务数据集上,所提模型生成的多模态文本摘要在ROUGE-1、ROUGE-2、ROUGE-L指标上分别取得了38.40、16.71、28.01的结果。

基于多门混合专家网络的情感分析与文本摘要多任务模型

在目前机器学习应用场景中,大多数方法仍然专注于孤立地学习单个任务,即为每个任务建立一个单独的模型。然而许多现实问题需要多模态的方法来解决,因此需要采用多任务模型。目前多门混合专家网络MMoE在多任务领域取得了不错的效果,然而在针对特定领域的学习仍然存在没有专注于独立任务的信息学习、学习任务之间联系能力不足的问题。为此,文中在多门混合网络专家模型上针对情感分析和文本摘要这一特定领域进行了优化,采用基于解码器的架构针对MMoE的架构进行重构;为解决重新设计架构带来的数据格式和流向变化的问题,同时增加针对任务独有信息的学习,设计了新的门控制网络架构;基于情感分析与文本摘要互助理论,提出两种门控制网络权值修改机制,并通过实验选择性能最佳的机制和参数。最后通过改进前后的性能对比和消融实验,证明了在情感分析和文本摘要领域,所提模型有着更优于MMoE的性能,并且每个优化都对模型性能提升有所贡献。

面向查询的文本摘要关键技术研究综述

面向查询的文本摘要是自动文摘中的一个特殊领域,可以根据用户个性化的查询需求,从原始文档或文档集中提取有价值的摘要信息。目前,该技术已经在面向查询的搜索引擎、智能化信息检索、问答系统等领域得到广泛应用,并受到越来越多的关注。文章基于面向查询的文本摘要任务的典型技术框架,从查询理解、文档处理和信息组织三个方面对其国内外研究方法的现状进行对比和分析,对不同业务场景的应用进行了举例,归纳了面向查询的文本摘要面临的挑战及发展趋势。

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

大模型深度数据挖掘——文本摘要生成与商机智能识别研究

该文探讨了如何运用大语言模型有效挖掘外呼数据和万号数据,针对两类语音转文本数据设计并实施定制化的NLP解决方案,提升业务洞察力,优化客户服务流程,并驱动潜在商机的精准识别与转化。