基于深度学习文本摘要的科技名词释义生成方法

科技名词是科学技术形成、积累、交流和传播的前提和基础。为科技名词生成百科性释义,对于普通民众和中文学习者掌握科技名词内涵、正确使用术语具有很强的现实意义。文章提出了一种基于深度学习的科技名词百科释义生成方法。通过网络采集百科文本和专家撰写的术语释义文章,构建了科技名词百科释义数据集。基于T5 PEGASUS预训练模型并对模型进行微调,构建了生成式文本摘要模型和建立了科技名词释义生成系统。实验结果显示,本项研究所提出的模型在生成质量、语义连贯性和通用性等方面具有较高的性能。

基于模型的新闻文本自动摘要研究

针对传统文本摘要模型参数多、运算耗时长等问题,基于改进BERTSUM模型,探索了BERT模型的蒸馏变体DistilBERT、MobileBERT在CNN/DM数据集上所表现出的摘要性能,并由此提出一种轻量化抽取式摘要模型(DistilSum)。试验对比分析表明,该模型保留了原模型99%的性能,同时训练参数缩减了约36%,训练时间大幅减少。

以对比学习与时序递推提升摘要泛化性的方法

为了有效缓解基于交叉熵损失函数训练的传统文本摘要模型所面临的推理过程中性能下降、泛化性较低、生成过程中曝光偏差现象严重、生成的摘要与参考摘要文本相似度较低等问题,提出了一种新颖的训练方式,一方面,模型本身以beamsearch的方式生成候选集,以候选摘要的评估分数选取正负样本,在输出的候选集中以“argmax-贪心搜索概率值”和“标签概率值”构建2组对比损失函数;另一方面,设计作用于候选集句内的时序递推函数引导模型在输出每个单独的候选摘要时确保时序准确性,并缓解曝光偏差问题。实验表明,所提方法在CNN/DailyMail和Xsum公共数据集上的泛化性得到提升,Rouge与BertScore在CNN/DailyMail上达到47.54和88.51,在Xsum上达到了48.75和92.61。

CINOSUM:面向多民族低资源语言的抽取式摘要模型

针对现有的模型无法处理多民族低资源语言自动摘要生成的问题,基于CINO提出了一种面向多民族低资源语言的抽取式摘要模型CINOSUM。为扩大文本摘要的语言范围,首先构建了多种民族语言的摘要数据集MESUM。为解决以往模型在低资源语言上效果不佳的问题,构建了一个框架,采用统一的句子抽取器,以进行不同民族语言的抽取式摘要生成。此外,提出采用多语言数据集的联合训练方法,旨在弥补知识获取上的不足,进而扩展在低资源语言上的应用,显著增强模型的适应性与灵活性。最终,在MESUM数据集上开展了广泛的实验研究,实验结果表明CINOSUM模型在包括藏语和维吾尔语在内的多民族低资源语言环境中表现卓越,并且在ROUGE评价体系下取得了显著的性能提升。

学术期刊论文摘要中立场标记的国际化研究——以语言学期刊论文英文摘要为例

作为特殊的学术体裁,其宏观语步结构与元话语使用特征受到学界广泛关注,但鲜有研究从历时角度在摘要各语步内考察立场标记的使用特征。鉴于此,本研究基于自建语料库,考察学术期刊论文摘要各语步内近二十年间(2002-2022)立场标记使用的历时变化特征。研究发现,近二十年间,模糊限制语在目的语步中使用频率显著下降,强势限定语在结果语步中使用频率小幅上升,自指标记语在各语步中使用频率均显著下降,态度标记语使用频率变化不大。结果表明,二十年间我国语言学研究立场表达策略以及知识构建方式发生一定转变,呈现出国际化趋势。本研究对理解学术期刊论文摘要语步内立场标记使用特征和学术英语写作教学具有一定参考价值。

Lacmia:抗混淆的多民族语言生成式摘要模型

该文提出了一种针对中国多民族低资源语言生成式摘要模型Lacmia(Language-Anti-confusioned Chinese Minority Abstractive Summarization Model)。为了克服以往模型只能处理单一语言的限制,Lacmia采用了一种统一的生成式架构来执行不同民族语言的摘要生成任务。此外,为了解决以往模型在多民族低资源语言处理上的性能不足问题,该模型在框架中加入了语言信息嵌入模块。该文通过在损失函数中引入目标语言偏好性正则化项,有效减轻了多语言摘要中出现的语言混淆现象,从而提升摘要生成准确性和流畅度。广泛的实验表明,Lacmia在包括藏语和维吾尔语在内的多民族低资源语言摘要任务中,取得了卓越成绩。除了在ROUGE评价标准上实现了显著性能提升外,Lacmia在该文新提出的CINOScore和NLCR两项指标上均达到了最佳效果,验证了模型的有效性和先进性。

医学期刊中结构式英文摘要的撰写

1 概述随着医学科学的快速发展,我国同国际间的学术交流也日益频繁。为了实现国际医学科研成果的共享,联合国教科文组织规定:公开发表的科技论文必须附有英文摘要。1986年我国发布了GB 6447-86《文摘编写规则》,提出生物医学论著必须附有英文摘要[1]。国际医学期刊编辑委员会推荐采用结构式摘要,国内中华医学系列期刊以及国外多数著名医学期刊都明确要求写结构式摘要。本文通过举例来说明结构式英文摘要撰写的基本要求。

基于实体复制和双粒度指导的抽象摘要

抽象神经网络在文本摘要领域取得了长足进步,展示了令人瞩目的成就.然而,由于抽象摘要的灵活性,它很容易造成生成的摘要忠实性差的问题,甚至偏离源文档的语义主旨.针对这一问题,本文提出了两种方法来提高摘要的保真度.(1)由于实体在摘要中起着重要作用,而且通常来自于原始文档,因此本文提出允许模型从源文档中复制实体,确保生成的实体与源文档中的实体相匹配,这有助于防止生成不一致的实体.(2)为了更好地防止生成的摘要与原文产生语义偏离,本文在摘要生成过程中使用关键实体和关键token作为两种不同粒度的指导信息以指导摘要的生成.本文使用ROUGE指标在两个广泛使用的文本摘要数据集CNNDM和XSum上评估了本文方法的性能,实验结果表明,这两种方法在提高模型性能方面都取得了显著的效果.此外,实验还证明了实体复制机制可以在一定程度上借助指导信息以纠正引入的语义噪声.

医学论文英文摘要名词特点及用法探析

以自建语料库为驱动,发现相较于一般英语文章,医学论文英文摘要在名词使用上具有高频使用名词串和名词化词汇的特点。提取主题词,发现医学论文英文摘要的名词主题词大多和医学主题密切相关。调查主题词Patients和Study的用法,发现和共现词语之间呈现出一定的搭配形式和语义韵。

基于语料库的中英医学类期刊摘要语步中词块特征的对比研究

本文基于自建的小型语料库,以中英医学期刊摘要各语步上出现的三词词块作为研究对象,分析对比中英医学期刊英语摘要的高频词块,以及中英医学期刊摘要四个语步上的高频词块和词块的结构特征。结果表明:中国作者和英语本族语作者在高频词块的使用类别和频数上既有相似性又有差异性;各语步上词块结构的分布存在一些差异。

基于多特征融合过滤的对话文本摘要生成研究

原始对话中存在的较多无用信息会干扰模型对重要信息的关注。为此,提出一种基于多特征融合过滤的对话摘要模型,通过自适应地融合多种语义特征来过滤无用信息,实现更加准确的摘要生成。在对话摘要数据集CSDS上的实验结果表明,与先进的BART、MV-BART和BART(DALL)等模型相比,该方法在ROUGE分数上最高可提升2.89%。

基于关键词和Transformer的文本摘要生成研究

生成技术在生成摘要时忽略了关键词的作用,导致生成的摘要难以聚焦关键信息。为此,提出一种以Transformer模型为基础结构,融合关键词和卷积神经网络的文本摘要生成方法,实现以关键词为引导的摘要生成。实验在CSDS数据集上进行,结果表明该方法在ROUGE指标上均有提升,验证了其有效性。

中外学者农科类英语学术论文摘要元话语对比研究

摘要是学术观点的载体,也是论文被检索和收录的重要依据。目前对科技论文的中英文摘要研究众多,但是涉及范围过大,缺乏针对性。本研究随机选取SCI近10年来收录的中外学者农科类学术论文英文摘要各30篇建成语料库,对摘要中的元话语展开对比分析,探讨中外学者使用元话语的异同。研究发现,中外学者学术论文摘要中元话语的运用既有共性也存在差异性,共性大于差异性。其可能的原因是英语学术论文摘要的国际规约以及中国学术国际化的推动。元话语研究不仅有助于更好地进行学术论文摘要的阅读和撰写,也为语言教学实践提供有益启示。

基于分层表示和上下文增强的类摘要生成技术

代码摘要是源代码的自然语言解释,高质量的代码摘要有助于提高开发人员程序理解效率.近年来,代码自动摘要的研究集中在为方法粒度的代码片段生成摘要.然而,对于面向对象的语言,例如Java,类才是项目的基本组成单元.基于上述问题,提出一种基于分层表示和上下文增强的类摘要生成方法HRCE(hierarchical representation and context enhancement),并构建了一个包含358 992个?Java类,上下文,摘要?数据对的类摘要数据集.HRCE使用代码精简策略去除类的非关键代码,从而缩短代码长度.然后,对类的层次结构,包括类签名、属性和方法分别进行建模,获得类的语义信息和层次结构信息.此外,从项目中抽取父类的签名及摘要来刻画类在项目中依赖的上下文.实验表明,基于分层表示和上下文增强的生成模型能够表征代码的语义和层次结构,并可以从目标类的内部和外部获取信息. HRCE在BLEU,METEOR,ROUGE-L等评估指标上超过了所有基准模型.

基于子句抽取的文本摘要自动提取算法

TextRank算法及SWTextRank等改进算法在抽取式摘要生成中得到了广泛的应用,但它们都没有有效地解决抽取式摘要所存在的冗余性问题。为此,提出一种基于子句抽取的文本摘要自动提取算法(PTextRank)。首先,使用Sinica Treebank(STB)对每个句子进行语法标记,进而基于子句设置抽取单元;接着,使用BERT(Bidirectional Encoder Representation from Transformers)构建标题和每个子句的特征向量,并计算子句特征向量间的相似性,将其存放在相似度矩阵中;最后结合子句位置、子句与标题的相似度等调整子句相似度矩阵,迭代计算直至收敛,进而选取得分最高的子句作为最终摘要。实验分析表明,PTextRank算法有效地避免了多个句子中存在的冗余信息,且相比于TextRank和SWTextRank,PTextRank生成摘要的准确率至少提高6%,同时生成的摘要质量更好。

基于审判逻辑步骤的裁判文书摘要生成方法

面向裁判文书的司法摘要是提升裁判文书分析能力的关键技术。裁判文书作为审判活动的载体,精准地呈现了案件的审判逻辑,但目前针对裁判文书的摘要方法只关注裁判文书的序列化信息,忽视了裁判文书的逻辑结构,且不能有效解决文本过长、信息冗余等问题。提出基于审判逻辑步骤的裁判文书摘要生成方法,采取“抽取+生成”相结合的方式,在抽取部分利用多标签分类方法,依据人民法院审理案件的逻辑步骤抽取出“类型、诉请、事实、结果”四个句子集合,在生成部分由微调后的T5-PEGASUS模型得到摘要。利用基于内部知识的最大相似度匹配算法对“事实”部分的输入文本进行降噪处理,进一步改善了摘要效果。实验结果表明,相比于主流的指针生成网络模型,该方法在ROUGE-1、ROUGE-2和ROUGE-L的F1指标上分别提升了17.99个百分点、21.24个百分点、21.86个百分点,说明在司法摘要任务中引入逻辑结构能够提升性能。

基于语义相关性分析的多模态摘要模型

多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误。针对上述问题,提出一种基于语义相关性分析的多模态摘要模型。首先,在Seq2Seq框架基础上对多模态摘要进行训练,生成语义多样性的候选摘要;其次,构建基于语义相关性分析的摘要评估器,从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE(Recall-Oriented Understudy for Gisting Evaluation)的排序模式,从而在摘要样本层面优化模型;最后,不依赖参考摘要,利用摘要评估器对候选摘要进行评价,使得选出的摘要与源文本在语义空间中尽可能相似。实验结果表明,在公开数据集MMSS上,相较于MPMSE(Multimodal Pointer-generator via Multimodal Selective Encoding)模型,所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点。

基于无监督学习和监督学习的抽取式文本摘要综述

相较于生成式摘要方法,抽取式摘要方法简单易行、可读性强,使用范围广。目前,抽取式摘要方法综述文献仅对特定的某个方法或领域进行分析综述,缺乏多方面、多语种的系统性综述,因此探讨文本摘要生成任务的内涵,通过系统梳理和提炼现有的相关文献,对无监督学习和监督学习的抽取式文本摘要技术进行多维度、全方位的分析。首先,回顾文本摘要技术的发展,分析不同的抽取式文本摘要方法,主要包括基于规则、词频-逆文件概率(TFIDF)、中心性方法、潜在语义、深度学习、图排序、特征工程和预训练学习等,并对比不同方法的差异;其次,详细介绍不同语种文本摘要生成的常用数据集和主流的评价指标,通过不同的实验指标对相同数据集上的方法进行比较;最后,指出当前抽取式文本摘要研究中存在的主要问题和挑战,并提出具体的解决思路和未来发展趋势。

医学论文结构式英文摘要的翻译问题分析及撰写方法探讨

以《菏泽医学专科学校学报》录用稿件中作者撰写的英文摘要为对象,分析归纳英文摘要撰写中存在的问题。结合语料库对比研究结果和多年编校工作经验,分别阐述目的、方法、结果、结论四部分的撰写策略。目的语步采用主动句式过去时态或不定式短语表达,方法部分采用过去时态,主动语态与被动语态均使用,动词多为具有“使用意义”的词语,结果部分一般采用过去时态,结论部分采用一般现在时态和主动语态,倾向于使用模糊语动词、模糊语情态助动词等。

基于异构图和关键词的抽取式文本摘要模型

抽取式文本摘要使用一定的策略从冗长的文本中选择一些句子组成摘要,其关键在于要尽可能多地利用文本的语义信息和结构信息。为了更好地挖掘这些信息,进而利用它们指导摘要的抽取,提出了一种基于异构图和关键词的抽取式文本摘要模型(HGKSum)。该模型首先将文本建模为由句子节点和词语节点构成的异构图,在异构图上使用图注意力网络学习节点的特征,之后将关键词抽取任务作为文本摘要任务的辅助任务,使用多任务学习的方式进行训练,得到候选摘要,最后对候选摘要进行精炼以降低冗余度,得到最终摘要。在基准数据集上的对比实验表明,该模型性能优于基准模型,此外,消融实验也证明了引入异构节点和关键词的必要性。