基于跨语种预训练语言模型XLM-R的神经机器翻译方法

探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量。提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示。在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平行语料资源丰富的翻译任务,引入XLM-R可以很好地对源语言句子进行编码,从而提高翻译质量;对双语平行语料资源匮乏的翻译任务,引入XLM-R不仅可以很好地对源语言句子进行编码,还可以对源语言端和目标语言端的知识同时进行补充,提高翻译质量。

面向汉越跨语言事件检索的事件预训练方法

汉越跨语言事件检索是用汉语查询检索越南语事件新闻的任务。由于越南语属于典型的低资源语言,汉越跨语言事件检索缺乏大规模的标注数据,并且现有的跨语言预训练模型无法很好地表征文本中丰富的汉越对齐事件知识,不适用于该任务。因此,为了将汉越双语对齐的事件知识融入到多语言预训练语言模型中,该文提出了两个预训练方法,即事件要素掩码预训练以及跨语言事件对比预训练。在该文构造的汉越跨语言事件检索数据集和公开跨语言问答数据集上进行了实验,比基线提升1%~3%MAP值,2%~4%NDCG值,证明了该文方法的有效性。

基于无监督预训练的跨语言AMR解析

抽象语义表示AMR是将给定文本的语义特征抽象成一个单根的有向无环图。由于缺乏非英文语言的AMR数据集,跨语言AMR解析通常指给定非英文目标语言文本,构建其英文翻译对应的AMR图。目前跨语言AMR解析的相关工作均基于大规模英文-目标语言平行语料或高性能英文-目标语言翻译模型,通过构建(英文,目标语言和AMR)三元平行语料进行目标语言的AMR解析。与该假设不同的是,本文探索在仅具备大规模单语英文和单语目标语言语料的情况下,实现跨语言AMR解析。为此,提出基于无监督预训练的跨语言AMR解析方法。具体地,在预训练过程中,融合无监督神经机器翻译任务、英文和目标语言AMR解析任务;在微调过程中,使用基于英文AMR 2.0转换的目标语言AMR数据集进行单任务微调。基于AMR 2.0和多语言AMR测试集的实验结果表明,所提方法在德文、西班牙文和意大利文上分别获得了67.89%,68.04%和67.99%的Smatch F1值。

基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-GNN。该方法统一了文本和知识图谱的实体表示方式,利用大型生物医学知识库构造子图并进行去噪,改进文本和子图实体的信息交互方式,增加对应文本和子图节点的直接交互,使得两个模态的信息能够深度融合。同时,利用知识图谱的路径信息对模型推理过程提供了可解释性。在公开数据集MedQA-USMLE和MedMCQA上的测试结果表明,与现有的生物医学领域联合推理模型相比,DF-GNN可以更可靠地利用结构化知识进行推理并提供解释性。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

基于预训练语言模型的旅游评论文本方面级情感分析研究

为了促进旅游行业的消费和经济发展,对游客在线上平台发表的景区评论文本进行分析,深入挖掘其中的细粒度情感信息,以更好地迎合游客的偏好。在实际场景中,一个句子会涉及多个实体词,致使难以准确识别它们对应的情感属性关系;且旅游场景下的数据集存在稀缺和样本不平衡问题。由此构建了基于深度学习和提示知识的预训练语言模型,通过构建离散提示模板联合训练两个子任务,并对数据集中的少数样本进行了数据增强处理,同时在训练阶段为损失函数设置不同的权重。实验结果显示,模型在旅游评论文本数据集和公开数据集SemEval2014_Restaruant上取得了显著效果,F1值分别达到了80.81%和83.71%,有助于旅游机构实现对每个城市景点的个性化分析。

大型预训练语言模型在新闻报道中的应用及优化路径

本文分别使用三个大型预训练语言模型,试验了三种新闻体裁(消息、评论、通讯)的内容自动生成,并测试了三个模型的文稿校对能力,讨论在实际应用中潜在的准确性、偏见和伦理问题。最后,本文提出了未来研究方向,以期推动大型预训练语言模型(如BERT、GPT等)在新闻报道中的有效应用。

利用语义关联增强的跨语言预训练模型的译文质量评估

机器翻译质量评估(QE)是在不依赖参考译文的条件下,自动对机器翻译译文进行评估。当前人工标注数据稀缺,使得神经QE模型在自动检测译文错误方面还存在较大问题。为了更好地利用规模庞大但却缺少人工标注信息的平行语料,该文提出一种基于平行语料的翻译知识迁移方案。首先采用跨语言预训练模型XLM-R构建神经质量评估基线系统,在此基础上提出三种预训练策略增强XLM-R的双语语义关联能力。该文方法在WMT 2017和WMT 2019的英德翻译质量评估数据集上都达到了最高性能。

基于跨语言词嵌入对齐增强少数民族预训练语言模型

由于民族语言与汉语之间的词嵌入语义空间差距较大,导致预训练语言模型的跨语言迁移效果不佳。为此,该文设计了一个通过静态词嵌入对齐到上下文词嵌入空间中的新框架,以提升少数民族跨语言预训练语言模型在下游任务中的表现。该文首先将由大规模单语数据训练的静态词嵌入进行跨语言对齐;其次,基于民汉平行语料从少数民族预训练语言模型CINO中抽取上下文词嵌入,并设计两种损失函数:双语词典归纳损失、对比学习损失,实现静态词嵌入对齐到上下文词嵌入的共享语义空间中;最后,我们将结合静态与上下文跨语言词嵌入对齐的CINO增强模型应用于双语词典归纳、文本分类以及机器翻译任务中,在多个语言对上的实验结果表明,相比鲁棒的基线系统,该文方法在标注语料匮乏的下游任务中均达到了显著的性能提升。

融合非偏好注意力跨度的预训练语言模型

语言模型是自然语言处理领域最重要的任务之一,并以迁移学习的方式影响着机器翻译、机器阅读理解、自动文本摘要等诸多下游任务。依托多头自注意力构建的大规模预训练语言模型在特征提取和文本表征能力上相较之前的神经网络模型取得了较大提升,却也极大地增加了模型训练的时空复杂度。为此,从模糊群决策的角度出发,将毕达哥拉斯模糊非偏好函数用作多头注意力跨度范围的先验,提出一种自适应的注意力跨度调节机制,较大程度地改善了模型捕捉长距离文本依赖的能力,并使模型的整体计算复杂度相较原始Transformer结构维持在较低水平。公开语言模型数据集上的实验表明:所提方法在困惑度指标上取得了较好的性能,超越了多种以往的方法。

基于多阶段训练的跨语言摘要技术

为解决跨语言摘要(Cross-Lingual Summarization,CLS)模型语义理解、跨语言对齐和文本生成能力不高的问题,提出了一个基于多阶段训练的英-中跨语言摘要模型。首先,进行多语言去噪预训练,同时学习中、英文的通用语言知识;其次,进行多语言机器翻译微调,同时学习对英文的语义理解、从英文到中文的跨语言对齐以及中文的文本生成能力;最后,进行CLS微调,进一步学习特定于CLS任务的语义理解、跨语言对齐和文本生成能力,最终获得一个性能优异的英-中跨语言摘要模型。实验结果表明所提模型的CLS性能有明显提升,且多语言去噪预训练和多语言机器翻译均可提高模型性能。与众多基线模型中的最优性能相比,所提模型在英-中跨语言摘要基准集上将ROUGE-1、ROUGE-2和ROUGE-L值分别提升了45.70%、60.53%和43.57%。

基于预训练语言模型的安卓恶意软件检测方法

近年来,基于有监督机器学习的安卓恶意软件检测方法取得了一定进展。但是,由于恶意软件样本搜集困难,带标签的数据集规模一般较小,导致训练出的有监督模型泛化能力有限。针对这一问题,提出无监督和有监督相结合的恶意软件检测方法。首先,使用无监督方法预训练语言模型,从大量无标记APK样本中学习字节码中丰富、复杂的语义关系,提高模型的泛化能力。然后,利用有标记的恶意软件样本对语言模型进行微调,使其能更有效地检测恶意软件。在Drebin等实验数据集上的实验结果表明,相比基准方法,提出的方法泛化能力更好,检测性能更优,最高检测准确率达98.7%。

基于预训练模型的受控文本生成研究综述

自然语言生成(NLG)作为人工智能的一个分支,近年来随着预训练语言模型(PLMs)的发展取得了显著进展。NLG旨在根据多种输入源(如文本、图像、表格和知识库)生成连贯、有意义的文本。研究者通过架构扩展、微调和提示学习等方法提升了PLMs的性能。然而,NLG在处理非结构化输入和低资源语言生成方面仍面临挑战,尤其是在缺乏足够训练数据的环境中。为探讨NLG的最新发展、应用前景以及所面临的挑战,通过文献分析,提出PLMs性能改进策略,并展望未来研究方向。研究表明,尽管存在诸多限制,但NLG在内容创作、自动新闻报导、对话系统等领域已展现出潜力。随着技术的不断进步,NLG在自然语言处理和人工智能领域将扮演更重要的角色。

基于预训练语言模型的繁体古文自动句读研究

未经整理的古代典籍不含任何标点,不符合当代人的阅读习惯,古籍加断句标点之后有助于阅读、研究和出版。该文提出了一种基于预训练语言模型的繁体古文自动句读框架。该文整理了约10亿字的繁体古文语料,对预训练语言模型进行增量训练,在此基础上实现古文自动句读和标点。实验表明,经过大规模繁体古文语料增量训练后的语言模型具备更好的古文语义表示能力,能够有助提升繁体古文自动句读和自动标点的效果。融合增量训练模型之后,古文断句F1值达到95.03%,古文标点F1值达到了80.18%,分别比使用未增量训练的语言模型提升1.83%和2.21%。为解决现有篇章级句读方案效率低的问题,该文改进了前人的串行滑动窗口方案,在一定程度上提高了句读效率,并提出一种新的并行滑动窗口方案,能够高效准确地进行长文本自动句读。

基于预训练语言模型的维吾尔语事件抽取

以往的维吾尔语事件抽取研究多采用静态词向量加长短时记忆神经网络的分析方式,无法有效处理一词多义和上下文语义表示问题。针对目标语言,训练两种维吾尔语预训练语言模型,提出一种结合BiGRU的联合问答模型事件抽取方法。利用预训练语言模型获取文本的动态语义向量,融合类别表征信息,运用BiGRU进一步提取文本特征。实验结果表明,在事件识别任务上F1值达到77.96%,在事件主体抽取任务上F1值达到74.89%。相比基线模型NER方法,所提方法的F1值提高了14.08%。

基于预训练模型的药物不良事件抽取方法研究

目的/意义研究医学文本药物不良事件数据抽取方法,为临床用药风险管理和科学决策提供支持。方法/过程基于预训练模型,结合实体识别和关系抽取两个子任务的关联性,设计面向药物不良事件监测的实体关系联合抽取方法。结果/结论在公开药物不良事件抽取数据集上的实验表明,该方法优于已有方法,能够有效地从医学文本中提取药物不良事件信息及其关系,为药物不良事件的发现与监测提供有力手段。

基于电力设备大数据的预训练语言模型构建和文本语义分析

在电力设备运维管理过程中,如何运用非结构化文本信息,构造电力设备文本语义分析模型,挖掘非结构化文本信息,提升设备缺陷和故障的诊断速度和准确性,辅助电网运行检修决策,是非常具有应用价值的问题。该文提出基于超大规模预训练方法的电力设备文本语义分析模型(PowerBERT)。该模型基于多头注意力机制,采用多层嵌入语义表达结构,模型总参数超过1.1亿,实现对电力文本内蕴含的信息的理解和分析。基于超过18.62亿字符的电力标准、管理规定及检修记录文本构成的电力专业语料,并采用字符掩码、实体掩码、片段掩码等多种掩码机制和动态加载策略开展模型预训练。针对电力设备文本分析场景,在电力文本实体识别、信息抽取和缺陷诊断场景进行任务场景训练和优化。与传统深度学习算法进行对比实验的结果表明,该文所提方法在基于极少的场景任务样本的情况下,在验证集和测试集上实现召回率和精准度20%~30%的性能提升。

预训练语言模型的应用综述

近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、多语言预训练模型以及中文预训练模型;然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献,即信息提取、情感分析、问答系统、文本摘要和机器翻译;最后讨论了预训练模型的应用所面临的一些挑战。

一种基于预训练模型掩码Aspect术语的数据增强方法

数据增强是解决低资源场景下数据稀缺问题的有效方案。然而,当应用于诸如方面术语提取(ATE)之类的词级别任务时,数据增强方法通常会遭受词标签不对齐的问题,从而导致效果不理想。对此提出了掩码方面语言建模(MALM)作为ATE的新型数据增强框架。为了缓解标记、标签错位问题,将ATE标签显式注入到句子上下文中,由此经过微调的MALM能够显式地调整标签信息来预测掩码的方面标记。因此,MALM可帮助生成具有新方面的高质量增强数据,提供丰富的层面方面知识。此外,提出了一个两阶段的训练策略来整合这些合成数据。通过实验,证明了MALM在两个ATE数据集上的有效性,相比基线方法,所提出的MALM有显著的性能改进。

基于预训练语言模型的管制信息抽取方法

在空中交通管理中,管制员使用管制指令调节航空器状态,飞行员通过复诵指令进行确认。管制指令的正确理解对飞行安全具有重大意义。提出一种新的管制信息抽取方法,即基于语言模型的预训练和微调,通过迁移学习实现小样本管制信息抽取。该方法在训练数据量降低时,仍能实现准确率的提升。仿真结果表明,新模型对管制信息抽取的准确率不低于98%,可以有效提取管制指令中的关键信息。该方法可提升空管系统的智慧化程度,辅助管制员理解管制指令内容,支撑飞行冲突检测,保障航空运输安全。