基于跨语种预训练语言模型XLM-R的神经机器翻译方法

探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量。提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示。在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平行语料资源丰富的翻译任务,引入XLM-R可以很好地对源语言句子进行编码,从而提高翻译质量;对双语平行语料资源匮乏的翻译任务,引入XLM-R不仅可以很好地对源语言句子进行编码,还可以对源语言端和目标语言端的知识同时进行补充,提高翻译质量。

预训练大语言模型发展对中国数字创意产业的启示

预训练大语言模型与数字创意产业的结合,一方面可以促进预训练大语言模型技术研发和应用,推动自然语言处理相关产业发展,另一方面也可以为数字创意产业提供更高效、精准的解决方案,促进产业数字化转型升级。然而,目前中国预训练大语言模型在数字创意产业的运用主要侧重于文本识别生成和语音生成等领域。为此,通过阐述预训练大语言模型以及中国数字创意产业的发展现状,梳理预训练大语言模型在数字创意产业的应用范畴和商业布局,综合分析作为新质生产力引擎的预训练大语言模型在中国数字创意产业发展中的机遇与挑战,并为中国数字创意产业的发展提出建议。研究发现:融合发展是中国数字创意产业的重要趋势,网络文学、动漫游戏、短视频等细分产业开始发展出完整的产业链条;预训练大语言模型可提升数字创意产业的内容生成效率、丰富艺术创意、拓展数字娱乐形式,也可以加强社交媒体分析监测、提高跨语言应用的效率、辅助科研教育,带来提升数字创意产业的智能化水平、增强用户黏性、数字创意生产者身份多元化等机遇,但同时也面临数据成本、隐私安全、知识产权等问题。提出未来在预训练大语言模型应用于数字创意产业的发展中,重视构建相关监管评估框架和知识产权保护体系,提升多模态技术水平,强化智能算力体系建设,以推动数字创意产业的智能化发展。

基于视觉-语言预训练模型的零样本迁移学习方法综述

近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模型强大的泛化性能,使用视觉-语言预训练模型不仅能提高零样本识别任务的准确率,而且能够解决部分传统方法无法解决的零样本下游任务问题。对基于视觉-语言预训练模型的ZST方法进行概述,首先介绍了零样本学习(FSL)的传统方法,并对其主要形式加以总结;然后阐述了基于视觉-语言预训练模型的ZST和FSL的区别及其可以解决的新任务;其次介绍了基于视觉-语言预训练模型的ZST方法在样本识别、目标检测、语义分割、跨模态生成等下游任务中的应用情况;最后对现有的基于视觉-语言预训练模型的ZST方法存在的问题进行分析并对未来的研究方向进行展望。

基于预训练语言模型的机器翻译最新进展

自然语言处理涉及许多重要主题,其中之一是机器翻译。预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法。因此,许多研究人员使用预训练语言模型来解决机器翻译问题。为推动研究向前发展,首先概述了这一领域的最新进展,包括主要的研究问题和基于各种预训练语言模型的解决方案;其次比较了这些解决方案的动机、共性、差异和局限性;然后总结了训练这类机器翻译模型常用的数据集,以及评估这些模型的指标;最后讨论了进一步的研究方向。

基于增强优化预训练语言模型的电力数据实体识别方法

知识图谱可有效整合电力系统中的多源数据,提升电网的知识管理水平。针对电力文本数据集稀缺、实体类型多样、专业性强的特点,提出1种基于增强优化预训练语言模型的电力数据实体识别方法。该方法使用实体词袋替换的数据增强技术扩大原始数据集,采用增强优化预训练语言模型(RoBERTa)进行动态语义编码,利用双向长短期记忆网络(BiLSTM)和条件随机场(CRF)提取特征并优化标签。实验结果表明,该实体识别方法比传统基于深度学习的实体识别方法的平均数指标F1分数高2.17%,证实其对构建电力数据知识图谱的识别效果。

面向汉越跨语言事件检索的事件预训练方法

汉越跨语言事件检索是用汉语查询检索越南语事件新闻的任务。由于越南语属于典型的低资源语言,汉越跨语言事件检索缺乏大规模的标注数据,并且现有的跨语言预训练模型无法很好地表征文本中丰富的汉越对齐事件知识,不适用于该任务。因此,为了将汉越双语对齐的事件知识融入到多语言预训练语言模型中,该文提出了两个预训练方法,即事件要素掩码预训练以及跨语言事件对比预训练。在该文构造的汉越跨语言事件检索数据集和公开跨语言问答数据集上进行了实验,比基线提升1%~3%MAP值,2%~4%NDCG值,证明了该文方法的有效性。

问答式林业预训练语言模型ForestBERT

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。

基于无监督预训练的跨语言AMR解析

抽象语义表示AMR是将给定文本的语义特征抽象成一个单根的有向无环图。由于缺乏非英文语言的AMR数据集,跨语言AMR解析通常指给定非英文目标语言文本,构建其英文翻译对应的AMR图。目前跨语言AMR解析的相关工作均基于大规模英文-目标语言平行语料或高性能英文-目标语言翻译模型,通过构建(英文,目标语言和AMR)三元平行语料进行目标语言的AMR解析。与该假设不同的是,本文探索在仅具备大规模单语英文和单语目标语言语料的情况下,实现跨语言AMR解析。为此,提出基于无监督预训练的跨语言AMR解析方法。具体地,在预训练过程中,融合无监督神经机器翻译任务、英文和目标语言AMR解析任务;在微调过程中,使用基于英文AMR 2.0转换的目标语言AMR数据集进行单任务微调。基于AMR 2.0和多语言AMR测试集的实验结果表明,所提方法在德文、西班牙文和意大利文上分别获得了67.89%,68.04%和67.99%的Smatch F1值。

基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-GNN。该方法统一了文本和知识图谱的实体表示方式,利用大型生物医学知识库构造子图并进行去噪,改进文本和子图实体的信息交互方式,增加对应文本和子图节点的直接交互,使得两个模态的信息能够深度融合。同时,利用知识图谱的路径信息对模型推理过程提供了可解释性。在公开数据集MedQA-USMLE和MedMCQA上的测试结果表明,与现有的生物医学领域联合推理模型相比,DF-GNN可以更可靠地利用结构化知识进行推理并提供解释性。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

基于知识图谱和预训练语言模型的儿童疫苗接种风险预测

基层医疗机构的医生缺少患病儿童疫苗接种风险的判断能力,通过学习高水平医院医生的经验来研发儿童疫苗接种风险预测模型,从而帮助基层医疗机构医生快速筛查高风险患儿,是一种可行的方案.本文提出了一种智能化的基于知识图谱的疫苗接种建议推荐方法.首先,提出了一种基于预训练语言模型的医学命名实体识别方法ELECTRA-BiGRU-CRF,用于门诊电子病历命名实体抽取.其次,设计疫苗接种本体,定义关系及属性,基于Neo4j构建了中文儿童疫苗接种知识图谱.最后,基于构建的中文疫苗接种知识图谱,提出了一种基于预训练语言模型进行显著性类别指导的疫苗接种建议分类推荐方法.实验结果表明,本文研究方法可以为医生提供辅助诊断,对于患病儿童能否接种疫苗提供决策支持.

基于预训练语言模型的电网检修计划异常检测

[目的/意义]电网检修计划异常检测技术可以发现电网检修计划内存在的异常,对于电网通信系统检修活动的正常开展和电力通信系统的稳定运行至关重要。目前,电网检修计划异常检测主要依靠人工判别的方式寻找检修计划的异常,存在准确率低与效率低下的问题。[方法/过程]提供了一种基于预训练语言模型的电网检修计划异常检测方法,使用电网的检修计划数据对预训练语言模型进行微调,使得预训练语言模型能够获取相关领域的专业知识,同时充分利用预训练语言模型的上下文感知能力和领域通用性,使预训练语言模型能够深入理解检修计划的复杂语境,从而发现检修计划中存在的异常。[结果/结论]实验证明,相较于传统方法,该异常检测方法能够有效优化电网检修计划异常检测的性能。

基于混合预训练语言模型的中文词汇简化方法

针对中文词汇简化(Chinese lexical simplification,CLS)任务缺乏关注的问题,提出一种基于混合预训练语言模型的CLS方法。采用回译策略构建一个大规模复述语料,首次实现基于复述模型的CLS方法;在实现当前最优的4种CLS方法的基础上,提出一种基于顺序的多数投票机制,以选择最佳的替换词。实验结果表明,与基线方法相比,混合方法优于其他所有单一方法,其简化准确性得以显著提升。

基于预训练语言模型的互联网开源信息抽取与情报分析应用研究——以“学术、讲座、论坛”等会议活动为例

[目的/意义]互联网开源信息具有海量、多源异构等特点,如何从中及时发现有价值的信息,并对信息加以情报利用一直是情报研究和实践应用的重点领域之一。文章提出一套开源的学术会议领域信息抽取框架,解决信息抽取语义理解和关联融合的问题,并将其应用于情报研究中,为解决情报分析的智能应用提供工具和方法。[方法/过程]采集网络上新闻报道的内容,采用预训练语言模型方法挖掘学术会议事件信息,提出面向特定领域的信息抽取框架,实现会议名称及其举办时间、地点、出席人、发言人信息的抽取,并进行实际的情报利用研究案例分析。[结果/结论]相较于单一抽取实体的方法,抽取会议核心元素更具有情报关联性和准确性,可以更好地对开源热点事件发现和跟踪监测、目标人物轨迹动向分析等研究提供方法,为情报分析应用和情报研判奠定基础。

融入黏着语特征的蒙古文预训练语言模型

预训练语言模型(PLM)在自然语言处理(NLP)任务上应用广泛且表现优异。目前预训练语言模型主要在英语和中文等资源丰富的语言上进行训练,由于缺乏大规模的数据资源及语言特征的复杂性,导致预训练语言模型尚未在低资源语言上进行深入研究,特别是蒙古文等黏着语。为了解决数据稀缺的问题,本研究创建了大规模的蒙古语预训练数据集并建立了三个下游任务的数据集,分别为新闻分类任务、命名实体识别任务(NER)、词性标注任务(POS),在此基础上提出了一种融入黏着语特征的蒙古文预训练语言模型IAMC⁃BERT。该模型将蒙古文黏着语特性融入tokenization阶段和预训练语言模型训练阶段。具体来说,to⁃kenization阶段旨在将蒙古文单词序列转换为包括词干和一些后缀的细粒度子词;训练阶段设计了一种基于形态学的掩蔽策略,以增强模型学习黏着语特征的能力。在三个下游任务上的实验结果表明,该方法超越了传统的BERT方法,成功地融入了蒙古文黏着语特征。

基于预训练语言模型的旅游评论文本方面级情感分析研究

为了促进旅游行业的消费和经济发展,对游客在线上平台发表的景区评论文本进行分析,深入挖掘其中的细粒度情感信息,以更好地迎合游客的偏好。在实际场景中,一个句子会涉及多个实体词,致使难以准确识别它们对应的情感属性关系;且旅游场景下的数据集存在稀缺和样本不平衡问题。由此构建了基于深度学习和提示知识的预训练语言模型,通过构建离散提示模板联合训练两个子任务,并对数据集中的少数样本进行了数据增强处理,同时在训练阶段为损失函数设置不同的权重。实验结果显示,模型在旅游评论文本数据集和公开数据集SemEval2014_Restaruant上取得了显著效果,F1值分别达到了80.81%和83.71%,有助于旅游机构实现对每个城市景点的个性化分析。

基于预训练语言模型的歌词生成方法

根据旋律生成合适的歌词要求模型能够发现并学习歌词与旋律之间的对应关系,以及歌词内部的发音规律、语义关系和逻辑结构,一直是人工智能和音乐领域的挑战性研究课题.不幸的是,具有旋律⁃歌词对齐的配对数据集非常有限,阻碍了歌词自动生成方法的进一步研究,特别是相关的以中文歌曲为核心的歌词生成研究.为了解决这个问题,利用多层注意力网络(Transformer)来学习歌词与旋律的对应关系,并利用预训练语言模型来缓解歌词数据稀缺的问题.首先,将歌词生成问题建模为一个条件文本生成任务.模型首先将给定音乐旋律的音高和时值进行整合和编码,然后将其输入到语言模型中.最后,通过将旋律与歌词按对应的形式对齐后,对语言模型的参数进行微调,从而达到对歌词数据进行高效学习的目的.实验结果表明,我们提出的从旋律到歌词生成模型在语言流畅性、语义完整性、押韵程度、旋律⁃情感契合度和标题歌词语义一致性等5个指标上,较基线模型取得了显著提升.

基于Transformer的预训练语言模型在生物医学领域的应用

[背景]随着人工智能技术的快速发展,自然语言处理(NLP)已成为生物医学研究领域中的一项关键技术.而基于Transformer框架的预训练语言模型(T-PLMs)已被广泛应用于生物医学文本的分析,有效地推动了临床决策支持系统的发展和基因组学数据的解读.[进展]本文聚焦于T-PLMs在生物医学领域的应用,探讨其在处理和理解生物医学文本数据方面的潜力和挑战.首先回顾NLP技术的演进,从传统的特征工程到预训练语言模型的兴起,特别是BERT等模型如何改变生物医学文本分析的范式;随后详细介绍T-PLMs的训练范式,包括预训练和微调过程,以及如何通过特定领域的预训练和Prompt工程来提升模型在生物医学任务中的性能;进而深入探讨T-PLMs在生物医学领域的多样化应用,包括文本表示和知识挖掘、临床决策支持、医学影像理解、蛋白质预测、分子表示和药物设计等,并特别归纳收集了上述多个生物医学细分领域相关的数据库资料.[展望]当前研究和应用中仍面临许多挑战,如模型可解释性、数据隐私保护、多模态数据等.基于此对未来的研究方向提出展望,以充分发挥NLP在推动生物医学研究和改善患者护理方面的潜力.

结合数据增强方法的藏文预训练语言模型

最近在自然语言处理领域中,预训练加微调模式已然成为新的训练范式。在藏文自然语言处理领域中虽缺乏人工标注数据,但预训练语言模型能够缓解下游任务中数据规模不足和模型重新训练时难以收敛等问题。首先,该文收集整理含有46.55亿字符的藏文文本语料;然后在UniLM模型的基础上,利用藏文文本特征的数据增强方法和预训练技术相结合的方法预训练藏文语言模型。实验表明,该文方法在藏文La格例句分类和藏文文本分类等四个下游任务中获得显著效果。

大型预训练语言模型基础逻辑能力测评研究

针对数量问题、集合关系、量词问题和常识推理等4类基本逻辑推理问题,构建少样本学习模板,对数据集进行自动生成扩展,设计了11个逻辑推理子任务.采用语境学习和提示微调2种少样本学习方法,从模型、测试、任务3个维度测试了GPT-Neo-1.3B、GPT-J-6B、GPT-3-Curie、GPT-3-Davinci等模型的逻辑推理能力.结果表明,GPT-3模型在数量问题、量词问题和常识推理问题方面相对优秀,GPT-Neo与GPT-J模型在集合关系问题上更具优势.相较于语境学习,对预训练模型进行提示微调能显著提升预测能力.