基于跨语言词嵌入对齐增强少数民族预训练语言模型

由于民族语言与汉语之间的词嵌入语义空间差距较大,导致预训练语言模型的跨语言迁移效果不佳。为此,该文设计了一个通过静态词嵌入对齐到上下文词嵌入空间中的新框架,以提升少数民族跨语言预训练语言模型在下游任务中的表现。该文首先将由大规模单语数据训练的静态词嵌入进行跨语言对齐;其次,基于民汉平行语料从少数民族预训练语言模型CINO中抽取上下文词嵌入,并设计两种损失函数:双语词典归纳损失、对比学习损失,实现静态词嵌入对齐到上下文词嵌入的共享语义空间中;最后,我们将结合静态与上下文跨语言词嵌入对齐的CINO增强模型应用于双语词典归纳、文本分类以及机器翻译任务中,在多个语言对上的实验结果表明,相比鲁棒的基线系统,该文方法在标注语料匮乏的下游任务中均达到了显著的性能提升。

基于预训练语言模型的知识图谱研究综述

大语言模型时代,知识图谱作为一种结构化的知识表示方式,在提升人工智能的可靠性、安全性和可解释性方面发挥着不可替代的作用,具有重要的研究价值和实际应用前景。近年来,凭借在语义理解和上下文学习方面的优越性能,预训练语言模型已经成为了知识图谱研究的主要手段。系统梳理了基于预训练语言模型的知识图谱研究的相关工作,包括知识图谱构建、表示学习、推理、问答等,介绍了相关模型和方法的核心思路,并依据技术路径建立了分类体系,对不同类型方法的优缺点进行了对比分析。此外,对预训练语言模型在事件知识图谱和多模态知识图谱这两种新型知识图谱中的应用现状进行了综述。最后,总结了当前基于预训练语言模型的知识图谱研究面临的挑战,展望了未来的研究方向。

影响预训练语言模型数据泄露的因素研究

当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2,OPT等广泛使用的预训练语言模型作为研究对象,利用模型反演攻击探索影响预训练语言模型数据泄露的因素.实验过程中利用预训练语言模型生成大量样本,以困惑度等指标选取最有可能发生数据泄露风险的样本进行验证,证明了T5等不同模型均存在不同程度的数据泄露问题;同一种模型,模型规模越大数据泄露可能性越大;添加特定前缀更容易获取泄露数据等问题.对未来数据泄露问题及其防御方法进行了展望.

基于预训练语言模型的语言学习APP评价研究

在教育数字化转型的背景下,移动学习成为数字学习的新常态。语言学习移动应用程序(APP)已经成为外语学习者学习语言的重要工具。秉持“数据循证”的评价观,提出预训练语言模型和大数据挖掘相结合的教育APP评价技术方案,采集主流应用市场上下载量最高的20款语言学习APP的用户评论数据,并利用预训练语言模型计算出评论文本的情感分值。在文本信息的基础上,通过主题建模等技术分析学习者在使用APP辅助语言学习时的需求和偏好,并尝试从中提取出针对APP评价的多项指标。最后,综合各项分析结果建立一套准确、客观的语言学习APP评价体系,并对已采集评论信息的APP进行实例可视化分析,旨在发挥预训练语言模型和数据要素的价值,助力数字化语言教学资源的科学治理。

预训练大语言模型发展对中国数字创意产业的启示

预训练大语言模型与数字创意产业的结合,一方面可以促进预训练大语言模型技术研发和应用,推动自然语言处理相关产业发展,另一方面也可以为数字创意产业提供更高效、精准的解决方案,促进产业数字化转型升级。然而,目前中国预训练大语言模型在数字创意产业的运用主要侧重于文本识别生成和语音生成等领域。为此,通过阐述预训练大语言模型以及中国数字创意产业的发展现状,梳理预训练大语言模型在数字创意产业的应用范畴和商业布局,综合分析作为新质生产力引擎的预训练大语言模型在中国数字创意产业发展中的机遇与挑战,并为中国数字创意产业的发展提出建议。研究发现:融合发展是中国数字创意产业的重要趋势,网络文学、动漫游戏、短视频等细分产业开始发展出完整的产业链条;预训练大语言模型可提升数字创意产业的内容生成效率、丰富艺术创意、拓展数字娱乐形式,也可以加强社交媒体分析监测、提高跨语言应用的效率、辅助科研教育,带来提升数字创意产业的智能化水平、增强用户黏性、数字创意生产者身份多元化等机遇,但同时也面临数据成本、隐私安全、知识产权等问题。提出未来在预训练大语言模型应用于数字创意产业的发展中,重视构建相关监管评估框架和知识产权保护体系,提升多模态技术水平,强化智能算力体系建设,以推动数字创意产业的智能化发展。

基于视觉-语言预训练模型的零样本迁移学习方法综述

近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模型强大的泛化性能,使用视觉-语言预训练模型不仅能提高零样本识别任务的准确率,而且能够解决部分传统方法无法解决的零样本下游任务问题。对基于视觉-语言预训练模型的ZST方法进行概述,首先介绍了零样本学习(FSL)的传统方法,并对其主要形式加以总结;然后阐述了基于视觉-语言预训练模型的ZST和FSL的区别及其可以解决的新任务;其次介绍了基于视觉-语言预训练模型的ZST方法在样本识别、目标检测、语义分割、跨模态生成等下游任务中的应用情况;最后对现有的基于视觉-语言预训练模型的ZST方法存在的问题进行分析并对未来的研究方向进行展望。

基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-GNN。该方法统一了文本和知识图谱的实体表示方式,利用大型生物医学知识库构造子图并进行去噪,改进文本和子图实体的信息交互方式,增加对应文本和子图节点的直接交互,使得两个模态的信息能够深度融合。同时,利用知识图谱的路径信息对模型推理过程提供了可解释性。在公开数据集MedQA-USMLE和MedMCQA上的测试结果表明,与现有的生物医学领域联合推理模型相比,DF-GNN可以更可靠地利用结构化知识进行推理并提供解释性。

基于预训练语言模型的机器翻译最新进展

自然语言处理涉及许多重要主题,其中之一是机器翻译。预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法。因此,许多研究人员使用预训练语言模型来解决机器翻译问题。为推动研究向前发展,首先概述了这一领域的最新进展,包括主要的研究问题和基于各种预训练语言模型的解决方案;其次比较了这些解决方案的动机、共性、差异和局限性;然后总结了训练这类机器翻译模型常用的数据集,以及评估这些模型的指标;最后讨论了进一步的研究方向。

基于增强优化预训练语言模型的电力数据实体识别方法

知识图谱可有效整合电力系统中的多源数据,提升电网的知识管理水平。针对电力文本数据集稀缺、实体类型多样、专业性强的特点,提出1种基于增强优化预训练语言模型的电力数据实体识别方法。该方法使用实体词袋替换的数据增强技术扩大原始数据集,采用增强优化预训练语言模型(RoBERTa)进行动态语义编码,利用双向长短期记忆网络(BiLSTM)和条件随机场(CRF)提取特征并优化标签。实验结果表明,该实体识别方法比传统基于深度学习的实体识别方法的平均数指标F1分数高2.17%,证实其对构建电力数据知识图谱的识别效果。

问答式林业预训练语言模型ForestBERT

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

基于知识图谱和预训练语言模型的儿童疫苗接种风险预测

基层医疗机构的医生缺少患病儿童疫苗接种风险的判断能力,通过学习高水平医院医生的经验来研发儿童疫苗接种风险预测模型,从而帮助基层医疗机构医生快速筛查高风险患儿,是一种可行的方案.本文提出了一种智能化的基于知识图谱的疫苗接种建议推荐方法.首先,提出了一种基于预训练语言模型的医学命名实体识别方法ELECTRA-BiGRU-CRF,用于门诊电子病历命名实体抽取.其次,设计疫苗接种本体,定义关系及属性,基于Neo4j构建了中文儿童疫苗接种知识图谱.最后,基于构建的中文疫苗接种知识图谱,提出了一种基于预训练语言模型进行显著性类别指导的疫苗接种建议分类推荐方法.实验结果表明,本文研究方法可以为医生提供辅助诊断,对于患病儿童能否接种疫苗提供决策支持.

基于预训练语言模型的电网检修计划异常检测

[目的/意义]电网检修计划异常检测技术可以发现电网检修计划内存在的异常,对于电网通信系统检修活动的正常开展和电力通信系统的稳定运行至关重要。目前,电网检修计划异常检测主要依靠人工判别的方式寻找检修计划的异常,存在准确率低与效率低下的问题。[方法/过程]提供了一种基于预训练语言模型的电网检修计划异常检测方法,使用电网的检修计划数据对预训练语言模型进行微调,使得预训练语言模型能够获取相关领域的专业知识,同时充分利用预训练语言模型的上下文感知能力和领域通用性,使预训练语言模型能够深入理解检修计划的复杂语境,从而发现检修计划中存在的异常。[结果/结论]实验证明,相较于传统方法,该异常检测方法能够有效优化电网检修计划异常检测的性能。

基于混合预训练语言模型的中文词汇简化方法

针对中文词汇简化(Chinese lexical simplification,CLS)任务缺乏关注的问题,提出一种基于混合预训练语言模型的CLS方法。采用回译策略构建一个大规模复述语料,首次实现基于复述模型的CLS方法;在实现当前最优的4种CLS方法的基础上,提出一种基于顺序的多数投票机制,以选择最佳的替换词。实验结果表明,与基线方法相比,混合方法优于其他所有单一方法,其简化准确性得以显著提升。

面向中国海关进出口商品税率检测的预训练语言模型CC-BERT

判定商品税率以便进行税收是海关最重要的职能之一,其肩负着国家财政收入与再分配的重要作用。预训练语言模型(BERT)的提出,刷新了众多自然语言处理任务的最优结果。但是由于海关文本数据的特殊性,导致BERT在海关进出口商品税率检测(文本分类)任务中表现较差。针对这个问题,该文提出一种新的预训练语言模型CC-BERT。在模型预训练阶段,提出了全要素掩蔽策略以及预测规格型号与申报要素是否对齐(NCA)两种全新的预训练策略。CC-BERT可以降低既定文本顺序对模型性能的负反馈,以及加强规格型号与申报要素之间的联系。在真实的海关税率检测任务上的实验结果表明,该方法具有更强的鲁棒性,分类性能指标优于基线模型,F_(1)值在两个数据集上分别达到90.52%和80.10%。

预训练语言模型特征增强的多跳知识库问答

知识库问答(knowledge base question answering,KBQA)是一个具有挑战性的热门研究方向,多跳知识库问答主要的挑战是非结构化的自然语言问题与结构化的知识库推理路径存在不一致性,基于图检索的多跳知识库问答模型善于把握图的拓扑结构,但忽略了图中结点和边携带的文本信息。为了充分学习知识库三元组的文本信息,构造了知识库三元组的文本形式,并提出了三个基于非图检索的特征增强模型RBERT、CBERT、GBERT,它们分别使用前馈神经网络、深层金字塔卷积网络、图注意力网络增强特征。三个模型显著提高了特征表示能力和问答准确率,其中RBERT结构最简单,CBERT训练最快,GBERT性能最优。在数据集MetaQA、WebQSP和CWQ上进行实验对比,在Hits@1和F1两个指标上三个模型明显优于目前的主流模型,也明显优于其他BERT的改进模型。

基于预训练语言模型的互联网开源信息抽取与情报分析应用研究——以“学术、讲座、论坛”等会议活动为例

[目的/意义]互联网开源信息具有海量、多源异构等特点,如何从中及时发现有价值的信息,并对信息加以情报利用一直是情报研究和实践应用的重点领域之一。文章提出一套开源的学术会议领域信息抽取框架,解决信息抽取语义理解和关联融合的问题,并将其应用于情报研究中,为解决情报分析的智能应用提供工具和方法。[方法/过程]采集网络上新闻报道的内容,采用预训练语言模型方法挖掘学术会议事件信息,提出面向特定领域的信息抽取框架,实现会议名称及其举办时间、地点、出席人、发言人信息的抽取,并进行实际的情报利用研究案例分析。[结果/结论]相较于单一抽取实体的方法,抽取会议核心元素更具有情报关联性和准确性,可以更好地对开源热点事件发现和跟踪监测、目标人物轨迹动向分析等研究提供方法,为情报分析应用和情报研判奠定基础。

面向真实世界的知识挖掘与知识图谱补全研究(四):真实世界数据标注平台搭建及基于预训练语言模型的自动化抽取方法探索

目的探索搭建真实世界数据标注平台,并比较检索增强生成式技术(retrieval augmented generation,RAG)结合大语言模型,及预训练语言模型的预训练-微调方法的真实世界数据提取效果。方法以真实世界电子病历数据中的膀胱癌病理记录为例,搭建真实世界数据标注平台,并基于平台标注数据比较RAG结合GPT-3.5,及基于BERT、RoBERTa模型的预训练-微调方法自动化抽取膀胱癌癌症分型、分期的效果。结果全训练集微调的预训练-微调模型抽取效果优于RAG结合大模型的方法与小样本微调的预训练-微调模型,RoBERTa模型效果总体优于BRET模型,但这些方法的抽取效果均有待提升。在测试集中,使用全训练集微调的RoBERTa模型抽取膀胱癌分型、T分期、N分期的F1值分别为71.06%、50.18%,73.65%。结论预训练语言模型在处理临床非结构化数据方面具有应用潜力,但现有方法在信息抽取效果上仍有提升空间。未来工作需进一步优化模型或训练策略,以加速数据赋能。

融入黏着语特征的蒙古文预训练语言模型

预训练语言模型(PLM)在自然语言处理(NLP)任务上应用广泛且表现优异。目前预训练语言模型主要在英语和中文等资源丰富的语言上进行训练,由于缺乏大规模的数据资源及语言特征的复杂性,导致预训练语言模型尚未在低资源语言上进行深入研究,特别是蒙古文等黏着语。为了解决数据稀缺的问题,本研究创建了大规模的蒙古语预训练数据集并建立了三个下游任务的数据集,分别为新闻分类任务、命名实体识别任务(NER)、词性标注任务(POS),在此基础上提出了一种融入黏着语特征的蒙古文预训练语言模型IAMC⁃BERT。该模型将蒙古文黏着语特性融入tokenization阶段和预训练语言模型训练阶段。具体来说,to⁃kenization阶段旨在将蒙古文单词序列转换为包括词干和一些后缀的细粒度子词;训练阶段设计了一种基于形态学的掩蔽策略,以增强模型学习黏着语特征的能力。在三个下游任务上的实验结果表明,该方法超越了传统的BERT方法,成功地融入了蒙古文黏着语特征。

基于预训练语言模型的旅游评论文本方面级情感分析研究

为了促进旅游行业的消费和经济发展,对游客在线上平台发表的景区评论文本进行分析,深入挖掘其中的细粒度情感信息,以更好地迎合游客的偏好。在实际场景中,一个句子会涉及多个实体词,致使难以准确识别它们对应的情感属性关系;且旅游场景下的数据集存在稀缺和样本不平衡问题。由此构建了基于深度学习和提示知识的预训练语言模型,通过构建离散提示模板联合训练两个子任务,并对数据集中的少数样本进行了数据增强处理,同时在训练阶段为损失函数设置不同的权重。实验结果显示,模型在旅游评论文本数据集和公开数据集SemEval2014_Restaruant上取得了显著效果,F1值分别达到了80.81%和83.71%,有助于旅游机构实现对每个城市景点的个性化分析。