基于区域多井数据优选与模型预训练的深部地质钻探过程钻速动态预测方法

深部地质钻探过程钻速精准预测有助于提升钻探效率、降低钻探成本,可为安全高效的深部地质钻探施工提供关键技术支撑。本文提出了一种基于区域多井数据优选与模型预训练的深部地质钻探过程钻速动态预测方法。首先,选取岩性识别软件、钻进过程智能监控云平台、地质云系统等作为数据源,在此基础上设计深部地质钻探数据仓库。其次,运用区域多井数据优选技术在数据仓库中选择与目标井较匹配的数据,并开展钻速模型预训练。最后,结合深部地质钻探过程实钻数据,引入小波滤波、超限学习机、增量学习等技术,实现钻速预测模型动态更新。实验对比结果验证了所提方法具有很强的钻速预测性能与泛化能力。

融合继续预训练和分部池化的司法事件检测模型

事件检测任务在自然语言处理领域中具有重要的研究价值,其主要目标是从文本中识别并分类触发词,实现高级文本分析与语义理解。随着智慧司法建设的推进,自然语言处理模型与司法领域的结合日益紧密。然而,由于司法领域数据较为稀缺且一个句子大多包含多个触发词等问题,该研究在预训练阶段,通过收集的十二万条司法犯罪数据对BERT进行继续预训练,以提高预训练模型对司法领域知识的理解能力;在微调阶段提出了一种分部池化结构并融合PGD对抗训练的方法,以捕获触发词上下文和句子整体的语义特征。该模型在法研杯CAIL 2022事件检测赛道上取得了明显的性能提升,比基于BERT的基线模型平均F 1值提高了3.0%。

基于RoFormer预训练模型的指针网络农业病害命名实体识别

[目的/意义]针对实体嵌套、实体类型混淆等问题导致的农业病害命名实体识别(Named Entities Recognition,NER)准确率不高的情况,以PointerNet为基准模型,提出一种基于RoFormer预训练模型的指针网络农业病害NER方法RoFormer-PointerNet。[方法]采用RoFormer预训练模型对输入的文本进行向量化,利用其独特的旋转位置嵌入方法来捕捉位置信息,丰富字词特征信息,从而解决一词多义导致的类型易混淆的问题。使用指针网络进行解码,利用指针网络的首尾指针标注方式抽取句子中的所有实体,首尾指针标注方式可以解决实体抽取中存在的嵌套问题。[结果和讨论]自建农业病害数据集,数据集中包含2867条标注语料,共10282个实体。为验证RoFormer预训练模型在实体抽取上的优越性,采用Word2Vec、BERT、RoBERTa等多种向量化模型进行对比试验,RoFormer-PointerNet与其他模型相比,模型精确率、召回率、F1值均为最优,分别为87.49%,85.76%和86.62%。为验证RoFormer-PointerNet在缓解实体嵌套的优势,与使用最为广泛的双向长短期记忆神经网络(Bidirectional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)模型进行对比试验,RoFormer-PointerNet比RoFormer-BiLSTM模型、RoFormer-CRF模型和RoFormer-BiLSTM-CRF模型分别高出4.8%、5.67%和3.87%,证明用指针网络模型可以很好解决实体嵌套问题。最后验证RoFormer-PointerNet方法在农业病害数据集中的识别性能,针对病害症状、病害名称、防治方法等8类实体进行了识别实验,本方法识别的精确率、召回率和F1值分别为87.49%、85.76%和86.62%,为同类最优。[结论]本研究提出的方法能有效识别中文农业病害文本中的实体,识别效果优于其他模型。在解决实体抽取过程中的实体嵌套和类型混淆等问题方面具有一定优势。

基于强化学习引导预训练模型的情感音乐生成

生成具有特定情感的音乐是可控音乐生成的一个重要子任务。以往的监督学习方法需要依赖带有情感标注的音乐数据集,且存在训练目标与模型优化目标不一致的问题。本文提出了一种强化学习引导的情感音乐生成方法,使用训练好的符号音乐情感分类模型对生成的音乐进行打分,以此作为强化学习的反馈来优化基于GPT-2的自回归音乐生成模型。该方法突破了数据集标注的限制,能够在曲风流派和数据类型相似的无标注符号音乐数据集上训练模型进行情感音乐生成。客观和主观评价结果表明,本文提出的方法可以生成与指定情感类别相匹配的高质量音乐。

融合知识图谱的预训练模型研究综述

【目的】针对预训练模型仍面临处理复杂任务所需的知识信息质量不高和数量庞杂的挑战,而融合知识图谱的预训练模型可增强其性能。进一步研究并深入探讨如何有效地融合知识图谱到预训练模型中,以丰富目前综述所包含的知识增强类型。【方法】分析并总结了近年来融合知识图谱的预训练模型的相关文献,首先简要介绍了预训练模型引入知识图谱的原因、优势以及难点;其次详细讨论了隐性结合、显性结合两类方法,并对代表模型的特点与优缺点进行了对比总结;最后对融合知识图谱的预训练模型将面临的挑战以及未来研究发展趋势进行了讨论。【结论】融合知识图谱的预训练模型核心问题是解决如何将知识库中的信息有效地融合到预训练模型中,未来可以探索更加有效和高效的知识融合方法,以提高模型的性能和泛化能力。

基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-GNN。该方法统一了文本和知识图谱的实体表示方式,利用大型生物医学知识库构造子图并进行去噪,改进文本和子图实体的信息交互方式,增加对应文本和子图节点的直接交互,使得两个模态的信息能够深度融合。同时,利用知识图谱的路径信息对模型推理过程提供了可解释性。在公开数据集MedQA-USMLE和MedMCQA上的测试结果表明,与现有的生物医学领域联合推理模型相比,DF-GNN可以更可靠地利用结构化知识进行推理并提供解释性。

基于预训练模型的中心分级燃烧室燃烧振荡 预报方法

为促进实现燃气轮机燃烧室中的燃烧振荡预报,提出一种结合预训练和迁移学习的研究思路。在预训练阶段,开展短火焰筒和长火焰筒下两类火焰图像的对比学习以完成编码器的自监督预训练。在迁移阶段,除了对特征编码构建线性分类器的直接迁移,本文还提出将工况参数作为先验条件的贝叶斯迁移学习。结果表明,在两种迁移学习方式下预训练模型相比传统监督学习模型具有4.6%左右的性能提升。同时基于贝叶斯推断的迁移学习相比直接迁移鲁棒性更好。通过主成分分析和分层聚类,验证预训练模型能够提取火焰图像更为通用的热声特征。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

基于API序列和预训练模型的恶意软件检测

针对现有方法存在特征表达受限、无法捕获API序列全局语义信息,且恶意软件数据集通常包含大量无标注数据,无法直接进行有监督学习等问题,利用自然语言预训练模型技术,提出一种基于API调用序列和预训练模型的恶意软件检测方法。使用原始API序列构建分词器;基于BERT模型构建出动态掩码序列模型进行无监督学习的预训练,同时获取API序列的全局动态编码表示;使用该编码构造检测模型。实验结果表明,所提方法能有效检测出恶意软件。

基于动态切片与预训练模型的代码漏洞检测

当前大部分基于深度学习的漏洞检测模型,通常以整个文件或函数作为输入,检测粒度较粗,存在准确率低下、可扩展性差等挑战.为了应对这些挑战并提升漏洞检测技术的性能,同时针对静态切片方法在发现特定执行条件下的漏洞存在不足的问题,提出了一种基于动态切片与预训练模型的代码漏洞检测方法.通过动态切片获取包含路径特征的语句块,借助CodeBERT预训练模型的语义提取能力将具有语义特征和路径特征的动态切片结果表示成二维张量;将代码结构和语义特征编码成灰度图像中的像素值,借助Swin Transformer的特征提取能力,以此更准确地进行漏洞检测.实验数据表明本文的方法取得了较好的效果,可降低误报率和漏报率,同时提高漏洞检测的准确性和可靠性.

一种基于预训练模型的语音深度伪造算法识别方法

为提高语音深度伪造算法识别模型的准确性和对未知伪造算法识别的泛化性,文章提出一种基于预训练模型的识别方法。基于真伪语音数据集,微调训练HuBERT预训练模型,并基于模型输出的深层嵌入特征构建流形空间,通过度量不同伪造算法下语音数据流形空间的测地线距离进行伪造算法的判定。实验表明,所提方法可以较为有效地实现对已知和未知伪造算法的识别。

基于预训练语言模型的机器翻译最新进展

自然语言处理涉及许多重要主题,其中之一是机器翻译。预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法。因此,许多研究人员使用预训练语言模型来解决机器翻译问题。为推动研究向前发展,首先概述了这一领域的最新进展,包括主要的研究问题和基于各种预训练语言模型的解决方案;其次比较了这些解决方案的动机、共性、差异和局限性;然后总结了训练这类机器翻译模型常用的数据集,以及评估这些模型的指标;最后讨论了进一步的研究方向。

基于增强优化预训练语言模型的电力数据实体识别方法

知识图谱可有效整合电力系统中的多源数据,提升电网的知识管理水平。针对电力文本数据集稀缺、实体类型多样、专业性强的特点,提出1种基于增强优化预训练语言模型的电力数据实体识别方法。该方法使用实体词袋替换的数据增强技术扩大原始数据集,采用增强优化预训练语言模型(RoBERTa)进行动态语义编码,利用双向长短期记忆网络(BiLSTM)和条件随机场(CRF)提取特征并优化标签。实验结果表明,该实体识别方法比传统基于深度学习的实体识别方法的平均数指标F1分数高2.17%,证实其对构建电力数据知识图谱的识别效果。

基于预训练模型的单帧航拍图像无监督语义分割

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。

基于预训练语言模型的旅游评论文本方面级情感分析研究

为了促进旅游行业的消费和经济发展,对游客在线上平台发表的景区评论文本进行分析,深入挖掘其中的细粒度情感信息,以更好地迎合游客的偏好。在实际场景中,一个句子会涉及多个实体词,致使难以准确识别它们对应的情感属性关系;且旅游场景下的数据集存在稀缺和样本不平衡问题。由此构建了基于深度学习和提示知识的预训练语言模型,通过构建离散提示模板联合训练两个子任务,并对数据集中的少数样本进行了数据增强处理,同时在训练阶段为损失函数设置不同的权重。实验结果显示,模型在旅游评论文本数据集和公开数据集SemEval2014_Restaruant上取得了显著效果,F1值分别达到了80.81%和83.71%,有助于旅游机构实现对每个城市景点的个性化分析。

基于预训练模型与标签融合的文本分类

对海量的用户文本评论数据进行准确分类具有重要的经济效益和社会效益。目前大部分文本分类方法是将文本编码直接使用于各式的分类器之前,而忽略了标签文本中蕴含的提示信息。针对以上问题,提出一种基于RoBERTa(Robustly optimized BERT pretraining approach)的文本和标签信息融合分类模型(TLIFC-RoBERTa)。首先,利用RoBERTa预训练模型获得词向量;然后,利用孪生网络结构分别训练文本和标签向量,通过交互注意力将标签信息映射到文本上,达到将标签信息融入模型的效果;最后,设置自适应融合层将文本表示与标签表示紧密融合进行分类。在今日头条和THUCNews数据集上的实验结果表明,相较于将Labelatt(Label-based attention improved model)中使用的静态词向量改为RoBERTa-wwm训练后的词向量算法(RA-Labelatt)、RoBERTa结合基于标签嵌入的多尺度卷积初始化文本分类算法(LEMC-RoBERTa)等主流深度学习模型,TLIFC-RoBERTa的精度最高,对于用户评论数据集有最优的分类效果。

基于预训练语言模型的歌词生成方法

根据旋律生成合适的歌词要求模型能够发现并学习歌词与旋律之间的对应关系,以及歌词内部的发音规律、语义关系和逻辑结构,一直是人工智能和音乐领域的挑战性研究课题.不幸的是,具有旋律⁃歌词对齐的配对数据集非常有限,阻碍了歌词自动生成方法的进一步研究,特别是相关的以中文歌曲为核心的歌词生成研究.为了解决这个问题,利用多层注意力网络(Transformer)来学习歌词与旋律的对应关系,并利用预训练语言模型来缓解歌词数据稀缺的问题.首先,将歌词生成问题建模为一个条件文本生成任务.模型首先将给定音乐旋律的音高和时值进行整合和编码,然后将其输入到语言模型中.最后,通过将旋律与歌词按对应的形式对齐后,对语言模型的参数进行微调,从而达到对歌词数据进行高效学习的目的.实验结果表明,我们提出的从旋律到歌词生成模型在语言流畅性、语义完整性、押韵程度、旋律⁃情感契合度和标题歌词语义一致性等5个指标上,较基线模型取得了显著提升.

基于预训练模型的受控文本生成研究综述

自然语言生成(NLG)作为人工智能的一个分支,近年来随着预训练语言模型(PLMs)的发展取得了显著进展。NLG旨在根据多种输入源(如文本、图像、表格和知识库)生成连贯、有意义的文本。研究者通过架构扩展、微调和提示学习等方法提升了PLMs的性能。然而,NLG在处理非结构化输入和低资源语言生成方面仍面临挑战,尤其是在缺乏足够训练数据的环境中。为探讨NLG的最新发展、应用前景以及所面临的挑战,通过文献分析,提出PLMs性能改进策略,并展望未来研究方向。研究表明,尽管存在诸多限制,但NLG在内容创作、自动新闻报导、对话系统等领域已展现出潜力。随着技术的不断进步,NLG在自然语言处理和人工智能领域将扮演更重要的角色。

基于预训练模型的药物不良事件抽取方法研究

目的/意义研究医学文本药物不良事件数据抽取方法,为临床用药风险管理和科学决策提供支持。方法/过程基于预训练模型,结合实体识别和关系抽取两个子任务的关联性,设计面向药物不良事件监测的实体关系联合抽取方法。结果/结论在公开药物不良事件抽取数据集上的实验表明,该方法优于已有方法,能够有效地从医学文本中提取药物不良事件信息及其关系,为药物不良事件的发现与监测提供有力手段。

基于预训练模型的深度学习算法及其在图书馆行人目标检测中的应用

图书馆行人目标检测能够实现对图书馆内行人目标情况的统计,观察读者的学习行为和时间倾向,对提高服务质量和改善图书馆设施构造具有重要作用。现有图书馆行人目标深度学习算法能够对行人目标进行自动识别和统计,但计算复杂度高,神经网络模型的训练效率低,难以适应图书馆不同场所的需求。对上述问题,文章提出一种基于预训练模型的深度学习算法。该算法基于迁移学习的思想,对模型进行预训练,从而避免模型从零开始训练,并且设计了一种广义损失函数,该函数不仅关注不同对象的重合区,还关注不重合区,从而能更好地体现出两个对象的重合性。实验结果表明,基于预训练模型的深度学习算法能够提高行人目标检测模型的训练效率以及检测的精确度和查全率,能够满足图书馆不同场景下行人目标检测的需求。