增强提示学习的少样本文本分类方法

针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化。为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实验评估,结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。

基于Prompt的两阶段澄清问题生成方法

在自然语言相关系统中,当用户输入存在歧义时,生成澄清问题询问用户有助于系统理解用户需求;基于Prompt的方法可以更好地挖掘预训练语言模型的潜在知识,但往往需要手动设计模板,限制其生成澄清问题的多样性。为解决这一问题,提出了TSCQG(two-stage clarification question generation)方法。首先,在动态Prompt模板生成阶段,利用歧义上下文和预训练语言模型生成动态的Prompt模板;然后在缺失信息生成阶段,将Prompt模板与外部知识相结合,充分利用预训练语言模型的生成能力生成相应的缺失信息。实验结果表明,在CLAQUA数据集的多轮对话情况中,BLEU值和ROUGE-L值分别达到了58.31和84.33,在ClariQ-FKw数据集上,BLEU值和ROUGE-L值分别达到了31.18和58.86。实验结果证明了TSCQG方法在澄清问题生成任务上的有效性。

基于提示学习和超球原型的小样本ICD自动编码方法

针对国际疾病分类(ICD)自动编码方法的长文本处理、编码的层次结构以及长尾分布等导致的模型泛化能力弱的问题,提出一种充分利用医学预训练语言模型的基于提示学习和超球原型的小样本ICD自动编码方法(hypersphere prototypical with prompt learning,PromptHP)。首先,将编码描述与临床文本融合进提示学习模型中的提示模板,使得模型能够更加深入地理解临床文本;然后,充分利用预训练语言模型的先验知识进行初始预测;接着,在预训练语言模型输出表示的基础上引入超球原型进行类别建模和度量分类,并在医学数据集上微调网络,充分纳入数据知识,提高模型在小样本ICD编码分配任务上的性能;最后,对以上两部分预测结果集成加权获得最终编码预测结果。在公开医学数据集MIMIC-Ⅲ上的实验结果表明,该模型优于最先进的基线方法,PromptHP将小样本编码的macro-AUC、micro-AUC、macro-F_(1)和micro-F_(1)分别提高了1.77%、1.54%、14.22%、15.01%。实验结果验证了该模型在小样本编码分类任务中的有效性。

基于规则提示的知识图谱通用推理预训练模型

知识图谱是存储真实世界海量知识的图数据库,为大量知识驱动的下游任务提供了数据支持.知识图谱往往具有不完备性,存在大量缺失的事实,因此知识图谱推理任务基于已知事实推理新结论来补全知识图谱.随着知识工程及其商业应用的研究与发展,大量通用和领域知识图谱被构建.现有知识图谱推理方法大多面向单一知识图谱的补全,不具备通用推理能力.近年来,受预训练大语言模型通用能力的启发,一些通用的知识图谱推理预训练模型被提出.针对现有预训练模型无法识别高质量推理模式的问题,提出一个基于规则提示的知识图谱通用推理预训练模型——RulePreM,该模型筛选与利用高质量推理规则来提高知识图谱上的推理能力.首先基于推理规则构建关系IO图和一个编码器RuleGNN对关系进行编码,然后将关系编码作为提示来编码知识图谱中的实体,最后对候选实体进行打分预测.还提出一种结合规则置信度的注意力机制,来进一步减少低质量推理模式的影响.实验结果表明,所提出的模型在43个不同设定下的知识图谱上具有良好的通用推理能力,平均性能指标均优于现有的有监督模型和预训练模型.

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

基于扩散序列的多元可控文本生成

随着大规模预训练语言模型的出现,文本生成技术已取得突破性进展。然而,在开放性文本生成领域,生成的内容缺乏拟人化的情感特征,使生成的文本难以让人产生共鸣和情感上的联系,可控文本生成在弥补当前文本生成技术不足方面具有重要意义。首先,在ChnSentiCorp数据集的基础上完成主题和情感属性的扩展,同时,为构建一个可生成流畅文本且情感丰富的多元可控文本生成模型,提出一种基于扩散序列的可控文本生成模型DiffuSeq-PT。该模型以扩散模型为基础架构,利用主题情感属性和文本数据在无分类器引导条件下对序列执行扩散过程,使用预训练模型ERNIE 3.0(Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation)的编码解码能力贴合扩散模型的加噪去噪过程,最终生成符合相关主题和多情感粒度的目标文本。与基准模型DiffuSeq相比,所提模型在2个公开的真实数据集(ChnSentiCorp和辩论数据集)上分别取得0.13和0.01的BERTScore值的提升,困惑度分别下降了14.318和9.46。

基于prompt tuning的中文文本多领域情感分析研究

不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的所属领域和待选的情感标签,调动不同领域情感分析相关的知识,再为情感分析预训练一个统一的“通才模型”,在下游的各领域文本学习中,保持模型冻结,通过prompt tuning使模型学习到下游各领域情感文本的特征。MSAPT仅需保存一个模型和一些参数量远远小于模型的prompt,实现了多领域情感分析。在多个属于不同领域的情感文本数据集上进行实验,结果表明仅进行prompt tuning时,MSAPT效果优于模型微调(model tuning)的。最后,分别对适应特定领域的prompt tuning、hard prompt、soft prompt的长度和中间训练数据集的大小进行消融实验,从证明其对情感分析效果的影响。

基于预训练模型的受控文本生成研究综述

自然语言生成(NLG)作为人工智能的一个分支,近年来随着预训练语言模型(PLMs)的发展取得了显著进展。NLG旨在根据多种输入源(如文本、图像、表格和知识库)生成连贯、有意义的文本。研究者通过架构扩展、微调和提示学习等方法提升了PLMs的性能。然而,NLG在处理非结构化输入和低资源语言生成方面仍面临挑战,尤其是在缺乏足够训练数据的环境中。为探讨NLG的最新发展、应用前景以及所面临的挑战,通过文献分析,提出PLMs性能改进策略,并展望未来研究方向。研究表明,尽管存在诸多限制,但NLG在内容创作、自动新闻报导、对话系统等领域已展现出潜力。随着技术的不断进步,NLG在自然语言处理和人工智能领域将扮演更重要的角色。

基于提示学习的轻量化代码生成方法

代码自动生成是提高软件开发效率的有效途径之一,已有的研究一般将代码生成作为一项序列到序列的任务,并且大规模预训练语言模型的微调过程往往伴随着高昂的算力开销。文中提出了一种基于提示学习的轻量化代码生成方法(Prompt Learning based Parameter-Efficient Code Generation,PPECG),该方法通过查询代码语料库中与当前需求最相似的结果作为提示,指导预训练语言模型进行代码生成,并且在该过程中固定模型的绝大多数参数以实现减少算力开销的目的。为了验证PPECG的有效性,文中选取了两个代码生成数据集,分别是CONCODE和Solidity4CG,通过计算生成结果的BLEU,CodeBLEU以及Exact Match值来验证PPECG的有效性,实验结果表明,PPECG有效地减少了微调时的显存开销,且在上述指标上基本接近甚至优于目前的SOTA方法,能够较好地完成代码生成的任务。

基于提示学习的低资源藏文文本分类

文本分类是自然语言处理的基础任务之一。标注数据不足一直是限制藏文及其他少数民族语言自然语言处理技术发展的重要原因,传统的深度学习模型对标注数据的规模有较高的要求。为解决这个问题,该文在大规模预训练语言模型的基础上,利用提示学习实现低资源藏文文本分类,即使用不同的藏文预训练语言模型和提示模板开展藏文文本分类实验。实验结果表明,通过设计合理的提示模板等方式,提示学习能够在训练数据不足的情况下提升藏文文本分类的效果(48.3%),初步验证了提示学习在民族语言处理中的价值和潜力。但是,实验结果也反映出提示学习模型在处理部分类别时性能较差,且藏文预训练语言模型也有进一步提升空间。

基于图提示微调的交通流量预测

交通流量预测是建设智慧城市重要的基础功能,对城市的交通管理和用户出行规划具有重要意义.由于时间维度和空间维度的扩展,交通流量的数据具有规模大、增长快速、实时更新等特征,传统的训练模型通常需要将大量的历史数据进行训练预测,导致较长的计算时间和较高的算力成本,因此,如何使用低计算成本的预测模型来满足广泛的流量预测需求是重要的技术挑战.近年来兴起的提示微调范式在自然语言处理的下游任务推广中取得了较好的效果,受其启发,提出利用少量的实时数据来微调优化大规模历史数据预训练的模型,为交通流量模型预测的优化应用提出了一种新的思路.通过引入图提示微调的交通流量预测(traffic flow prediction based on graph prompt-finetuning,TPGPF)模型的泛化能力,在时空多维度下的交通流量图预测模型中,基于历史数据集进行预测模型的预训练,并引入可学习的提示向量,在预训练模型固化的情况下指导预训练的自监督学习模型,以适应新的数据预测任务,提升交通流量预测模型的通用性和有效性.通过在5个公开数据集上进行了大量的实验,证明了TPGPF的有效性.

基于视觉语义与提示学习的多模态情感分析模型

随着深度学习技术的发展,多模态情感分析已成为研究热点之一。然而,大多数多模态情感分析模型或从不同模态中提取特征向量并简单地进行加权求和,导致数据无法准确地映射到统一的多模态向量空间中,或依赖图像描述模型将图像转化为文本,导致提取到过多不包含情感信息的视觉语义,造成信息冗余,最终影响模型的性能。为了解决这些问题,提出了一种基于视觉语义与提示学习的多模态情感分析模型VSPL。该模型将图像转化为精确简短、蕴含情感信息的视觉语义词汇,从而缓解信息冗余的问题;并基于提示学习的方法,将得到的视觉语义词汇与针对情感分类任务而提前设计好的提示模板组合成新文本,实现模态融合,这样做既避免了由加权求和导致的特征空间映射不准确的问题,又能借助提示学习的方法激发预训练语言模型的潜在性能。对多模态情感分析任务进行了对比实验,结果表明所提模型VSPL在3个公开数据集上的性能超越了先进的基准模型。此外,还进行了消融实验、特征可视化和样例分析,验证了VSPL的有效性。

基于软提示微调和强化学习的网络安全命名实体识别方法研究

随着网络技术的迅猛发展,新型网络安全威胁不断涌现,网络安全命名实体识别重要性日益增加。针对现有基于大语言模型的命名实体识别方法在网络安全领域识别准确率差的问题,提出了一种结合软提示微调和强化学习的网络安全命名实体识别方法。通过结合软提示微调技术,针对网络安全领域的复杂性,精细调整大语言模型的识别能力,提升模型对网络安全命名实体的识别准确率,同时优化训练效率。此外,提出了基于强化学习的网络安全实体筛选器,可以有效去除训练集中的低质量标注,从而提升识别准确率。在2个开源基准网络安全实体识别数据集上评估了所提方法,实验结果表明,所提方法的F1值优于现有最佳的网络安全命名实体识别方法。

基于提示学习的小样本文献分类方法

文章研究学术文献分类中的长尾现象和文献类别新增问题,提出基于提示学习的小样本文献分类方法,旨在实现低资源场景下的文献自动分类。借助大规模预训练语言模型的文本表示与生成能力,在提示学习框架下分析不同的提示模板、文献字段、文献类别表示、样本数等对低资源文献分类的影响。实验结果表明:通过合理地设计提示模板、文献类别表示、文献字段等方式,模型能高效实现低资源场景下的文献分类(50-shot的分类F1值约85%),是传统文献分类算法的重要补充;但在处理细粒度文献分类时存在分类错误问题,需要完善。

PCP-tuning:面向小样本学习的个性化连续提示调优

随着“提示学习”的兴起,预训练语言模型在少样本学习中取得了显著的表现,其中的关键问题是如何为每个训练样本构建合适的提示.近年来研究人员提出了一系列提示构造方法,有的构造离散型的提示,有的构造连续型的提示,但通常都是将一个提示应用到整个数据集上.然而,实验结果表明,很难找到一个能够适用于任务中所有样本的提示.为此,提出了一种用于小样本学习的个性化连续型提示调优方法(PCP-tuning),其目的是根据数据集中每个样本的语义来生成个性化的连续型提示.同时,还提出了两种校准技术来控制生成的连续型提示的分布,以获得更好的下游任务表现.最后在10个基准任务上进行大量实验,证明了新方法的优越性能.

基于知识提示微调的事件抽取方法

事件抽取是信息抽取中的一个重要研究热点,旨在通过识别和分类事件触发词和论元,从文本中抽取出事件结构化信息。传统的方法依赖于复杂的下游网络,需要足够的训练数据,在数据稀缺的情况下表现不佳。现有研究利用提示学习,在事件抽取上取得一定的研究成果,但依赖手工构建,且只依靠预训练模型已有的知识,缺乏事件特有的知识。因此本文提出一种基于知识提示微调的事件抽取方法。该方法采用条件生成的方式,在现有预训练语言模型知识的基础上,注入事件信息以提供论元关系约束,并采用提示微调策略对提示进行优化。大量实验结果表明,相较于传统基线方法,该方法在触发词抽取上优于基线方法,并在小样本下达到最好的效果。

视觉提示学习综述

近年来,随着提示学习方法在自然语言处理领域被提出,其日益受到研究人员广泛关注,它通过将各类下游任务重构成预训练任务的形式,以参数高效和数据高效的方式将大规模预训练模型应用在各类自然语言相关下游任务中.其中以GPT系列为代表的模型通过提示学习在对话生成和多模态图文理解等任务上取得了巨大的成功.然而,这类模型及方法还不能解决视觉中的稠密任务.受此启发,一些研究人员逐渐将提示学习广泛应用到视觉相关的各类任务当中,如图像识别、目标检测、图像分割、领域适应、持续学习等.由于目前还没有提示学习应用在视觉相关领域中的综述,本文将对视觉单模态领域以及视觉语言多模态领域的提示学习方法展开全面论述和分析.作为回顾,我们首先简要介绍自然语言处理领域的预训练模型,并对提示学习的基本概念、下游应用形式以及提示模板类型进行阐述和分类.其次,我们分别介绍视觉单模态领域以及视觉语言多模态领域里提示学习方法适配的预训练模型和任务.再次,我们分别介绍视觉单模态领域以及视觉语言多模态领域的提示学习方法.在自然语言处理领域,提示学习方法以继承预训练形式实现多任务统一为主要目的;与此不同,在视觉相关领域,提示学习方法侧重于面向特定下游任务进行设计.为此,我们将从方法设计上进行简单分类,然后从应用任务角度详细介绍视觉单模态提示学习和视觉语言多模态提示学习方法.最后,我们对比分析了自然语言处理领域和视觉相关领域提示学习研究的进展,并对未来研究路线给出了展望。

基于预训练语言模型的旅游评论文本方面级情感分析研究

为了促进旅游行业的消费和经济发展,对游客在线上平台发表的景区评论文本进行分析,深入挖掘其中的细粒度情感信息,以更好地迎合游客的偏好。在实际场景中,一个句子会涉及多个实体词,致使难以准确识别它们对应的情感属性关系;且旅游场景下的数据集存在稀缺和样本不平衡问题。由此构建了基于深度学习和提示知识的预训练语言模型,通过构建离散提示模板联合训练两个子任务,并对数据集中的少数样本进行了数据增强处理,同时在训练阶段为损失函数设置不同的权重。实验结果显示,模型在旅游评论文本数据集和公开数据集SemEval2014_Restaruant上取得了显著效果,F1值分别达到了80.81%和83.71%,有助于旅游机构实现对每个城市景点的个性化分析。

大型预训练语言模型基础逻辑能力测评研究

针对数量问题、集合关系、量词问题和常识推理等4类基本逻辑推理问题,构建少样本学习模板,对数据集进行自动生成扩展,设计了11个逻辑推理子任务.采用语境学习和提示微调2种少样本学习方法,从模型、测试、任务3个维度测试了GPT-Neo-1.3B、GPT-J-6B、GPT-3-Curie、GPT-3-Davinci等模型的逻辑推理能力.结果表明,GPT-3模型在数量问题、量词问题和常识推理问题方面相对优秀,GPT-Neo与GPT-J模型在集合关系问题上更具优势.相较于语境学习,对预训练模型进行提示微调能显著提升预测能力.

传统与大模型并举:中文文本分类技术对比研究

本文专注于探索与实践中文文本分类技术的演进,通过严谨的实证对比研究,检验了传统技术方法与基于大模型的先进算法在各类文本分类任务中的表现差异。研究在涵盖情感分析的基础数据集和富含复杂专业信息的多类别文本数据集上展开了深入探索,系统性地对比了传统统计学习方法、经典深度学习算法与当前极具影响力的预训练大模型(如BERT、LLM等)。研究核心围绕提升分类准确性这一关键目标,同时审视各模型在资源效率及训练时效性方面的能力。针对预训练大模型,利用了提示工程技术和模型微调手段,以期优化其性能表现。实验结果揭示了大模型在理解和利用语言上下文、提高泛化性能方面的显著优势,在不同数据集、验证集上普遍能降低10%以上的错误率,同时证实了在特定情境下传统技术依然具备独特且有效的应用价值。通过系统化的对比分析,本文旨在为中文文本分类技术的科学选型及未来发展方向提供有力依据与导向。