自然语言提示驱动的智能信息分析模式研究

[目的/意义]大语言模型在全球范围内引发了生成式人工智能热潮。将大语言模型与信息分析工作深度融合,为数智时代智能信息分析研究提供了新的发展契机。自然语言提示在对齐大语言模型性能与信息分析需求方面扮演重要角色。[方法/过程]通过讨论提示驱动的智能信息分析工作,系统总结了自然语言提示驱动的智能信息分析特征,提出一种自然语言提示驱动的智能信息分析模式,构建了基于人在环路思想的智能信息分析工作流和面向智能信息分析的自然语言提示工程框架,并探讨运行这一模式的问题及保障措施。[结果/结论]提出了自然语言提示驱动的智能信息分析模式,引入人在环路思想将信息分析人员的主观经验和判断力以及大语言模型的理解和生成能力深度融合,提供了一种人机协作的智能信息分析方法,为数智时代信息分析研究提供了新思路。

提示学习中思维链生成和增强方法综述

大语言模型凭借其卓越的语言理解和文本生成能力,在多个领域取得了突破性进展。尽管如此,其在处理复杂推理任务时的表现往往不尽如人意,准确率的提升空间依然巨大。针对这一挑战,学术界提出了思维链策略,这是一种创新的方法,通过让模型生成推理过程来增强模型的推理性能。文中通过全面梳理和深入分析现有的思维链研究,不仅总结了其核心概念和结构框架,还详细探讨了推理生成方法和增强方法。进一步对思维链在不同任务场景中的应用进行了广泛探讨,展示了思维链在提升模型性能方面的潜力。同时,也对思维链的局限性进行了批判性分析,指出了思维链方法存在的不足。最后,对思维链的未来发展进行了前瞻性展望,旨在为思维链未来的研究方向提供指导,并为该领域的研究者提供有价值的参考和启示。

问题提示清单在肿瘤病人代理决策者中应用前景分析

综述国内外文献,阐述问题提示清单的诸多好处。结合我国肿瘤病人在共享决策中面临的困境以及我国的社会现状,从肿瘤病人、代理决策者及医疗保健提供者3个方面进行分析。笔者认为问题提示清单在我国肿瘤病人代理决策者中有良好的应用前景。问题提示清单是促进共享决策的有效辅助手段,能满足病人及家属的信息需求,降低决策时的压力。现在,问题提示清单在我国的发展还处于起步阶段,研究者应该在借鉴国外研发经验的基础上,探索适用于我国肿瘤病人代理决策者的问题提示清单,使之既适合我国国情,又能满足病人及家属的信息需求,促进沟通。

人机协同教学中撰写精准提示语的原则与策略——以语文学科为例

生成式人工智能的迅速崛起,为教育尤其是语文教育带来了新的发展机遇。如何高效、恰当地运用生成式人工智能提质增效,已成为语文教师共同关注的课题。为生成更高质量的内容,教师可基于语用学理论,根据准确性、简洁性、具体化和结构化四大原则,精准撰写语文学科教育提示语,并使用优化风格、优化结构、补充追问、引用示例四种优化方法,进一步提高生成内容的正确率。

生成式人工智能赋能初中英语阅读教学提示语设计策略研究

生成式人工智能在初中英语阅读教学中具有广泛的应用潜力,但如何有效利用这一技术仍是许多教师面临的挑战。本文聚焦提示语设计,介绍了三类典型框架的结构化提示语,并通过将其应用于初中英语阅读教学的具体场景,展示生成式人工智能如何赋能初中英语阅读教学实践。相关案例展示和经验总结能为初中英语教师提供提示语设计策略,以期更高效地利用生成式人工智能,助力提升英语阅读教学效果。

融合前缀调优和提示学习的仇恨言论检测方法

随着网络社交平台的发展,网络暴力的危害性日益凸显,其中仇恨言论作为网络暴力的一种表现形式,对其检测方法的研究有助于构建一个健康的互联网环境。然而,一方面先前的仇恨言论检测方法主要依赖于人工监管和关键词过滤,这些方法存在人工成本高且分类效果不佳的问题;另一方面,在互联网平台的监管下,仇恨言论的表达也变得更加含蓄、隐蔽,这对检测模型的文本理解能力提出了更高的要求。以ChatGPT为代表的大模型为仇恨言论检测任务提供了新的可能性,受其在各项下游任务中出色表现的启发,提出了一种融合前缀调优和提示学习的仇恨言论检测方法P-Prompt。利用前缀调优方法将大模型在相关数据集上进行微调,同时结合提示学习方法使模型能够识别并关注待检测文本中的仇恨言论词汇,从而进一步提升模型对仇恨言论的识别能力。实验结果验证了大模型在仇恨言论检测任务的有效性,与传统方法相比P-Prompt方法在仇恨言论检测的二分类和多分类任务中各项评价指标都取得了较明显的提升。

《中国药理学与毒理学杂志》编辑部投稿温馨提示

结合本刊稿约及平时常见问题,编辑部温馨提示:1.投稿须登录本刊官网(https://cjpt.magtechjournal.com)上传稿件,并填写所有作者的姓名、单位、电话、电子邮箱等信息,文章撰写格式请参照本刊投稿要求。2.投稿时须上传著作权许可使用授权书和加盖单位公章的科研诚信承诺书,模版从官网下载。

基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法

基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取方法存在错误传播问题,影响抽取效果。针对以上问题,提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先,利用区间抽取式阅读理解的提示学习方法对预训练语言模型(PLM)注入领域知识以统一预训练和微调的优化目标,并对输入句子进行编码表示;其次,使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测和联合解码,对齐成实体关系三元组,并构建了PTBG(Prompt Tuned BERT with Global pointer)模型,解决实体嵌套和关系重叠问题,同时避免了管道式解码的错误传播问题;最后,在上述工作基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验的结果表明,相较于注入领域知识前后的OneRel模型,PTBG模型所取得的F1值分别提升了1.64和1.97个百分点。可见,PTBG模型能更好地对中文古籍实体关系进行联合抽取,为低资源的小样本深度学习场景提供了新的研究思路与方法。

基于双文本提示和多重相似性学习的多标签遥感图像分类

多标签遥感图像分类旨在预测遥感图像中出现的多个相互关联的对象,其中文本标签能赋予丰富的语义信息。然而,目前多数多标签图像分类法未能充分考虑视觉语义图像-文本对信息。为了解决这一问题,提出了一种基于双文本提示和多重相似性(Bi-text Prompts and Multi-similarity,BTPMS)学习的多标签遥感图像分类算法。该算法首先利用场景与对象标签文本的双文本提示(Bi-text Prompts,BTP)提供丰富的先验知识,再综合考虑场景与对象标签之间的关联,对所得的文本特征和图像特征计算多重相似性,最后利用相似性得分进行多标签遥感图像分类。此外,设计了新颖的局部特征注意力(Local Feature Attention,LFA)模块,从空间与通道维度上捕捉图像中局部结构。在两个基准遥感数据集上进行广泛实验,结果表明所提算法优于对比的多标签图像分类方法。

基于后提示与实例适应的跨域方面情感分析

方面情感分析是一种细粒度的情感分析任务,旨在从句子中提取方面词并识别其情感。由于方面术语的标注成本高昂,之前的工作通过跨领域转移公共知识来缓解新领域的数据缺乏问题。但这些方法的模型复杂,并且需要昂贵的多级预处理。针对这些问题,提出一种简单且有效的LPIDA模型。首先,从BERT模型的中间层开始,每层插入一组由多个可学习向量组成的软提示,以学习源域和目标域之间的域不变特征。其次,设置一个词级域分类器,将分类器的结果用于实例适应,使模型能更关注目标域中的单词。在4个基准英文数据集上的实验结果表明,所提出的LPIDA模型在10组不同域对上的跨域方面情感分析任务的平均Micro-F1达到47.01%,跨域方面词提取任务的平均Micro-F1达到52.29%。同时在3个中文数据集上进行测试,证明了该方法的有效性。

面向跨提示中文作文自动评分的多尺度BERT-wwm模型

跨提示中文作文自动评分任务是真实教育环境中广泛应用的方法,然而,在使用预训练模型实现的过程中主要涉及两个问题,一是不同提示提取的文本特征差异,限制模型在其他提示上的泛化能力;二是传统BERT预训练模型的分词方法未能充分考虑中文分词的需求。针对这些问题,一方面,使用基于BERT模型的多尺度文本表示方法,从文章、段落和标记三个不同尺度来提取文本特征,增强提取通用文本特征的能力;另一方面,使用中文BERT-wwm模型来增强模型对中文语义的理解能力,该模型采用全词掩码的预训练方式,解决BERT模型难以理解复杂中文语法和逻辑的问题。实验结果表明,在自制数据集中,模型的预测得分与真实人工评分具有较高的一致性,达到0.736,并在文本特征高度差异化的题材中表现良好。

面向AIGC的教育提示工程学习提示单设计及应用

在AIGC时代,如何合理运用大模型赋能课堂教学是目前应解决的关键问题。通过教育提示工程的理论指导设计学习提示单能够促进教育与大模型等新技术的有效融合。学习提示单是帮助中小学师生在课堂中合理适恰地运用大模型解决问题的一种学习资源,旨在通过运用教育提示工程的理论针对教育领域的提示词进行设计,从而解决大模型在课堂中的合理有效运用问题。针对中小学师生使用大模型遇到的诸如如何引导学生正确使用大模型、如何把控大模型的内容质量、如何规避大模型使用的伦理风险以及如何提高学生的批判性思维等问题,设计了基于三轮对话的T|BO-LRQET-P&R(简称LRQET)模型、学习提示单以及大模型的课堂教学应用模式。通过教育提示工程的理论设计学习提示单以助力师生的教与学。

数智时代的高校图书馆提示语素养培育:内容、方法与路径

数智时代,掌握与人工智能高质量对话的能力至关重要。提示语素养被作为一种新的时代技能而提出。从信息检索领域变革及馆员专业技能优势两方面论述了图书馆员促进提示语素养培育的必然性。在此基础上,对高校图书馆提示语素养培育的内容、方法和路径进行了详细地探讨。提示语素养培育将是高校图书馆推动知识创新、服务新质人才培育的重要价值所在。

基于知识注入提示学习的专利短语相似度计算

专利是授予发明者在一定时期内保护其发明的法定权利,在当今的社会活动中发挥着重要作用。然而现有研究并未针对专利相似度数据进行适配优化,导致其应用在专利短语相似度匹配任务中效果不佳。已有研究表明,在低资源的场景下,提示学习将文本片段(模板)作为输入,将分类问题转换为掩码语言建模问题,其关键的一步是在标签空间和标签词空间之间构造一个投影。提出一种基于知识注入的提示学习方法,将其应用于专利短语相似度匹配计算任务。为解决专利短语信息不足的问题,利用专利短语中的相似度标签信息,使用知识增强专利短语与标签信息。首先通过实体链接技术建立专利短语与外部知识的关联关系;然后设计一种基于实体影响度的邻域信息过滤机制,用于缓解专利短语信息不足的问题;最后考虑不同外部知识对专利短语相似度计算的影响,设计应用于专利短语的多种增强提示文本。实验结果表明,该方法的Pеarson相关系数(PCC)和Spеarman相关系数(SRC)相较次优对比方法分别提升6.8%和5.7%。

视觉提示学习综述

近年来,随着提示学习方法在自然语言处理领域被提出,其日益受到研究人员广泛关注,它通过将各类下游任务重构成预训练任务的形式,以参数高效和数据高效的方式将大规模预训练模型应用在各类自然语言相关下游任务中.其中以GPT系列为代表的模型通过提示学习在对话生成和多模态图文理解等任务上取得了巨大的成功.然而,这类模型及方法还不能解决视觉中的稠密任务.受此启发,一些研究人员逐渐将提示学习广泛应用到视觉相关的各类任务当中,如图像识别、目标检测、图像分割、领域适应、持续学习等.由于目前还没有提示学习应用在视觉相关领域中的综述,本文将对视觉单模态领域以及视觉语言多模态领域的提示学习方法展开全面论述和分析.作为回顾,我们首先简要介绍自然语言处理领域的预训练模型,并对提示学习的基本概念、下游应用形式以及提示模板类型进行阐述和分类.其次,我们分别介绍视觉单模态领域以及视觉语言多模态领域里提示学习方法适配的预训练模型和任务.再次,我们分别介绍视觉单模态领域以及视觉语言多模态领域的提示学习方法.在自然语言处理领域,提示学习方法以继承预训练形式实现多任务统一为主要目的;与此不同,在视觉相关领域,提示学习方法侧重于面向特定下游任务进行设计.为此,我们将从方法设计上进行简单分类,然后从应用任务角度详细介绍视觉单模态提示学习和视觉语言多模态提示学习方法.最后,我们对比分析了自然语言处理领域和视觉相关领域提示学习研究的进展,并对未来研究路线给出了展望。

增强提示学习的少样本文本分类方法

针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化。为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实验评估,结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。

提示对学习者自我生成教学过程和学习效果的作用

研究主要探讨了自我生成教学中不同类型的提示对学习效果和学习感知的影响。实验1发现自我生成教学的学习效果好于重复学习。实验2对比了图片、文字、关键词三种提示和无提示的效果。结果发现图片和关键词提示具有更好的学习效果。实验3设置了关键词提示组、生成提示组和无提示组。结果发现关键词提示和生成提示的保持成绩好于无提示,生成提示的迁移成绩好于无提示。此外,关键词提示和生成提示可以促进学习者产生更多的概念单元。结论认为:(1)在自我生成教学时获得图片提示能促进知识保持,获得关键词提示能促进知识保持和迁移。(2)相比于被动获得提示,学习者主动生成提示更能促进知识迁移。(3)概念单元数量在提示影响学习效果中起中介作用。

基于提示微调的汉语词汇简化研究

词汇简化是在不改变原句结构和语义的情况下,用更简单的词替换句子中的难词,提高文本面向特定群体读者的可读性。该文提出基于提示微调的汉语词汇简化方法PTCLS(Prompt-tuning Based Chinese Lexical Simplification)。PTCLS采用基于BART的底层架构,能够自然地生成不同字数的替代词,模型训练只需微调少量参数。在公开的汉语词汇简化数据集上的实验表明,该文提出的方法可以大幅超越目前最好的基线系统BERT-LS。深入分析揭示,微调方法只利用少量标注数据即可取得比全参数微调、手工提示和无监督方法更好的表现,尤其针对汉语同义词词典外的难词取得了更显著的性能提升。

基于内部知识扩展的软提示学习点击诱饵检测方法

点击诱饵的主要目的是通过引导用户点击链接以增加页面浏览量和广告收入.点击诱饵的内容往往具有低质量、误导性或虚假性的特征,对用户产生潜在不利影响.现有的基于预训练语言模型的提示学习方法依赖外部开放知识库以检测点击诱饵,不仅性能受制于外部知识库的质量和可用性,而且不可避免地导致查询和响应的延迟.为此,文中提出基于内部知识扩展的软提示学习点击诱饵检测方法,从训练数据集本身提取扩展词,同时采用层次聚类和优化策略,在提示学习中对获得的扩展词进行微调,避免从外部知识库检索知识.此外,采用软提示学习可获得适合特定文本类型的最佳提示,避免手工模板带来的偏差.在少样本场景下,尽管文中方法只基于内部知识进行扩展,但在三个公开的点击诱饵数据集上可以以较少的时间取得较优的检测效果.

面向小样本命名实体识别的实体语义优先提示学习方法

近些年来,提示学习在小样本命名实体识别任务上得到了广泛应用。然而,命名实体识别仍然是一个令牌级的标记任务,在通过提示模板调动预训练知识时,很容易忽略新实体类型的语义信息。为此,提出了一个语义优先的提示学习方法。具体来说,首先检测少量示例中实体类型蕴涵的语义信息,然后将实体语义信息和询问实体位置的提示模板输入模型中,利用模型中的非自回归解码器并行预测来提取实体;此外,为了确保语义信息与实体类型的关联性,使用对比学习的方法来训练一个分类器,以去除与实体类型无关的语义信息;最后在两个常用的公共基准数据集上评估了所提方法,实验结果证明了该方法的有效性。