基于大型语言模型指令微调的心理健康领域联合信息抽取

信息抽取目的在于从文本中提取关键的信息。心理健康领域的信息抽取能力反映了语言模型对人类心理健康相关信息的自然语言理解能力。提高语言模型的领域信息抽取能力,还能为AI心理健康服务提供重要的知识来源。但目前心理健康信息抽取的中文指令数据集十分匮乏,这限制了相关研究和应用的发展。针对以上问题,该文在心理学专家的指导下提示ChatGPT生成样本实例,并通过设计生成指令以及数据增强,构建了5641条包含命名实体识别、关系抽取和事件抽取三项基本抽取任务的心理健康领域联合信息抽取指令数据集,旨在填补心理健康领域信息抽取中文指令数据集的不足。随后使用该指令数据集对大型语言模型进行参数高效微调。与基线模型的性能对比以及人工评估的实验结果表明,大型语言模型经过有效的指令微调后可以完成心理健康领域信息抽取的联合任务。

基于多模态推荐指令的大语言模型指令微调

基于多模态指令的大语言模型指令微调能够有效赋予大模型解决相关多模态任务的能力。为了进一步使大模型能够完成多模态零样本或少样本推荐任务,提出了多模态推荐大语言模型,该模型以大语言模型ChatGLM2-6B为基座,选取包含文本、图片信息的多模态推荐数据集,利用ChatGPT和GPT4构建多模态用户画像和物品属性生成指令,以及零样本和少样本推荐指令,并采用高效参数微调P-tuning v2方式,仅需用一张A100 40GB图形处理器即可微调得到多模态推荐大语言模型,用于完成多模态零样本和少样本推荐任务。实验结果证明,所提模型显著优于现有基线模型。

社交媒体数据中水灾事件求助信息提取模型

由于社交媒体平台上所发布的非结构化信息存在数据不一致、重要程度不同等问题,使自动准确抽取所需信息并标注受灾级别成为一个有挑战性的工作。因此,结合形式概念分析(FCA)、词共现关系和上下文语义信息构建了水灾事件知识体系。利用所构建的知识体系,基于TencentPretrain框架对大规模语言预训练模型(LLM)进行指令微调,构建了ChatFlowFlood信息抽取模型,可以在少量人工标记情况下,准确自动抽取被困情况、紧缺物资等信息;在信息抽取模型的基础上,通过模糊层次分析法(FAHP)和CRITIC法(CRiteria Importance Through Intercriteria Correlation)主客观结合评定求助信息的救援优先级,帮助决策者理解灾情紧急程度。实验结果表明,在中文社交媒体数据上,与ChatFlow-7B模型相比,ChatFlowFlood模型的FBERT指标提升了73.09%。

基于领域大语言模型的古籍分词研究

[目的/意义]文章以古籍自动分词为切入点,引入“荀子”系列大语言模型,对大语言模型在古籍文本分词任务上的表现进行了探讨。[方法/过程]文章基于《左传》分词语料,进行了数据清洗和整理,构建了指令数据集,在此基础上,从数据集中抽取了1 000条作为测试数据,并分别使用500、1 000、2 000、5 000条数据作为训练数据进行指令微调,并测试其性能。[结果/结论]实验结果表明,只需要少量的数据,大语言模型就可以有较为理想的表现,在微调数据量达到5 000条数据时,Xunzi-Qwen-7B模型表现出了最优性能,F1值达到84.54%。

领域大语言模型下的古籍词性标注应用研究

[目的/意义]大语言模型的发展为古籍文本挖掘带来了新的思路,将大语言模型与古籍数字化、智能化相结合是新时代古籍工作的必经之路。[方法/过程]文章使用《左传》词性标注语料,通过数据清洗和预处理,构建了一批高质量的词性标注指令数据,在此基础上,分别使用500、1 000、2 000、5 000条数据对大语言模型进行指令微调,并在另外1 000条数据上进行性能测试。[结果/结论]实验结果表明,“荀子”系列模型在古籍文本词性标注任务上性能优于通用领域模型,在微调数据量达到5 000时,Xunzi-Baichuan2-7B模型表现出了最优性能,F1值达到81.67%。

油藏动态分析场景大模型构建与初步应用

针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体识别技术、工具调用技术、Text-to-SQL(自然语言转换成结构化查询语言)技术微调的功能子系统及其高效耦合方法,将人工智能大模型运用到油藏动态分析领域。测试了特征提取模型、工具分类模型、数据检索模型、分析建议模型的准确性,结果表明这些模型在油藏动态分析的各个关键环节均展现出了良好的性能。最后以大庆油田PK3区块部分注采井组为例,测试验证了油藏动态分析场景大模型在辅助油藏工程师进行油藏动态分析方面具有的运用价值和潜力,为大模型在油藏动态分析中的运用提供了较好的技术支持。

油气大模型发展方向及实施关键路径

大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于大数据、大模型的智能化技术,能够处理大规模、异源、异构的数据,有望更好地应对油气勘探开发领域中的复杂性和不确定性,重塑油气领域的数字化流程,成为油气行业新的发展契机。从油气大模型产生的技术需求、时代背景出发,探索油气大模型技术体系,对油气大模型建设提出设想。具体方案从建设目标、建设原则开始,设计技术架构、给出实施路径,横向上规划4个实施阶段、纵向上规划4个研究领域,设计15项关键任务,进一步为大模型落地,规划了数据库、知识库、成果库和协同研究4项配套体系建设、制定13项关键技术,逐步推进大模型对“数”“图”“体”的理解,最后对大模型在未来油气研究领域的应用场景进行了展望。

基于多模态大语言模型的攻击性模因解释生成方法

随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能.

基于大语言模型的SQL注入攻击检测方法研究

随着结构化查询语言(structured query language,SQL)注入攻击日益成为网络安全领域的重大威胁,传统检测技术存在误报率高、适应性差的问题。针对这些问题,提出了一种利用高级大语言模型的检测方法,通过融合提示词工程与精准指令调整技术,开发出专门应对SQL注入攻击的大语言模型,并进行实验与分析。实验数据显示,基于大语言模型的SQL注入攻击检测方法在标准数据集上的表现优于传统模型,准确率超过90.63%,误报率低于0.95%,在实际应用中具有巨大潜力。

图书情报领域大模型的应用模式和数据治理

本文探讨了图书情报领域大语言模型的应用开发与数据治理要求。大语言模型是依赖海量文本数据,经过无监督预训练及有监督标注数据微调而成。领域大模型则是通用大模型经过领域数据的微调而得到,具备解决领域问题的能力,满足领域应用需求。本文首先回顾了生成式人工智能的突破历程,介绍了大模型的基本原理和应用现状,分析了大模型所具备的多任务能力背后的数据因素和数据需求。最后从数据治理角度重点讨论了领域大模型的应用潜力和方法流程。本文的主要贡献在于分析了图书情报领域大模型的应用模式和数据治理,为图书馆行业应用生成式人工智能技术提供了理论依据和实践指导。同时,文章也讨论了行业大模型应用和评估时需要关注的问题和局限性。

一种基于大语言模型的SQL注入攻击检测方法

SQL注入攻击是一种被攻击者广泛使用的网络攻击手段,严重威胁网络空间安全。传统的SQL注入攻击检测方法主要有基于规则和基于机器学习两种,这些方法存在泛用性较差且误报率高的问题。文章提出一种基于大语言模型的SQL注入攻击检测方法,利用提示工程和指令微调技术,得到SQL注入攻击检测专用大语言模型;通过分析迭代轮数、微调样本数以及推理参数对模型性能的影响,探索提升大语言模型检测能力的途径;依托大语言模型强大的语义理解能力,降低检测误报率。对文章所提的SQL注入攻击检测专用大语言模型在Kaggle数据集上进行实验分析,结果表明其准确率达到99.85%以上,误报率低于0.2%,F1值达到0.999,相较于目前较先进的SQL注入攻击检测方法,在检测性能上有较大提升。

大语言模型—人工智能发展史上的里程碑

近几年,大语言模型技术突飞猛进,极大地推动了自然语言处理乃至人工智能领域的发展。本文介绍大语 言模型的技术原理,回顾大语言模型的发展历程,分析大语言模型的关键技术,梳理大语言模型的实现方法,并探 讨大语言模型面临的挑战。

语言大模型的演进与启示

2022年11月,OpenAI推出对话人工智能大模型ChatGPT,展现了令人惊艳的自然语言理解和生成能力,并具备了跨学科、多场景、多用途的通用性,在很多任务上的性能达到了人类专家的水平,引起了产业界和学术界的广泛关注。以ChatGPT为代表的大模型技术实现了人工智能技术从“量变”到“质变”的跨越,有望发展成为人工智能关键基础设施赋能百业,加速推进国民经济的高质量发展。本文首先回顾了大模型技术的演进历程,从技术、应用、生态等多个角度阐述大模型技术引发的新一轮人工智能变革,并指出大模型技术可能带来的风险和挑战,最后给出了我国大模型发展的一些启示与展望。

超越聊天机器人,走向通用人工智能——ChatGPT的成功之道及其对语言学的启示

本文首先说明ChatGPT是一个通用的自然语言处理平台,是走向通用人工智能的基石,可以成为人工智能生成内容的开发平台。然后,从算法模型(生成式预训练+微调)、指令微调(在上下文中学习和思维链等提示策略)、跟人对齐(基于人类反馈的强化学习)等角度,介绍ChatGPT的技术原理和工程构架,以及人工智能专家和语言学家对它的批评意见。最后,介绍ChatGPT研发的缘起和GPT-4所达到的心智理论水平,特别介绍心理语言学家对于ChatGPT的语言运用能力的测验,介绍他们检验大型语言模型和人类在语言预测方面相似性的有关实验,演示一种新兴的语言学实验范式。