大语言模型的“语言”跟自然语言性质迥然不同

大语言模型的诞生“在人类历史上称得上史无前例的技术成就”(孙茂松),因为这使机器真正能跟人自由对话了。先前的自然语言处理——具体到汉语就是中文信息处理,其目的就是要让机器能理解我们人所说的话语,反过来又能生成让我们人能接受的话语,以实现“人机对话”。为达到此目的,上世纪70年代解决了“字处理”问题;80年代进一步解决了“词处理”问题,包括分词和词性标注;90年代逐步解决了“句处理”问题,包括句子的句法分析和语义分析。

人工智能大语言模型在基层医疗卫生服务中的应用与挑战

基层医疗系统是实现健康公平的关键。我国面临医疗资源分布不平衡、基层医生数量短缺以及慢性病防治形势不容乐观的严峻挑战。人工智能大语言模型在医疗系统中发挥出了强大优势,本文深入探讨了大模型在基层医疗系统中的应用及其面临的挑战,提出应进一步深化大模型的应用,以辅助基层医生常见病诊疗,推动智能化健康教育和慢性病管理,托底“老少边穷”地区基层卫生服务,激发全科医学的飞跃性发展,并推进大模型在全科诊疗与基层卫生服务中的产业化,为健康中国建设提供重要支撑。

基于预训练语言模型的知识图谱研究综述

大语言模型时代,知识图谱作为一种结构化的知识表示方式,在提升人工智能的可靠性、安全性和可解释性方面发挥着不可替代的作用,具有重要的研究价值和实际应用前景。近年来,凭借在语义理解和上下文学习方面的优越性能,预训练语言模型已经成为了知识图谱研究的主要手段。系统梳理了基于预训练语言模型的知识图谱研究的相关工作,包括知识图谱构建、表示学习、推理、问答等,介绍了相关模型和方法的核心思路,并依据技术路径建立了分类体系,对不同类型方法的优缺点进行了对比分析。此外,对预训练语言模型在事件知识图谱和多模态知识图谱这两种新型知识图谱中的应用现状进行了综述。最后,总结了当前基于预训练语言模型的知识图谱研究面临的挑战,展望了未来的研究方向。

SWARM-LLM:基于大语言模型的无人集群任务规划系统

针对无人集群系统自主智能性不足、异构无人集群协同效率低、任务分配不均衡等问题,文中面向无人集群自主规划、高效协作、智能决策的需求,首先提出了一种新的基于大语言模型的无人集群任务规划系统框架(SWARM-LLM)。该框架利用大语言模型将高层次的任务指令转化为具体的智能无人集群任务规划方案,通过任务分解、任务分配、任务执行等多个阶段来实现无人集群协同任务。进一步地,设计了一套适用于无人集群规划的提示工程方法-规划链(Planning Chain, PC),用来指导和优化上述各阶段的实施。最终,在无人集群仿真环境(AirSim)中构建了不同类别和复杂度的任务,并进行了评估实验。与其他基于优化算法和机器学习的算法相比,实验结果证明了SWARM-LLM框架的有效性,并在任务成功率上展现出了显著的优势,平均性能提升了47.8%。

面向联邦大语言模型训练的传输优化技术综述

随着人工智能技术的快速发展,各类大型语言模型不断涌现.但是专用大语言模型的用户及数据集大多具有隐私性和安全性要求,数据安全隐私问题亟待解决.在此背景下,联邦大语言模型应运而生并得到越来越多的关注.由于大型语言模型庞大的数据量以及联邦学习的分布式架构,海量的参与节点与云服务器间进行大量的模型交换会产生较高的通信成本.为提升模型收敛速率,研究人员对面向联邦大语言模型训练的传输优化技术展开了研究.文章分析了联邦大语言模型所面临的挑战;综述了基于模型微调的传输优化方法、基于模型压缩的传输优化方法以及基于分布式并行处理的传输优化的优化问题;介绍了已有的开源联邦大语言模型以及所用到的传输优化技术,并对未来研究方向进行了展望.

大语言模型驱动的多元关系知识图谱补全方法

知识图谱通过将复杂的互联网信息转化为易于理解的结构化形式,极大地提高了信息的可访问性。知识图谱补全技术进一步增强了知识图谱的信息完整性,显著提升了智能问答和推荐系统等通用领域应用的性能与用户体验。然而,现有的知识图谱补全方法大多专注于关系类型较少和简单语义情景下的三元组实例,未能充分利用知识图谱在处理多元关系和复杂语义方面的潜力。针对此问题,提出了一种由大语言模型(LLM)驱动的多元关系知识图谱补全方法。将LLM的深层语言理解能力与知识图谱的结构特性相结合,有效捕捉多元关系,理解复杂语义情景。此外,还引入了一种基于思维链的提示工程策略,旨在提高补全任务的准确性。该方法在两个公开知识图谱数据集上的实验结果都取得了显著的提升。

大模型时代下的汉语自然语言处理研究与探索

自然语言处理是实现人机交互的关键步骤,而汉语自然语言处理(Chinese natural language processing,CNLP)是其中的重要组成部分。随着大模型技术的发展,CNLP进入了一个新的阶段,这些汉语大模型具备更强的泛化能力和更快的任务适应性。然而,相较于英语大模型,汉语大模型在逻辑推理和文本理解能力方面仍存在不足。介绍了图神经网络在特定CNLP任务中的优势,进行了量子机器学习在CNLP发展潜力的调查。总结了大模型的基本原理和技术架构,详细整理了大模型评测任务的典型数据集和模型评价指标,评估比较了当前主流的大模型在CNLP任务中的效果。分析了当前CNLP存在的挑战,并对CNLP任务的未来研究方向进行了展望,希望能帮助解决当前CNLP存在的挑战,同时为新方法的提出提供了一定的参考。

大语言模型背景下高校教师“AI茧房”破解路径研究

随着ChatGPT等AI大语言模型的迅猛发展,海量的信息资源和丰富的信息渠道为教师群体带来了巨大的便利。然而,随之而来的也有一系列问题。教师群体面临信息来源单一、信息同质化和偏向化等挑战,不知不觉中陷入了“信息茧房”,这对教学科研活动以及教师个人发展产生了负面影响。基于此,文章从“茧房”的特征和发展趋势出发,分析其对高校教师群体信息水平、道德观念、科研能力和师生关系的影响,并探讨高校教师的“破茧”路径。

大语言模型下编辑工作的转型与探索

2023年以来,生成式人工智能出现了爆发式发展,大语言模型作为其中的重要分支,正在逐渐改变传统的编辑工作模式。出版行业在充分利用大语言模型促进行业跨越式发展的同时,也要清醒地认识到人工智能带来的弊端与风险,以及人机共处模式下编辑的优势和不可替代性。本文分析了大语言模型在出版流程中的应用场景,总结了大语言模型的不可控性,指出在大语言模型驱动下,编辑工作如何创新探索。

论大语言模型材料的证据属性——以ChatGPT和文心一言为例

以ChatGPT和文心一言为代表的大语言模型产生海量大语言模型材料,此类材料进入社会生活并产生广泛影响,讨论大语言模型材料证据属性具有重要意义。大语言模型材料可以成为证据,但是否具有证据资格需要在具体个案中进行判断。从诉讼效率出发,大语言模型证据在不同诉讼中的呈现形式可以有所区别:一般案件可以仅举示人机交流材料和使用者本地环境信息,重大案件则应完整举示。大语言模型材料区别于大数据证据和一般的人工智能证据,具有直观性强、可解释性弱、偏在于少数技术公司、可识别性弱等特点。

基于大语言模型的水工程调度知识图谱的构建与应用

随着水利事业的发展和信息化需求的增加,处理和表示海量水利数据变得复杂而繁琐。特别是调度文本数据通常以自然语言的形式存在,缺乏明确的结构和规范,并且处理和应用这些多样性的数据需要具备广泛的领域知识和专业背景。为此,提出了基于大语言模型的水工程调度知识图谱的构建方法。通过数据层的调度规则数据收集与预处理,再利用大语言模型挖掘和抽取数据中蕴藏的知识,完成概念层本体构建和实例层“三步法”提示策略抽取。在数据层、概念层、实例层的相互作用下,实现了规则文本的高性能抽取,完成了数据集和知识图谱的构建。实验结果表明,大语言模型抽取方法F1值达到85.5%,且通过消融实验验证了模型各模块的有效性和合理性。构建的水工程调度知识图谱整合了分散的水利规则信息,有效处理非结构化文本数据,并提供可视化查询和功能追溯功能。这有助于领域从业人员判断来水情况并选择适当的调度方案,为水利决策和智能推荐等提供了重要支持。

大语言模型在中学历史学科中的应用测评分析

大语言模型一经发布便获得广泛关注,但其在实际应用特别是教育领域的应用还存在诸多局限与挑战,因此需要对大语言模型在中文语境下的能力与风险进行测评。基于此,文章首先收集整理了一个包括10万条客观选择题与10套中学主观题测试卷的中学历史数据集,并在以ChatGPT、GPT-4和讯飞星火为代表的大语言模型上测试了该数据集中题目的回答表现。然后,文章详细分析了测试结果,发现虽然当前大语言模型的突出能力在于能够产生完整且流畅的表达,但其在中学历史知识测试中仍远低于适龄学生的平均水平,大语言模型应用于教育领域仍存在可靠性较差、可信度较低、具有偏见与歧视、推理能力不足、无法自动更新知识等问题。最后,文章针对大语言模型在中文语境下教育领域的应用提出建议,以期助力大语言模型在教育领域发挥更大的作用,为学生、教师带来更好的学习和教学体验。

大语言模型赋能场景生成和双层优化的多农业园区供电-灌溉-蓄水耦合运行

传统农灌负荷的使用具有集中性和无序性,显著加剧电力系统的供需不平衡与运行成本。为提升农业园区运行的经济性和光伏资源的消纳能力,通过刻画农灌负荷特性,结合作物生长用能需求,提出一种基于大语言模型(largelanguagemodel,LLM)场景生成和双层优化的多农业园区优化调度模型。该模型利用LLM时序分析能力进行光伏短期发电功率预测,然后通过LLM知识推理能力构建农业用水知识图谱,知识图谱中丰富的语义关系辅助LLM推理和预测,生成更符合实际情况的农业供电-灌溉-蓄水场景。双层优化调度模型在生成场景基础上,以园区经济运行为优化目标,对多农业园区供电-灌溉-蓄水进行耦合优化调度。最后,通过仿真验证,本文所提出的方法显著提升了农业园区电力系统运行稳定性,并有效降低了系统运行成本。

“大语言模型”多人谈

迫切需要探索大语言模型的语言与知识机理,大模型是当前人工智能研究的最前沿,正逐渐成为信息产业的重要基础设施。但是,大模型虽然在写作、推理、规划、数学、代码等诸多领域都展现出了强大甚至比肩人类的能力,却经常出现内容幻觉、价值观错位、歧视偏见等问题。应该如何解决这一难题?

大语言模型在学科知识图谱自动化构建上的应用

人工智能技术的飞速发展推动了教育领域的智能化,涌现出一些利用知识图谱技术进行学科知识体系构建的研究。利用知识图谱构建的知识体系,可以建模知识点之间的关联性,形成课程知识脉络,有助于学习者对知识点的记忆与深层次理解。然而,学科课程的教学资源多样且分散,现有的自动构建方法往往使用单一的数据资源,资源利用率低,难以对专业知识体系的构建提供有效指导。构建方法自动化程度较低,构建成本大,需要开发不同的模块对非结构化文本进行处理并生成图谱,可复现性和可移植性较差。因此,提出了一种基于大语言模型的学科知识图谱构建优化流程,高度融合大语言模型的优势和各学科知识的逻辑关联。具体以通信专业为例,借用ChatGPT大语言模型的强大功能,使用多种知识来源,通过学科知识分析设计知识系统本体,自动化提取基于教学资源的知识实体和知识关系形成最终的学科知识体系,可方便地推广至其他学科领域。

面向古文自然语言处理生成任务的大语言模型评测研究

大语言模型的频繁发布为大语言模型的评测研究带来了机遇与挑战,针对通用领域大语言模型的评测体系日趋成熟,而面向垂直领域的大语言模型评测仍在起步阶段,本文以古文领域评测为切入点,从语言和知识两个维度构建了一批古籍领域评测任务,并选取当前各大榜单中性能较为优越的13个通用领域大语言模型进行评测。评测结果显示,ERNIE-Bot在古籍领域知识方面遥遥领先于其他模型,而GPT-4模型在语言能力方面表现出最佳性能,在开源模型中,ChatGLM系列模型表现最为出色。通过构建评测任务和数据集,制定了一套适用于古籍领域的大语言模型评测标准,为古籍领域大语言模型性能评测提供了参考,也为后续古籍大语言模型训练过程中的基座模型选取提供了依据。

大型语言模型对高等教育的影响与中国应对

大型语言模型(LLM)在短期内将从创设教学情境、创新教学模式、教学AI开发和应用、拓展高校在线学习、助力虚拟仿真课程开发等方面助力高等教育;长期来看能够助推“四新”建设、赋能基础学科拔尖人才培养,并催生高校结构性变革。同时,LLM也可能引发教育安全风险,造成新的教育智能鸿沟,并被大企业寡头垄断。为促进LLM赋能中国高等教育,需要我国加快开发迭代自己的LLM,促进其均等化可达,提升师生数字素养和能力,夯实数字化教学环境。

领域大语言模型下的古籍词性标注应用研究

[目的/意义]大语言模型的发展为古籍文本挖掘带来了新的思路,将大语言模型与古籍数字化、智能化相结合是新时代古籍工作的必经之路。[方法/过程]文章使用《左传》词性标注语料,通过数据清洗和预处理,构建了一批高质量的词性标注指令数据,在此基础上,分别使用500、1 000、2 000、5 000条数据对大语言模型进行指令微调,并在另外1 000条数据上进行性能测试。[结果/结论]实验结果表明,“荀子”系列模型在古籍文本词性标注任务上性能优于通用领域模型,在微调数据量达到5 000时,Xunzi-Baichuan2-7B模型表现出了最优性能,F1值达到81.67%。

是“神马”还是“灰犀牛”:ChatGPT等大语言模型对教育的多维影响及应对之策

ChatGPT以“入侵”的方式在教育领域登陆,初露“灰犀牛”面貌,由此引发教育思想、教育体系和学校教育层面的危机。在教育思想层面,多将ChatGPT视为“神马”,在态度上选择抵制和观望,其背后既有思维惯性、惰性等历史原因,也有因ChatGPT等大语言模型管理制度缺位导致安全感无处寄放的现实依据。就教育体系而言,ChatGPT引发的教育自洽与替代焦虑加持,将从内外两个角度解构既有的教育目标体系,由此带来基于人的自由全面发展的教育目标体系的重构;ChatGPT将推动知识生产与知识学习的转向,进而以知识教育价值重估为“支点”,撬动教育整体价值重估,促使教育立足“人本”和“高阶”开展价值创造;ChatGPT还将引发学生发展与评价标准、方式的变革,渐次推动教育评价体系的全面创新。就学校教育而言,知识学习的变革必将推动学校教育时空的重组和学校生态的创新,使课堂教学由“三维”向“四维”转型,进而推动教学生态重塑、流程再造和课堂教学革命,引发教师角色、工作方式和发展方式的变革。

JADE-DB:基于靶向变异的大语言模型安全通用基准测试集

提出大语言模型安全通用基准测试集—JADE-DB,该数据集基于靶向变异方法自动化构建,能够将经验丰富的大语言模型安全测试员和多学科专家学者手工撰写的测试问题转化为高危通用问题,保持语言自然性的同时不改变其核心语义,且能够攻破十余款国内外知名大语言模型的安全防护机制.根据语言复杂性差异,JADE-DB包含基础、进阶、高危3个安全测试等级,共计上千条覆盖违法犯罪、侵犯权益、歧视偏见和核心价值观4大类违规主题、30多种违规主题的通用测试问题,其中针对国内开源(中文,8款)、国内商用(中文,6款)和国外商用大语言模型(英文,4款)这3组大语言模型分别构建的3款通用高危测试集,可造成每组模型在高危测试集上的平均违规率均超过70%,测试问题均可同时触发多款模型违规生成.这表明,语言的复杂性导致现有大语言模型难以学习到人类无穷多种表达方式,因此无法识别其中不变的违规本质.