语言资源视角下的大规模语言模型治理

近半年来,柴语生(ChatGPT)等大规模生成式语言模型的应用,引发了全社会的关注和反思。对这种大模型,应以工具观加以正视,认可其技术发展带来的益处,同时尽量规避其风险。对它们的治理,应减少对技术本身的干预,将目标定位于大模型赖以研发的语言资源和投放之后的使用。对大模型研发中的语言资源治理,应着力打破中文数据孤岛:发展以联邦学习为代表的分布式模型构建技术,建立国家知识数据开放机制,尽快健全开放、高效的语言数据交换市场;提倡世界知识中文表达,助推中文大模型研发:尽快实现中文精华知识资源面向网络开放,完善中文概念、术语资源,做大、做全领域中文资源。对大模型使用领域的治理,则因大模型本身也是一种重要的语言资源,故应强调其基础资源地位,从标准化、评测和伦理规制的角度进行。

基于大规模语言模型的知识图谱可微规则抽取

知识图谱上的推理是预测不完整三元组中缺失的实体或关系,对结构化知识进行补全,并用于不同下游任务的过程。不同于被普遍研究的黑盒方法,如基于表示学习的推理方法,基于规则抽取的推理方法通过从知识图谱中泛化出一阶逻辑规则,实现一种可解释的推理范式。为解决离散的符号空间与连续的嵌入空间之间的鸿沟,提出一种基于大规模预训练语言模型的知识图谱可微规则抽取方法DRaM,将离散的一阶逻辑规则与连续的向量空间进行融合。针对规则中的原子公式顺序对推理过程产生的影响,通过引入大规模预训练语言模型对推理过程进行编码来解决。融合一阶逻辑规则的可微推理方法DRaM,在三个知识图谱数据集Family、Kinship和UMLS上进行的链接预测任务获得了较好的结果,尤其针对链接预测指标Hits@10,DRaM获得了最佳的推理结果。实验结果表明,DRaM能够有效地解决知识图谱上可微推理存在的问题,并且可以从推理过程中抽取带有置信度的一阶逻辑规则。DRaM不仅通过一阶逻辑规则增强了推理效果,同时增强了方法的可解释性。

人工智能大规模语言模型的运行逻辑与传媒应对

【目的】以ChatGPT为代表的智能聊天机器人,呈现出的具备内在逻辑的内容自动生成能力,突破特定局限而扩展到更广泛领域的普适能力,引发了传媒业的广泛关注和隐忧。【方法】为理清智能聊天机器人对传媒业的影响,及早谋划应对,文章探究了其背后的人工智能大规模语言模型技术的发展逻辑和运行逻辑,梳理分析了传媒在助力采访、辅助创作等方面的应用方式。【结果】随着逐步迭代完善,人工智能大规模语言模型技术将重塑媒体内容生产传播模式,消解媒体人的创作能力,导致舆论环境更为复杂,形成媒体深度融合发展的新形势。【结论】基于此,文章提出增强相关感知能力、辨别能力、应用能力、安全意识,推进融合共生,健全责任体系的应对新策。

大规模语言模型的跨云联合训练关键技术

模型参数规模的不断增加使模型训练所需的算力资源变得更加庞大,导致很多情况下单个算力集群难以满足大规模语言模型的训练需求。大规模语言模型的跨云联合训练成为解决这一问题的有效方式。以自然语言处理大模型的跨云预训练和微调为例,介绍了大规模语言模型跨云训练的主要挑战和关键技术,并探讨了这些技术在跨云训练过程中的具体应用、实际效果和未来场景。这些技术将为智能化应用和人机交互等提供有力支持。

大规模生成式语言模型在医疗领域的应用:机遇与挑战

目的/意义以ChatGPT为代表的大规模生成式语言模型带动了通用人工智能技术快速发展。大规模生成式语言模型能否在医疗领域应用取得成功是学术界和工业界密切关心的问题。本文旨在深入研究大规模生成式语言模型在我国医疗领域应用中的机遇与挑战。方法/过程从知识容器、能力引擎和自治智能体3方面出发,分析大模型在医疗提质增效、解决我国医学发展不平衡问题、慢性病智能管理与决策、人口老龄化应对以及医学科研加速等方面的新机遇,同时指出大模型在医疗领域应用所存在的局限。结果/结论大模型驱动有望成为智能医疗的新范式,针对大模型在医疗应用中的不足,提出具体发展建议。

风险社会视域下大规模语言模型的治安风险与多元治理——以ChatGPT为例

随着ChatGPT的发展,大规模语言模型进入全新时代。ChatGPT作为人工智能领域的最新里程碑,是科技为人类赋能的重要科研成果,但同时也引发出了潜在的治安风险,需要全社会引起足够重视。本文在风险社会视域下,梳理ChatGPT带来的治安风险,建议从法律、企业、个人、模型、应用五个层面对ChatGPT进行多元治理,将治安风险规制在可控范围内。这对ChatGPT及未来其他大规模语言模型治安风险识别与治理具有一定的借鉴意义。

鹏程·盘古:大规模自回归中文预训练语言模型及应用

在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。

InstructGPT在命名实体识别任务中的表现和挑战

当前,关于大规模语言模型,例如,InstructGPT的研究主要聚焦在自由形式生成任务上,而忽略了在结构化抽取任务上的探索。为了让未来的工作在结构化抽取任务上有一个全面的认知,该文在零样本和少样本设定下,全面分析了InstructGPT在基础的结构化抽取任务,命名实体识别上的表现。为了让结论更加可靠,该文的实验同时包含了生物医学领域和通用领域的常规和嵌套数据集。实验结果表明,InstructGPT在零样本学习上的性能只能达到微调小规模语言模型的11%~56%,增加少量样本也最多只能提升至72%。为了探究InstructGPT在命名实体识别上表现性能不佳的原因,该文通过分析模型的输出,发现接近50%的句子都存在无效生成的问题。另外,由于无效生成会同时导致“虚假错误预测”和“虚假正确预测”,解决生成无效问题并不能保证性能的提升。此外,InstructGPT抽取嵌套实体的能力还是有待提高,抽取嵌套实体的比例也偏低。因此,用InstructGPT解决命名实体识别任务,除了要保证生成的有效性,还需要更加深入地研究才能找到行之有效的方法。

AIGC赋能我国自动版权侵权检测技术发展

数字经济为自动版权侵权检测技术发展带来新机遇,但也面临检测规模巨大、准确率有待提高等问题。新一代人工智能技术,特别是大规模预训练语言模型(Large Language Model,LLM)可实现内容“深度理解”,显著提升检测性能。构建LLM驱动的检测技术体系,完善法规政策,增强检测主体能力,是推动检测技术进步的重要举措。这不仅影响知识产权保护效果,也关系到文化产业数字化转型的成效。检测技术创新应兼顾经济效益和社会效益,在支持转型的同时维护文化安全。

ChatGPT对图书馆智能知识服务的启示与思考

[目的/意义]ChatGPT是数智时代AI技术取得重大突破的典型应用,也进一步体现了多模态内容对于人工智能技术更新迭代的迫切需求。研究聚焦ChatGPT,在加深用户对其整体认知的同时,以期结合此类新型人工智能技术,为图书馆开展智能知识服务提供参考与借鉴。[方法/过程]通过分析ChatGPT的发展历程、技术特点、典型应用场景和集成应用路径,对比国内外同类技术产品,总结ChatGPT在技术上的局限与存在的安全风险,在此基础上思考ChatGPT对图书馆产生的影响。[结果/结论]图书馆及相关信息机构可充分融合大数据和人工智能等新型技术,依托高质量的科技资源和知识组织体系,全面提高其智能知识服务水平。

ChatGPT对图书馆企业竞争情报服务的启示与思考

AIGC时代的发展正促进图书馆服务进行范式转变,ChatGPT等AI模型影响着企业竞争情报获取的方式,也为图书馆创新企业竞争情报服务提供了科技支撑。论文通过系统梳理ChatGPT发展历程、技术特点,分析国内ChatGPT技术布局及应用场景,总结ChatGPT对图书馆企业竞争情报服务产生的影响,带来的问题,并提出图书馆可以从夯实资源建设、支持NLP模型嵌入、完善交互机制、开发智能情报平台四个方面提升企业竞争情报服务效能,助力ChatGPT赋能图书馆服务的落地应用。。

中文慕课评论情感识别语料库的构建与应用

中文在线教育评论情感识别在很大程度上受到有标注数据不足的限制,针对此问题,基于806门中国大学MOOC以自动和人工相结合的方式构建中文慕课情感识别语料库,共计10340条评论,其中褒义5411条,贬义4929条,保证了语料库的平衡性和学科覆盖的广泛性。制定语料收集和预处理策略、标注规范、标注体系、一致性检测方法;提出了神经网络模型以及基于大规模预训练语言模型的情感识别方法;实现了情感识别结果面向教学管理部门、教师2种使用角色的应用。该语料库为面向在线教育评论的情感分析研究奠定数据基础,对赋能教学评价、助力智能教学系统具有重要意义。

中文预设识别语料库的构建与预设识别

预设是普遍存在于人类语言中的一种特殊推理关系。为提升计算机对预设这一语言现象的自然语言理解能力,构建了基于人工标注的中文预设识别语料库。本语料库与中文自然语言推理数据集的识别难度大体相同。通过在本语料库上精调BERT-base、BERT-wwm-ext、RoBERTa、ELECTRA以及XLNet语言模型,结果表明,该语料库能够有效促进大规模预训练模型对预设语言现象的理解,对于体裁格式比较固定的触发类型模型识别较好,对问句、与事实相悖的条件从句识别准确率较低,现有大规模预训练语言模型仍然缺乏预设触发语含义的相关知识,在中文预设别方面还有很大的提升空间。

基于复述增广的医疗领域机器翻译

医疗机器翻译对于跨境医疗、医疗文献翻译等应用具有重要价值。汉英神经机器翻译依靠深度学习强大的建模能力和大规模双语平行数据取得了长足的进步。神经机器翻译通常依赖于大规模的平行句对训练翻译模型。目前,汉英翻译数据主要以新闻、政策等领域数据为主,缺少医疗领域的数据,导致医疗领域的汉英机器翻译效果不佳。针对医疗垂直领域机器翻译训练数据不足的问题,该文提出利用复述生成技术对汉英医疗机器翻译数据进行增广,扩大汉英机器翻译的规模。通过多种主流的神经机器翻译模型的实验结果表明,通过复述生成对数据进行增广可以有效地提升机器翻译的性能,在RNNSearch,Transformer等多个主流模型上均取得了6个点以上的BLEU值提升,验证了复述增广方法对领域机器翻译的有效性。同时,基于MT5等大规模预训练语言模型可以进一步地提升机器翻译的性能。

ChatGPT对文献情报工作的影响

【目的】研究探讨以ChatGPT为代表的人工智能技术对文献情报工作的启示和影响,为文献情报领域提出在人工智能时代下的发展建议。【方法】基于对人工智能发展历程的总结,分析了人工智能技术飞速突破的本质。基于ChatGPT的技术能力特点,分析了其对文献情报工作的影响。基于文献情报工作的优势和价值,提出了人工智能时代文献情报领域发展的建议。【结果】总结出了人工智能技术迅速发展对文献情报工作的五点启示。从数据组织方式、知识服务模式、情报分析方法、文献使用方式、文献情报队伍建设要求以及文献情报工作重点六个方面分析了ChatGPT对文献情报领域的影响。基于文献情报工作的特点,提出人工智能时代文献情报领域发展的九条建议。【结论】知识获取能力提升是人工智能技术飞速突破的本质所在。ChatGPT的成功也表明高价值语料是一切人工智能的基础。文献情报领域组织和管理着蕴含人类知识的高价值数据资源,这对人工智能的发展有着非常重要的价值和意义。ChatGPT重在内容生成,而文献情报工作重在循证,文献情报工作要顺应时代发展,积极应用和拓展人工智能技术,为人工智能的发展贡献文献情报领域的智慧和方案。

ChatGPT类技术:法律人工智能的改进者还是颠覆者?

21世纪以来,法律人工智能呈现出繁荣复兴的景象。但火热表象的背后,法律领域的语言复杂性、知识丰富性使得法律人工智能仍然面临自然语义处理与知识生成的技术瓶颈。以ChatGPT为代表的大规模语言模型与生成式人工智能技术有望破除法律人工智能的自然语言理解瓶颈,极大提升技术互动性、生成性与嵌入性,推动法律人工智能与用户形成刚需性、高频率和高黏性的联结。尽管如此,现有ChatGPT类技术的底层逻辑无法充分回应法律知识丰富性、严谨性与创造性的领域需求,流畅语言处理能力与相对较低知识生成能力错配产生的知识完满幻觉、知识权威幻觉与知识生成幻觉,制约了大规模语言模型与生成式人工智能的架构对法律人工智能的根本性颠覆。未来需要通过强化高质量多模态法律数据的供给并建构基于法律指令集的指令微调机制和基于法律人知识反馈的强化学习机制,克服“知识幻觉”以实现法律人工智能的进一步迭代。与此同时,在技术社会学意义上调适创新扩散与社会公正的张力,避免可及性与可用性两个层面的数字鸿沟,真正实现全社会围绕法律知识的新一轮赋权赋能。