大规模生成式语言模型在医疗领域的应用:机遇与挑战

目的/意义以ChatGPT为代表的大规模生成式语言模型带动了通用人工智能技术快速发展。大规模生成式语言模型能否在医疗领域应用取得成功是学术界和工业界密切关心的问题。本文旨在深入研究大规模生成式语言模型在我国医疗领域应用中的机遇与挑战。方法/过程从知识容器、能力引擎和自治智能体3方面出发,分析大模型在医疗提质增效、解决我国医学发展不平衡问题、慢性病智能管理与决策、人口老龄化应对以及医学科研加速等方面的新机遇,同时指出大模型在医疗领域应用所存在的局限。结果/结论大模型驱动有望成为智能医疗的新范式,针对大模型在医疗应用中的不足,提出具体发展建议。

放管结合:高等教育应对大规模语言模型冲击的立场及其展开

大规模预训练语言模型以学生主动使用为渠道入局高等教育,引发知识、诚信、价值观多重危机。其本身巨大的应用前景和海量用户的既定事实,表明封禁排异已不可行;现有产品尚处于快速迭代期,加之缺乏成熟的治理方案,因而鼓励推广亦为时过早。对大模型的规制应树立“放管结合”的立场,坚持有所为、有所不为。一方面,公权力机关宜克制规制冲动、适当放任观望,仅对部分确有必要的事项精确管治;另一方面,鼓励教师、学生、企业等私主体探索自治举措,引导大模型正向赋能高等教育。未来“师—生—机”三位一体的教育模式中,教师的中心地位非但不会削弱,反将得到增强。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

语言资源视角下的大规模语言模型治理

近半年来,柴语生(ChatGPT)等大规模生成式语言模型的应用,引发了全社会的关注和反思。对这种大模型,应以工具观加以正视,认可其技术发展带来的益处,同时尽量规避其风险。对它们的治理,应减少对技术本身的干预,将目标定位于大模型赖以研发的语言资源和投放之后的使用。对大模型研发中的语言资源治理,应着力打破中文数据孤岛:发展以联邦学习为代表的分布式模型构建技术,建立国家知识数据开放机制,尽快健全开放、高效的语言数据交换市场;提倡世界知识中文表达,助推中文大模型研发:尽快实现中文精华知识资源面向网络开放,完善中文概念、术语资源,做大、做全领域中文资源。对大模型使用领域的治理,则因大模型本身也是一种重要的语言资源,故应强调其基础资源地位,从标准化、评测和伦理规制的角度进行。

生成式人工智能对高校图书馆的影响及应对策略——以ChatGPT大型语言模型为例

文章分析ChatGPT模型的优势和不足,从对话式资源检索、智能咨询与智慧空间服务、嵌入式个性化阅读推广、探讨式知识获取、虚拟馆员与馆员助理服务、人工智能素养教育、AI学习伙伴训练指导七方面分析生成式人工智能为高校图书馆带来的机遇,指出其将面临阅读吸引力减弱、错误知识传播、学习动力下降、已有技能退化、版权问题凸显等挑战,并提出具体应对策略,即参与制定人工智能商用标准和使用规范;探索人工智能实践应用,积极应对风险挑战;开展人工智能素养教育,创新考核评价方式;提升馆员综合素养,组建人工智能服务团队;建立监测反馈机制,持续提高服务质量。

基于大规模语言模型的知识图谱可微规则抽取

知识图谱上的推理是预测不完整三元组中缺失的实体或关系,对结构化知识进行补全,并用于不同下游任务的过程。不同于被普遍研究的黑盒方法,如基于表示学习的推理方法,基于规则抽取的推理方法通过从知识图谱中泛化出一阶逻辑规则,实现一种可解释的推理范式。为解决离散的符号空间与连续的嵌入空间之间的鸿沟,提出一种基于大规模预训练语言模型的知识图谱可微规则抽取方法DRaM,将离散的一阶逻辑规则与连续的向量空间进行融合。针对规则中的原子公式顺序对推理过程产生的影响,通过引入大规模预训练语言模型对推理过程进行编码来解决。融合一阶逻辑规则的可微推理方法DRaM,在三个知识图谱数据集Family、Kinship和UMLS上进行的链接预测任务获得了较好的结果,尤其针对链接预测指标Hits@10,DRaM获得了最佳的推理结果。实验结果表明,DRaM能够有效地解决知识图谱上可微推理存在的问题,并且可以从推理过程中抽取带有置信度的一阶逻辑规则。DRaM不仅通过一阶逻辑规则增强了推理效果,同时增强了方法的可解释性。

面向古文自然语言处理生成任务的大语言模型评测研究

大语言模型的频繁发布为大语言模型的评测研究带来了机遇与挑战,针对通用领域大语言模型的评测体系日趋成熟,而面向垂直领域的大语言模型评测仍在起步阶段,本文以古文领域评测为切入点,从语言和知识两个维度构建了一批古籍领域评测任务,并选取当前各大榜单中性能较为优越的13个通用领域大语言模型进行评测。评测结果显示,ERNIE-Bot在古籍领域知识方面遥遥领先于其他模型,而GPT-4模型在语言能力方面表现出最佳性能,在开源模型中,ChatGLM系列模型表现最为出色。通过构建评测任务和数据集,制定了一套适用于古籍领域的大语言模型评测标准,为古籍领域大语言模型性能评测提供了参考,也为后续古籍大语言模型训练过程中的基座模型选取提供了依据。

人工智能大规模语言模型的运行逻辑与传媒应对

【目的】以ChatGPT为代表的智能聊天机器人,呈现出的具备内在逻辑的内容自动生成能力,突破特定局限而扩展到更广泛领域的普适能力,引发了传媒业的广泛关注和隐忧。【方法】为理清智能聊天机器人对传媒业的影响,及早谋划应对,文章探究了其背后的人工智能大规模语言模型技术的发展逻辑和运行逻辑,梳理分析了传媒在助力采访、辅助创作等方面的应用方式。【结果】随着逐步迭代完善,人工智能大规模语言模型技术将重塑媒体内容生产传播模式,消解媒体人的创作能力,导致舆论环境更为复杂,形成媒体深度融合发展的新形势。【结论】基于此,文章提出增强相关感知能力、辨别能力、应用能力、安全意识,推进融合共生,健全责任体系的应对新策。

大规模语言模型的跨云联合训练关键技术

模型参数规模的不断增加使模型训练所需的算力资源变得更加庞大,导致很多情况下单个算力集群难以满足大规模语言模型的训练需求。大规模语言模型的跨云联合训练成为解决这一问题的有效方式。以自然语言处理大模型的跨云预训练和微调为例,介绍了大规模语言模型跨云训练的主要挑战和关键技术,并探讨了这些技术在跨云训练过程中的具体应用、实际效果和未来场景。这些技术将为智能化应用和人机交互等提供有力支持。

基于对比学习的大型语言模型反向词典任务提示生成方法

反向词典任务是一种新兴的任务,目的是根据给定的定义来查找对应的单词。大规模语言模型为这一任务提供了新的可能性,但是提示语句的质量会影响大模型的性能。为此,提出了一种基于对比学习的提示生成方法。该方法在从多个语义层面上理解定义语义的同时,还利用对比学习的原理在训练过程中引入了负例,提升了模型的泛化能力。通过这种方法,可以将目标单词缩小到一个小范围内,然后用大模型从这个范围内选择最符合定义语义的单词。实验结果表明,该方法可以有效地提升大规模语言模型在反向词典任务上的表现。提示生成模型有94.7%的概率生成包含目标词的范围,大规模语言模型有58.03%的概率直接选出目标单词,有74.55%的概率在给出5个候选单词时包含目标单词。

Pobe:一种基于生成式模型的分布外文本检测方法

对于安全可靠的机器学习系统,具备检测训练集分布外(out-of-distribution,OOD)样本的能力十分必要.基于似然的生成式模型由于训练时不需要样本标签,是一类非常受欢迎的OOD检测方法.然而,近期研究表明通过似然来检测OOD样本往往会失效,并且失效原因与解决方案的探究仍较少,尤其是对于文本数据.从模型层面和数据层面分析文本上失效的原因:生成式模型的泛化性不足和文本先验概率的偏差.在此基础上,提出一种新的OOD文本检测方法Pobe.针对生成式模型泛化性不足的问题,引入KNN检索的方式,来提升模型的泛化性.针对文本先验概率偏差的问题,设计一种偏差校准策略,借助预训练语言模型改善概率偏差对OOD检测的影响,并通过贝叶斯定理证明策略的合理性.通过在广泛的数据集上进行实验,证明所提方法的有效性,其中,在8个数据集上的平均AUROC值超过99%,FPR95值低于1%.

生成式AI的大模型提示工程:方法、现状与展望

大语言模型和视觉语言模型在各领域的应用中展示出巨大潜力,成为研究热点。然而,幻觉、知识迁移、与人类意图对齐等问题仍然影响着大模型的性能。首先,探讨了提示工程与对齐技术基本原理,提出基于提示优化、专家反馈机制及实时调整机制的引导概念,提升了大语言模型在跨领域应用中的性能;其次,深入分析提示工程的核心技术,如多步推理处理复杂任务的原理;然后,针对各领域的实际应用,讨论提示工程的发展现状;最后,总结提示工程面临的挑战并展望其未来发展方向。提示工程在理论与应用方面的发展,为提升大模型在实际应用中的性能提供了全面的解决方案。

生成式AI为C语言编程教学带来的挑战和机遇

针对生成式AI对各行各业带来的冲击,以C语言编程教学为主研究对象,结合北京航空航天大学C语言程序设计课程的实际教学案例,从编程、交流两方面对此类AI工具进行能力分析,指出其具有高效的解答效率与优秀的编程能力,同时证实其存在解答错误、无法理解图表等局限,最终提出生成式AI作为辅助工具与传统教学模式相结合,利用其能力和优势优化教学各阶段,从而催生“AI+编程教学”新模式出现。

SemFA:基于语义特征与关联注意力的大规模多标签文本分类模型

大规模多标签文本分类(XMTC)是从一个庞大且复杂的标签集合中查找与文本样本最相关标签的一项具有挑战性的任务。目前,基于Transformer模型的深度学习方法在XMTC上取得了巨大的成功。然而,现有方法都没能充分利用Transformer模型的优势,忽略了文本不同粒度下细微的局部语义信息,同时标签与文本之间的潜在关联尚未得到稳健的建立与利用。对此,提出了一种基于语义特征与关联注意力的大规模多标签文本分类模型SemFA(An Extreme Multi-Label Text Classification Model Based on Semantic Features and Association-Attention)。在SemFA中,首先拼接多层编码器顶层输出作为全局特征。其次,结合卷积神经网络从多层编码器浅层向量中获取局部特征。综合丰富的全局信息和不同粒度下细微的局部信息获得更丰富、更准确的语义特征。最后,通过关联注意力机制建立标签特征与文本特征之间的潜在关联,引入关联损失作为潜在关联不断优化模型。在Eurlex-4K和Wiki10-31K两个公开数据集上的实验结果表明,SemFA优于大多数现有的XMTC模型,能有效地融合语义特征与关联注意力,提升整体的分类性能。

广布局、重应用:生成式大语言模型的新进展

ChatGPT的上线掀起了大语言模型的热潮,除了谷歌、微软、OpenAI、百度、阿里巴巴等科技巨头,创业公司和其他互联网企业也纷纷布局大模型。目前,生成式大语言模型在搜索引擎、办公软件和诸多垂直领域有了初步应用,加快了产业智能化发展的步伐,未来,大语言模型将探索更多垂类应用场景,产业结构将进一步分化。但大模型在落地应用过程中也面临着技术和社会层面的问题,需要各国在生成式人工智能的管理方面进行规范与治理。

生成式大语言模型在医疗领域的潜在典型应用与面临的挑战

目的/意义为快速适应新型人工智能技术发展,精准把握医疗人工智能发展方向,亟须系统地分析和梳理生成式大语言模型在医疗领域的潜在典型应用和面临的挑战。方法/过程调研分析文献与公开报道,梳理总结生成式大语言模型在医疗领域不同任务中的应用尝试和评估结果。结果/结论生成式大语言模型在医疗领域的应用逐渐增多,为医疗服务、医学研究和教育等方面提供智能辅助,同时也面临诸多挑战,如其本身存在的幻觉问题,以及数据隐私保护、伦理、结果可控性和算法可解释性等问题。

大规模预训练模型在太空态势感知领域的应用思考

随着航天科技和人类太空活动的快速演进,太空态势感知(SSA)的需求愈发突出.近些年,大规模预训练模型(LPTMs)在自然语言处理、图像处理、模式识别等领域表现卓越,在SSA中,这些技术也展现出巨大的应用潜力.为有效应对不断演变的太空环境带来的挑战,首先分析了SSA领域存在的瓶颈问题;然后针对SSA领域中的应用需求,提出了一系列潜在优势和应用方向;最后探讨了大规模预训练模型在SSA领域应用过程中所面临的关键挑战及可能的解决方案.

生成式预训练语言模型安全风险及评估方法研究

生成式预训练语言模型(GPT模型)在自然语言处理领域已得到广泛应用,取得显著成果。然而,GPT类模型在预训练阶段使用大量的未标记数据,可能带来偏见歧视和错误虚假信息;在应用阶段,可能带来泄露隐私及犯罪辅助风险。该文构建了一套从GPT模型项目管理七个维度及模型工程实现三个阶段出发,多角度多维度开展评估,发现安全风险并治理的方法,为完善GPT模型安全治理机制、厘清相关方责任、确保模型应用安全提供了有效途径。

大语言模型“数据为王”:训练数据的价值、迷思与数字传播的未来挑战

伴随着ChatGPT的问世和流行,关于生成式人工智能的意涵和影响迅速成为学界和业界的关注焦点。在这场由大语言模型引领的非监督性深度学习浪潮中,一个核心议题就是训练数据。对训练数据的规模和质量的追求,演绎了“万模大战”形势下的“数据为王”法则。而在训练数据的价值、功能和误读的背后,是对数据概念的改写、对数据可供性的迷信和对数据所有权的争夺。训练数据的具体架构和内部机制引发了智能传播生态的重建和信息生产秩序的重构,在这一变革之中也蕴藏着大语言模型时代的数字危机,其具体体现为蒸馏式传播的偏见再生产、过滤式传播的信息保守化和随机性传播的意义之消散。大语言模型及其训练数据急需破除规模迷思,着重思考如何让数据切实成为社会技术系统的一部分。

生成式人工智能影响下的新闻生产创新:实践与挑战

本文聚焦生成式人工智能影响下的新闻生产创新实践,通过一系列代表性调查展示了生成式人工智能在国际新闻界的基本采纳状况,重点关注生成式人工智能技术在新闻生产关键领域中的具体实践和创新,包括辅助新闻内容创作、新闻选题与角度、数据新闻、调查与监督报道以及事实核查等,进而分析了生成式人工智能应用于新闻生产创新面临的主要挑战(包括质与量的权衡、新闻文化的挑战以及技术“幻觉”与伦理问题等)。生成式人工智能之于新闻创新的发展,取决于技术和行业的实践、新闻从业者与人工智能的协作调适以及对于新闻业基本价值的始终追求。