卫生领域人工智能的伦理与治理:多模态大模型指南

2024年,世界卫生组织发布了“Ethics and governance of artificial intelligence for health.Guidance on large multi-modal models”,将其翻译成中文《卫生领域人工智能的伦理与治理:多模态大模型指南》供中国的同仁参阅,协助规划与卫生领域多模态大模型有关的益处和挑战,并为适当开发、提供和使用多模态大模型提供政策和实践方面的指导。世界卫生组织咨询了20位人工智能领域的顶尖专家,他们确定了在卫生领域使用人工智能的潜在益处和潜在风险,并发布了以协商方式达成一致的六项原则,供正在使用人工智能的政府、开发者和提供者在制定政策和实践时考虑。指南提供了与指导原则相一致的企业内部、政府和国际合作的治理建议,指南的基础是考虑到人类使用卫生领域生成式人工智能独特方式的指导原则和治理建议。生成式人工智能是算法在可用于生成新内容的数据集上进行训练的一种人工智能技术。指南针对其中一种类型的生成式人工智能,即多模态大模型,这种模型可以接受一种或多种类型的数据输入,并产生不局限于输入算法的数据类型的多种输出。据预测,多模态大模型将广泛应用于医疗保健、科学研究、公共卫生和药物开发等领域。多模态大模型也被称为“通用基础模型”,尽管尚未证实多模态大模型能否完成各种任务和目的。

月球与行星科学多模态大模型的概念及应用初探

自2022年底一系列大型语言模型(大模型)发布以来,以大模型为研究热点的新一代人工智能、(AI)技术在各行各业引起高度重视,随即出现的专业大模型更将重塑千行百业。月球与行星科学领域作为科学技术前沿的代表,建立该领域的专业大模型是今后的必然趋势。本文在多模态大模型的基础上首次提出了月球与行星科学多模态大模型的概念,并从其定义、设计及应用场景等细节展开详细阐述和讨论。模型旨在帮助更多人认识月球并了解月球,同时协助更多学者处理并分析月球与行星数据,促进挖掘月球与行星大数据间的隐式或非线性关系,主动发现并解决未知科学问题,率先推动大数据驱动科学发现这一新的研究范式在行星科学领域落地生根。

多模态大模型引领的内容创作与安全实践

当前,以Sora为代表的多模态大模型技术正逐步展现其在传媒产业的潜能——显著提升内容创造效率与创意水平、缩短创作周期、优化内容分发与个性化推荐的同时,还提高了内容监测的精准度。然而,多模态大模型技术在数据积累与满足行业特定需求方面仍存在不足,且引入了伦理、安全及隐私保护的新挑战。因此,开发自主知识产权的多模态大模型,专门针对文化内容创作、生产与安全审核,推动平台化应用,变得至关重要。

OnePower多模态大模型助力能源数字化转型

针对能源行业数字化转型,中移上海产业研究院推出了融合OnePower多模态大模型的综合能源管理平台,为能源行业提供了融合5G、人工智能、云计算、物联网、大模型等前沿技术的产品和解决方案。首先介绍了能源数字化转型的意义与挑战,其次详细介绍了OnePower综合能源管理平台的架构及功能,然后介绍了多模态大模型赋能的电站巡检产品,最后介绍了OnePower多模态大模型综合能源管理平台在某电力企业的落地应用案例。

探讨多模态大模型在高校智慧财务中的作用

高校财务正处于向智慧财务转型的过程中,GPT-4等多模态大模型具备文字、图像的识别、理解和生成能力,将在高校智慧财务建设中发挥重要作用。文章通过文献调研法总结了大模型的基础能力,分析了大模型对高校财务的作用,提出了基于多模态大模型的高校财务风险评估与流程监督方法。从训练、部署和应用三个阶段分析了模型带来的潜在风险及应对措施,期望为多模态大模型在高校财务管理领域的应用提供借鉴。

多模态大模型驱动的学科知识图谱进化及教育应用

当前,以GPT-4为代表的多模态大模型正在促进通用人工智能向多模态融合的方向发展。受益于多模态思维链、涌现能力和提示工程等应用技术,学科知识图谱能够更好地形成一种将抽象的符号概念和多模态的数据加以关联的智能扩展范式,有效解决现有图谱构建中存在的诸多不足,进一步推动多模态学科知识图谱的创生,为智慧教育服务的发展提供有力的支持。基于此,文章首先解构多模态大模型与学科知识图谱的关系;然后,文章探析了多模态大模型对学科知识图谱的驱动前提,从进化角度探讨多模态学科知识图谱的基本内涵和构建框架;最后,文章提出多模态学科知识图谱的四大教育应用场景,包括推动教育资源多元聚合、助力智能教学产品开发、赋能学科资源个性推荐以及促进人机协同智慧教学,以期为学科知识图谱的相关研究提供借鉴与启发。

多模态大模型的教育应用研究与展望

多模态大模型逐渐成为人工智能领域研究的热点,目前已在通用领域有显著进展,但在教育领域仍处于起步阶段。文章提出可以构建教育领域通用大模型,并使其通过下游任务适配形成三类多模态教育大模型,从而形成三种典型教育应用,即教学资源自动生成、人机协同过程支持与教师教学智能辅助。在此基础上,文章以“多模态汉字学习系统”为例,利用多模态大模型实现跨模态释义生成,展示了多模态大模型在辅助语言学习方面的应用潜力。最后,文章针对教育领域通用大模型研究、多模态教育大模型的创新应用及其带来的潜在风险与可能触发的教育变革,提出针对性的建议与展望。

GPT-4对多模态大模型在多模态理解、生成、交互上的启发

对话式聊天机器人ChatGPT以近乎摧枯拉朽的气势席卷社会,拨开了通用人工智能的曙光。ChatGPT的升级版GPT-4是个多模态大模型,它从单调的文本交互,升级为可以接受文本与图像组合的多模态输入,相比传统的单模态大模型,多模态大模型更加符合人类的多渠道感认知方式,能够应对更加复杂丰富的环境、场景和任务。GPT-4表明在多模态大模型中引入基于人类知识的自然语言理解与生成能力能够带来模型在多模态理解、生成、交互能力上的巨大提升。本文将介绍多模态大模型的概念、关键技术、近期进展和应用场景、GPT-4的技术特性,并重点探讨以GPT-4为代表的大语言模型对构建多模态大模型的几点启发。具体而言,将讨论如何充分利用大语言模型的语言能力,在多模态大模型的构建中,借助语言的帮助更好地感知理解世界、创作生成内容、与人和环境交互。

油气行业人工智能大模型应用研究现状及展望

阐述了大模型技术的概念,总结了大模型技术的国内外研究现状,综述了大模型在垂直领域的应用现状,梳理了油气行业大模型应用面临的挑战,并对油气行业大模型应用进行了展望。现有大模型可粗略分为3类,即大语言模型、视觉大模型和多模态大模型。油气行业大模型应用刚刚起步,部分油气企业基于开源大语言模型,利用微调、检索增强等方式发布大语言模型产品,部分学者尝试利用视觉/多模态基础模型研发面向油气业务的场景模型,还有少数学者构建地震资料处理解释、岩心分析等领域的预训练基础模型。油气行业大模型应用面临数据量和数据质量难以支撑大模型训练、研发投入成本高、难以实现算法自主可控等挑战。油气行业在应用大模型时应始终聚焦油气主营业务需求,以大模型应用为契机,加强数据全生命周期管理,提升数据治理能力,推动融合算力建设,加强“人工智能+能源”复合团队建设,推动大模型技术自主可控。

垂直领域大模型的定制化:理论基础与关键技术

随着ChatGPT等基于大模型的产品展现出强大的通用性能,学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中,即进行垂直领域大模型的定制化。然而,现有的通用大模型可能无法完全适配特定领域数据的格式,或不足以捕捉该领域的独特需求。因此,本文旨在探讨垂直领域大模型定制化的方法论,包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础,以及几种可行的垂直领域大模型构建方法,期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。

大模型支持的会话辅导系统开发:范式转换、架构设计与能力训练

会话辅导系统是智能辅导系统的一种特殊形态或拓展形式,主要通过模仿人类导师进行个别化、适应性的教学对话,实现个性化教学功能。受制于技术发展水平,传统会话辅导系统存在一些根本性缺陷,如缺乏通用性与灵活性、开发成本高昂、推广困难、准确性不足等。大模型为会话辅导系统的升级带来了巨大机遇,将引发会话辅导系统的开发范式转换:开发目标由原先的“排演对话教学片断”升级为“自主开展完整对话教学”,开发逻辑由以“预设”与“匹配”为核心转换为以“微调”与“链接”为核心。为此,会话辅导系统由原来的内外双循环架构,拓展为外循环—中循环—内循环的三重嵌套循环架构模式,以实现学习者对话片段、学习任务完成过程,以及课程学习历程的完美融合。而针对系统架构中关键且存在技术瓶颈的教学设计能力、对话设计与生成能力,可以通过学习任务分析路由链、教学设计顺序链、教学对话路由链等复杂的提示语工程,以及使用优质的元认知标注数据、对话教学案例标注数据以及历史数据+RLHF技术微调大模型等办法加以训练,以此提高会话辅导系统开展对话教学的质量和效果。

医学大语言模型的应用现状与发展趋势研究

综述了大语言模型在医学领域的研究进展、应用现状、面临的挑战及未来发展方向。文章梳理了大语言模型的概念和发展历程,概述了其在医学领域应用的技术原理,在医疗实践、医学教育等场景中的应用情况,探讨了医学大语言模型的未来发展方向,及其面临的隐私和安全问题、数据集规模等挑战。

“央视听媒体大模型”在体育赛事报道中的应用研究

本文探讨了“央视听媒体大模型”在2024年成都汤尤杯和巴黎奥运会中的应用,通过技战术分析、AIGC技术和智能编辑功能,提升赛事转播质量和观众体验,展示了AI在体育赛事报道中的巨大潜力和未来发展方向。

从大空间“实体”到大模型“数字”——人工智能背景下未来城市规划及管理的构想

在信息技术快速发展的背景下,基于人工智能及其相关设备的智慧城市与数字化城市建设正成为当下城乡规划行业的重点工作,而最新出现的多模态通用大模型(GPT4)则标志着城乡规划工作结构、工作方法及工具即将迎来全面改变;我们所处的城市也将分为可视空间上的“实体”与人工智能为基础所构建的“数字”两个部分,通过对“实体城市”与“数字城市”及其工作内容变化过程的推演,梳理了未来城市的结构以及未来城乡规划工作人员所面临的机遇与挑战;提出规划师应当在实体和数字城市两个层面上进行跃升,分别向实体城市“下沉”,从微观视角感受人对环境的认知,并向数字城市“飞升”,从宏观视角来分析数据背后的逻辑与问题。

资源受限场景下的虚假信息识别技术研究

近年来,社交媒体因其开放性和便捷性,为虚假信息的扩散和泛滥提供了温床。相较于单模态虚假信息,多模态虚假信息通过融合文本和图片等多种信息形式,创造出更具迷惑性的虚假内容,造成更深远的影响。现有的多模态虚假信息识别方法大多基于小模型,而多模态大模型的快速发展为多模态虚假信息的识别提供了新思路。然而,这些模型通常参数众多、计算资源消耗大,无法直接部署在计算和能量资源受限的场景中。为了解决以上问题,提出一种基于多模态大模型Long-CLIP的多模态虚假信息识别模型。该模型能够处理长文本,关注更多粗粒度和细粒度细节。同时,利用高效多粒度分层剪枝进行模型压缩,得到一个更加轻量化的多模态虚假信息识别模型,以适应资源受限场景。最后,在微博数据集上,通过与微调前后的当前流行的多模态大模型和其他剪枝方法进行对比,验证了该模型的有效性。结果显示,基于Long-CLIP的多模态虚假信息识别模型在模型参数和推理时间方面远少于当前流行的多模态大模型,但检测效果更佳。模型压缩后,在检测效果仅下降0.01的情况下,模型参数减少50%,推理时间减少1.92s。

视觉设计元素智能识别研究综述

目的通过对基于图像的视觉设计元素智能识别方法进行梳理和分析,总结该方向的研究进展及存在的挑战,预测未来发展趋势,为相关技术和应用研究者提供参考。方法从设计元素的应用需求出发,给出交互设计和导识系统中设计元素的常用类别。通过综述的形式,以图像为研究对象,将视觉设计元素智能识别方法和相关研究进行整理分类,对比分析视觉设计元素智能识别方法。结果明晰基于图像的设计元素智能识别方法体系,总结视觉设计元素智能识别技术的研究难点和发展趋势。结论视觉设计元素既是交互设计过程中催生艺术灵感的核心基础,也是人工智能时代驱动内容智能生成的重要数据源泉。视觉设计元素智能识别是一个富有挑战但充满机遇的研究领域,相信其将在更多的应用中发挥关键作用,不仅为相关设计产业带来巨大价值,也为人们的生活带来更多便利和美感。

ChatGPT/生成式人工智能与高等教育的价值和使命

即便以ChatGPT和GPT-4为代表的生成式人工智能在各个教育阶段尤其是高等教育阶段有着广泛的应用前景,我们还是应该首先关注在应用这一模型的过程中,如何更有效地培养学生应对人工智能的能力,或者说发展他们与人工智能协作共处的智慧。在人工智能快速发展的今天,在教育特别是在高等教育领域,人工智能所不能实现的事情恰恰是人类教育特别是高等教育的真正价值所在,包括发展人类独特的理性、人类智慧的集体性与丰富性、人类文化的适应性、人类的道德与伦理选择以及人类的创造力,促进人的完善、实现人类共同福祉的理想与追求。人工智能时代的高等教育,必须坚守高等教育的内在价值,专注于学生道德、伦理、精神与创造力的发展,同时为合理应用人工智能提供必要的指南,以确保年轻一代在正确地使用人工智能前提下,持续地发展人类的集体智慧,从而创造人类共同幸福的未来。