AI预训练大模型发展综述

本文首先介绍了AI预训练大模型相关的部分核心技术,其中包括Transformer架构和人类反馈强化学习技术以及近端策略优化技术;研究了通用大模型的发展,重点关注了基于Transformer-Decoder架构的GPT系列、LLaMA系列模型与基于Transformer-Encoder架构的BERT、ALBERT、DeBERTa与RoBERTa模型,深入研究了它们的架构和训练方法,总结了它们的特点,探讨了其在不同领域中的应用;关注了垂直领域的大模型发展,如金融、医学、法学、自然科学和代码编程等领域.在金融领域,研究了BloombergGPT、GPT-InvestAR和TradingGPT模型;在医学领域,探讨了Med-PaLM和PMC-LLaMA等模型;在法学领域,分析了Lawformer和Chatlaw模型;在自然科学领域,介绍了华为云盘古气象大模型和FLUID-GPT模型;在代码编程领域,研究了CodeGeex和PanGu-Coder2模型.最后,对当前AI预训练大模型在知识产权、歧视、成本等方面的局限性与未来发展进行了讨论.

垂直领域大模型的定制化:理论基础与关键技术

随着ChatGPT等基于大模型的产品展现出强大的通用性能,学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中,即进行垂直领域大模型的定制化。然而,现有的通用大模型可能无法完全适配特定领域数据的格式,或不足以捕捉该领域的独特需求。因此,本文旨在探讨垂直领域大模型定制化的方法论,包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础,以及几种可行的垂直领域大模型构建方法,期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。

油气行业人工智能大模型应用研究现状及展望

阐述了大模型技术的概念,总结了大模型技术的国内外研究现状,综述了大模型在垂直领域的应用现状,梳理了油气行业大模型应用面临的挑战,并对油气行业大模型应用进行了展望。现有大模型可粗略分为3类,即大语言模型、视觉大模型和多模态大模型。油气行业大模型应用刚刚起步,部分油气企业基于开源大语言模型,利用微调、检索增强等方式发布大语言模型产品,部分学者尝试利用视觉/多模态基础模型研发面向油气业务的场景模型,还有少数学者构建地震资料处理解释、岩心分析等领域的预训练基础模型。油气行业大模型应用面临数据量和数据质量难以支撑大模型训练、研发投入成本高、难以实现算法自主可控等挑战。油气行业在应用大模型时应始终聚焦油气主营业务需求,以大模型应用为契机,加强数据全生命周期管理,提升数据治理能力,推动融合算力建设,加强“人工智能+能源”复合团队建设,推动大模型技术自主可控。

教育通用人工智能大模型标准体系框架研制

当前,人工智能大模型在各领域迅猛发展,其中教育领域的人工智能大模型虽然能够在知识生产、知识计算和知识服务方面完成多种智能任务以提供教学辅助,但其在功能构建、数据收集与管理、教学测评和应用等方面仍存在局限,同时缺乏适用于多个教育场景的通用人工智能大模型。基于此,文章从人工智能的发展和标准化的现状出发,对教育通用人工智能大模型的概念、原则和属性做出界定,并提出教育通用人工智能大模型标准体系,包括总体框架、信息模型、数据规范、测评规范和教学应用要求等,以从指导角度对教育通用人工智能大模型的研发、应用、管理和评估进行规范。文章通过研究,旨在规范通用人工智能大模型在教育领域的应用与发展,赋能、赋智于教育,推动教育的高质量发展。

构建支持大模型训练的计算机系统需要考虑的4个问题

支持大模型训练的计算机系统有3种类型,其中基于国产AI芯片系统的生态系统不是很好,要想改变这个局面,需要做好AI编译器、并行加速等10个关键软件;基于超级计算机的系统需要做好软硬件协同设计,从而更好地服务于大模型训练。针对如何搭建大模型的基础设施,提出4点平衡设计,以确保系统的性能、可靠性和可扩展性。

多视角看大模型安全及实践

随着人工智能领域大模型(large model)的广泛应用,大模型,尤其是大语言模型(large language model,LLM)的安全问题受到了广泛关注.大模型作为一种新兴技术,与之相关的安全态势分析以及安全体系建设均亟待挖掘与探索.从社会关系以及技术应用2个视角,分析了大模型安全的整体趋势.同时,基于大模型自身的特点,梳理了大模型安全能力建设的实践思路,为大模型研发、大模型应用构建提供了安全体系构建的参考方案.介绍的大模型安全能力实践方案包括安全评估基准建设、模型价值观对齐方法、模型线上服务安全系统建设3个部分.

大模型智能体:概念、前沿和产业实践

从符号型和反应型智能体到基于强化学习和迁移学习的智能体,再到当前基于大模型的智能体,AI智能体经历了三代发展,逐渐成为人工智能研究和应用的核心。其中基于大模型的智能体是能够更准确地感知环境、进行反应和判断、形成并执行决策的智能计算实体,在多个领域展现出广泛的应用前景,包括图像生成、视频生成、数据分析、图文修改辅助、谈判指导、教育教学、学术研究、生活助手、网站开发等。OpenAI、Google、Apple、NVIDIA等国外厂商,以及腾讯、百度、商汤、联想、讯飞等国内厂家,都在大模型智能体领域进行了积极的探索与实践,推出了各自的大模型智能体产品,涵盖了游戏、生活、线上助手、营销、教育等多个领域。本文将回顾AI智能体的定义与发展,着重介绍大模型智能体的概念和发展前沿,以及大模型智能体在产业实践方面的代表性成果,为有志于大模型智能体研究和开发的读者提供参考。

人工智能大模型发展的新形势及其省思

随着相关技术的不断进步,大模型发展呈现出与数据要素深度融合、其日益沉淀为基础设施、发展焦点从底座模型转移至应用生态等新的趋势。针对大模型产业发展呈现出的新态势、新动向,我们要树立大模型发展的全局观和整体观,积极采取加快建设人工智能教育体系、建立以智能科学为核心的跨学科研究体系、推动大模型与数据要素协同发展并坚持多元化的大模型发展路径等新的应对举措。作为一种先进技术,大模型具有两面性,我们在积极采取措施促进其良性发展并释放其应用价值的同时,也要密切关注其滥用、误用与恶用所带来的虚假内容泛滥、影响人类心智和能力的发展与培育等负面问题,未雨绸缪积极做好风险治理与管控。

铁路自然语言大模型关键技术研究及应用展望

人工智能自然语言大模型的涌现为行业深度赋能带来了新的曙光,研究铁路自然语言大模型关键技术及应用,对促进和统筹铁路人工智能发展具有重要意义。根据铁路人工智能应用需求,提出铁路自然语言大模型应用场景;依托铁路人工智能平台,设计铁路自然语言大模型的总体架构,研究自然语言大模型关键技术,构建面向智能问答的铁路行业大模型,并以实际数据进行模型验证;最后从铁路运输组织、铁路运营安全、旅客服务方面对铁路自然语言大模型的发展和应用进行展望。

从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

数据引擎驱动的学术出版大模型——实测检验大规模高质量数据在构建高性能模型中的核心地位

在构建高性能大模型时,大规模高质量数据的重要性不容忽视。本研究旨在深入探究这一核心要素,并系统评估其在专业领域中的实际应用效果与潜在价值。本研究基于中国知网大量专业文献,构建了一个包含1316.45亿token的学术资源数据集AcaDS和2700万条指令的下游微调数据集AcaDSI,采用Transformer架构设计并训练了一个70亿参数规模的生成式学术大模型AcaLM-7B。通过实验评测,AcaLM-7B在面向学术研究的6个核心应用场景中获得总积分第一、3个单项第一和2个单项第二,验证了大规模高质量数据资源在构建专业大模型中的核心地位。此外,本研究在数字出版行业具有实际应用价值,有利于提升内容生产效率并优化用户体验。

大模型时代:电力视觉技术新起点

随着无人机、巡检机器人和远程监控系统在输电、变电、配电、安监等电力场景中的广泛应用,利用电力视觉技术完成对海量巡检图像的自动处理,能够进一步提升电力系统智能化运维水平,对我国源网荷储一体化进程的快速推进具有至关重要的作用。随着通用视觉大模型的兴起,电力视觉技术正处于从传统深度学习时代向大模型时代跨越的重要节点。该文首先综述了电力视觉技术和通用视觉大模型的最新研究进展,结合视觉大模型在多种公共场景的应用先例,探讨视觉大模型在电力视觉领域将面临的3重能力边界问题。从初步探索通用视觉大模型的潜力,到逐步构建电力视觉大模型的过程,提出4种模型应用范式以突破视觉大模型能力边界。最后分析了视觉大模型对电力视觉研究者的影响,并对大模型浪潮下电力视觉技术的发展方向进行了展望。

教育大模型的发展现状、创新架构及应用展望

从通用大模型到教育大模型,是人工智能大模型技术深化发展的重要趋势。基于对教育大模型发展现状、典型案例、潜在挑战的分析,文章认为教育大模型是适用于教育场景、具有超大规模参数、融合通用知识和专业知识训练形成的人工智能模型,是大模型技术、知识库技术及各类智能教育技术的集成,能够推动人类学习和机器学习的双向建构,进而提出了应用驱动、共建共享的创新架构和“以学习者为中心”的未来应用场景,旨在建立人工智能大模型与各类数字化教育应用的开放接口,持续训练和完善能够更好地解决教育专业问题的教育场景模型,形成让广大师生常态化使用的智能教育开放模型集群和知识库,在提炼和萃取深度教育知识的同时,破解人工智能教育应用中的风险和挑战。

水利大模型的建设思路、构建框架与应用场景初探

发展新质生产力是推动高质量发展的内在要求和重要着力点。推进数字孪生水利建设是推动新阶段水利高质量发展的显著标志和重要路径,模型和知识是数字孪生水利建设的关键所在。因此,按照“需求牵引、应用至上、数字赋能、提升能力”要求,针对水利业务需求融合大模型、水利专业模型和知识而形成“水利大模型”,是发展水利新质生产力的重要引擎。阐述了水利大模型的概念和构建的重要意义,介绍了构建的思路与总体框架,分析了需突破的关键技术,介绍了行业应用场景。研究成果可为人工智能大模型在水利行业落地提供引导和借鉴。

大模型时代:知识的生成式“涌现”

随着计算能力的提高和数据的爆炸性增长,生成式大模型逐渐成为知识生产的核心力量,并深刻改变了人类知识的生产方式。本文系统探讨了从古典学术到现代信息科技的知识生产历程,将传统知识生产方式归纳为个体的知识涌现。与之相对应的大模型时代,知识生产方式则可称为生成式的知识涌现,从而造就了新的知识高原。大模型时代生成式知识涌现的机理,表现为知识结构和生成逻辑两方面的转变。虽然生成式大模型在文本生成、数据分析等领域设立了一种难以超越的“基线”,但人类在创造、批判思考和情感判断上的独特能力仍然不可或缺。结合人机协同的哲学和技术探索,本文为未来知识生产的新时代提供了一个全面而深入的视角,并在此基础上勾画人机协同共创知识高峰的路径。

生成式人工智能大模型在设计领域的应用

近些年来,随着ChatGPT,Midjourney,Stable Diffusion,Gemini等大模型的横空出世,生成式人工智能大模型取得了飞速发展,各行各业迎来了新一轮的技术变革。旨在探讨这一前沿技术在设计领域的应用,特别是在设计创新和创意产出方面的影响。首先,我们介绍了生成式人工智能大模型的基本原理,着重阐述其在文本生成、图像生成等任务上的成功应用。其次,我们深入研究了生成式人工智能大模型在设计领域的具体应用,主要包括服装设计、平面设计、漫画设计、机器人设计、工艺品设计、游戏设计等方面。此外,还探讨了生成式人工智能大模型在设计领域可能面临的挑战以及相应的解决策略。最后,我们强调了在设计领域使用生成式人工智能大模型的潜在益处,以及在设计过程中应扮演的角色。

数值预报AI气象大模型国际发展动态研究

数值预报是研究地球系统的重要工具,有助于加深科学家对大气、海洋、气候和环境等复杂系统之间相互作用和变化过程的理解,在防灾减灾、气候变化和环境治理等方面发挥着不可或缺的作用。随着模式复杂度和分辨率的提高,传统数值模式在气候变化研究和气候预测方面取得了迅速的进展,但也面临一些挑战,需要得到数据同化、集合耦合、高性能计算和不确定性分析等多方面的支持。而近年来,“AI+气象”的交叉研究在气象领域引起了广泛关注。基于多种深度学习架构的人工智能大模型,依托强大的计算资源和海量的数据进行训练,能够以新的科学范式进行高效数值预报。气象大模型不断涌现,一些科技公司如华为、英伟达、DeepMind、谷歌、微软等,以及国内外高校如清华大学、复旦大学、密歇根大学、莱斯大学等发布了多个涵盖临近预报、短时预报、中期预报和延伸期预报等不同领域的气象大模型。这标志着人工智能与气象领域的交叉融合已经达到新的高度。尽管气象大模型在现阶段取得了较大突破,但其发展仍然面临弱可解释性、泛化能力不足、极端事件预报强度偏低、智能预报结果过平滑、深度学习框架能力需要拓展等诸多挑战。

油藏动态分析场景大模型构建与初步应用

针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体识别技术、工具调用技术、Text-to-SQL(自然语言转换成结构化查询语言)技术微调的功能子系统及其高效耦合方法,将人工智能大模型运用到油藏动态分析领域。测试了特征提取模型、工具分类模型、数据检索模型、分析建议模型的准确性,结果表明这些模型在油藏动态分析的各个关键环节均展现出了良好的性能。最后以大庆油田PK3区块部分注采井组为例,测试验证了油藏动态分析场景大模型在辅助油藏工程师进行油藏动态分析方面具有的运用价值和潜力,为大模型在油藏动态分析中的运用提供了较好的技术支持。

结合SAM大模型和数学形态学的历史地图水系信息提取方法

历史地图记载着丰富的历史地理信息,能够帮助了解历史规律,为当代发展提供借鉴。不同于现代地图、遥感影像等数据,历史地图保存时间久,存在留存数量少、图像精度低等问题,地图符号也与现代有所差异,因此信息难以被高效提取。针对该问题,本文以历史地图《宁夏省境黄河沿岸沟渠水道地形图》为试验数据,提出一种智能化历史地图水系信息提取方法。首先,结合符号句法,运用聚类与数学形态学方法构建数据集;然后,改进通用大模型(SAM)结构并进行迁移学习优化权重;最后,借助改进SAM自动提取历史地图水系信息。将试验结果与其他模型作对比,显示本文方法提取结果边界清晰,轮廓完整,准确率、精度等指标均为最高。同时,将提取结果与该区域水系现状作对比,发现历史上的河流沟渠如今大多改道、偏移或消失,湖泊面积大大减小。本文方法基于SAM通用大模型进行改进,验证了大模型在地图领域的可用性,为地图信息提取提供了思路。

面向环境司法智能审判场景的人工智能大模型应用探讨

环境司法审判是生态环境治理体系的重要组成部分,基于生成式人工智能(AI)技术的突破而形成的AI大模型为环境司法审判工作转向更高水平的智能审判体系提供了重大机遇。本文围绕推进AI大模型技术与环境司法审判工作融合、实现环境司法审判工作创新发展的主旨,探讨了AI大模型在环境司法智能审判中的赋能作用和应用实践,凝炼了当前环境司法AI大模型存在的数据质量“低劣”“算法黑箱”引发偏见、深度应用能力不足等突出问题;以生态环境保护类案件应用为例,构建了基于AI大模型的环境司法智能审判系统,阐述了相应系统的架构设计以及涉及的技术要素。进一步提出了注重顶层设计、建设环境司法高端智库,建设环境司法数据中台、健全司法数据标准及规范体系,构建算法治理机制、促进环境司法审判公平正义,完善环境司法多元问责机制、筑牢司法监督管理体系等发展建议,以期丰富环境司法审判工作的前沿技术认知,加快环境司法的智能化、智慧化、现代化转型进程。