生成式大模型承载网络架构与关键技术探索

生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访问(RDMA)的确定性网络传输技术是未来的重点研究方向。

生成式大模型与新文科建设

新文科旨在通过技术手段拓宽人文社会科学的研究视野与方法论。生成式大模型在促进知识生成、创新学术方法论、重塑学科边界及界定学科身份等方面起到了关键作用,揭示了新文科在促进学科融合、推动学术创新和响应社会变革中的独特价值。生成式大模型引领下的学术方法论变革,展示了传统知识生成范式如何被重塑,以及这些技术如何促进跨学科的知识融合与创新。深度分析学科边界的重塑与融合,阐述了新文科在整合技术创新与学术传统中的策略和实践,新文科教育体系的必要变革旨在培养能够跨学科工作并充分利用新技术的学者和研究者。新文科建设不仅要求学术界对传统学科进行深刻反思和创新性重构,更要求在技术革新的驱动下,探索和建立一种新的学术工作模式和生态系统,以实现知识的深度发展和社会实践的广泛应用。新文科的发展展现了学术传统与技术革新的融合可能,为理解和解决当代社会的复杂问题提供了新的视角和工具,标志着一个全新学术研究时代的来临。

生成式大模型训练数据的法律规制——以比例原则为分析视角

依赖大量数据训练的生成式人工智能大模型正处于蓬勃发展时期,但其在训练数据收集、处理和输出过程中,存在的潜在的数据合规、数据偏见、数据泄露等风险不仅会威胁技术本身的发展,还会对社会相关利益群体产生一定的威胁,需要通过法律对其进行规制。首先,基于平衡人工智能发展与保障人类权益的目的,对生成式大模型训练数据过程中的风险进行分析,根据比例原则基本原理构建风险治理的框架,即对数据获取的来源与目的加以限制,充分平衡各方权利人的利益;其次,对数据内容与算法技术进行正当性管控,以使对各方的损害达到最小范围;最后,从执行数据收集最小化原则、增强合规数据使用和明确相关主体责任义务3个途径降低数据泄露风险。

生成式大模型的数据安全风险与法律治理

生成式大模型具有广泛的应用前景。大模型的训练和运行均需要海量数据的支撑,极有可能引发数据安全风险。认知风险是化解风险的前提,需要从静态、动态两个视角建立起大模型应用数据安全风险的认知体系。结合欧盟、美国等大模型的治理经验,针对我国大模型数据安全风险治理存在的不足,建议建立基于数据安全风险的分类监管路径、完善基于大模型运行全过程的数据安全责任制度、探索基于包容审慎监管的创新监管机制,为实现大模型应用的可信未来提供充分的法治保障。

基于高效参数微调的生成式大模型领域适配技术

在深度学习中,“预训练+微调”范式是经典的模型领域适配技术,可有效将预训练模型的丰富知识迁移至新的任务中。然而,随着深度神经网络的规模不断增大,生成式大模型的参数规模往往动辄数十亿甚至数千亿。因此,本文指出在新任务中“全量微调”生成式大模型以实现领域适配不再具有可行性。接着,针对以上问题,本文介绍了一种“轻量化”的大模型领域适配技术——高效参数微调,并对三类主流算法进行综述,分析了算法的主要思想和优缺点。最后,本文借助两个成功案例展示了高效参数微调技术在生成式语言/视觉大模型上的应用效果,证明了高效参数调参技术仅需训练少量额外参数即可近似达到“全量微调”的领域适配效果。

大模型时代:知识的生成式“涌现”

随着计算能力的提高和数据的爆炸性增长,生成式大模型逐渐成为知识生产的核心力量,并深刻改变了人类知识的生产方式。本文系统探讨了从古典学术到现代信息科技的知识生产历程,将传统知识生产方式归纳为个体的知识涌现。与之相对应的大模型时代,知识生产方式则可称为生成式的知识涌现,从而造就了新的知识高原。大模型时代生成式知识涌现的机理,表现为知识结构和生成逻辑两方面的转变。虽然生成式大模型在文本生成、数据分析等领域设立了一种难以超越的“基线”,但人类在创造、批判思考和情感判断上的独特能力仍然不可或缺。结合人机协同的哲学和技术探索,本文为未来知识生产的新时代提供了一个全面而深入的视角,并在此基础上勾画人机协同共创知识高峰的路径。

生成式人工智能大模型助推实体经济高质量发展:理论机理、实践基础与政策路径

让现代数字技术赋能社会经济发展与治理,以培育新动能、发展新产业、塑造新模式,是实现高质量发展、推进中国式现代化的重要引擎。以ChatGPT为代表的生成式人工智能大模型在自然语言处理和生成等方面展现出强大能力,为新动能、新产业和新模式开辟了新的发展道路。研究以“宏观—中观—微观”为分析框架,从提高生产效率、传统产业转型和变革商业模式等角度阐述了生成式人工智能大模型推进实体经济高质量发展的理论机理,并从大模型的核心技术、产业发展及其政策规划等方面考察了大模型推动高质量发展的实践基础。最后从完善顶层设计和统筹、加快人工智能新型基础设施建设、完善融资市场支撑环境及其发挥数字政府平台优势等方面助推实体经济高质量发展。

生成式人工智能辅助英语读后续写教学初探

生成式人工智能技术快速演进,其教育应用潜能广受关注。本研究从读后续写教学中的难点出发,尝试在生成式人工智能辅助下重构读后续写教学策略。实证研究发现,生成式大模型在提供精准反馈、辅助以学定教、支持人机协同创作、促进师生合作评价、优化作业设计等方面有明确的提质和增效作用。

生成式大模型对商业银行的影响及建议

伴随着人工智能(AI)的发展,以ChatGPT为代表的人工智能生成式大模型将给商业银行带来深远影响。本文采用逻辑分析方法,基于人工智能生成式大模型创新的视角,研究了商业银行运用生成式大模型的可能与影响。本文研究发现,将传统生成式大模型训练成为多模态金融大模型之后,在商业银行的业务领域具有广泛的应用前景,可以有效提升商业银行风险管理水平,优化商业银行的投资决策和投资组合,强化客户关系管理和客户维护能力,从而真正提升商业银行经营效率、优化风险管理效能、驱动数智化转型。但同时也面临着一些难点与挑战,如数据安全、人员培训、监管合规、算力与能耗储备等,只有有效应对这些难点,用好生成式大模型,才能更好地推动商业银行的转型发展。

智能生成内容如何影响人的认知与创造?

在技术推动下,智能机器参与甚至主导的内容生产扩展到多个内容领域,这些内容以及内容生成的机制与模式,将影响人们对公共信息环境的认知、人的思维方式与认知行为。定制化内容生产目标聚焦个人需要,可能会带来公共议程的弱化风险。智能机器虚构的内容,既可能是机器能力有限所致,也可能是由人指示机器生成,两者都可能对人们的认知产生误导。智能机器完成的整合式内容加工,既可以集成群体智慧,扩展人们的认知空间,也可能带来混乱,干扰认知,削弱内容生产的丰富性,或催化人们的速食化内容消费,将人们的认知限制在平庸水平。即使智能生成内容会在一定程度上带来人的被动性,但机器生产的内容本身仍有一定的创造性,人如果能利用好机器,也会形成内容生产中的创造性。

传播活动中作为转义者的智能技术及其作用机制

在智能时代的传播活动中,数据、算法及各种智能系统、智能物体等在很大程度上成了传播的主体,也是行动者网络中的行动者,它们以各种方式进行着转义。数据的主要转义机制体现为映射、标签化、脱域、重组。分发算法则通过对人—内容、人—内容—人的关系重构,以及对内容可见性的调控,影响着内容价值的转化。智能内容生成系统既对客观世界进行了简化、抽象,也在对信息、知识进行加工时产生转义,在人机协同过程中对人的指令进行再诠释。智能物体的转义作用,一方面体现为它们促成的自然环境的“拟态化”,另一方面体现在它们对传播场景的建构及人—内容关系的影响。但智能技术的转义开关,最终仍是掌握在人的手里。

医疗领域对话系统口语理解综述

ChatGPT引发了新一轮的科技革命,使得对话系统成为研究热点。口语理解(Spoken Language Understanding,SLU)作为任务型对话系统的第一部分,对系统整体的表现具有重要影响。在最近几年中,得益于大规模语言模型的成功,口语理解任务取得了较大的发展。然而,现有工作大多基于书面语数据集完成,无法很好地应对真实口语场景。为此,该文面向与书面语相对的口语,重点关注医疗领域这一应用场景,对现有的医疗领域对话系统口语理解任务进行综述。具体地,该文阐述了医疗口语理解任务的难点与挑战,并从数据集、算法和应用的层面梳理了医疗口语理解的研究现状及不足之处。最后,该文结合生成式大模型的最新进展,给出了医疗口语理解问题新的研究方向。

基于AI加速的可复用FPV平台库

形式验证FPV可将DUT抽象为状态空间进行遍历,针对动态仿真难以随机到的边界场景、异常场景和复杂组合场景可提高收敛速度,增强验证质量。但高质量Property开发对验证人员能力有较高的要求。面对该挑战,基于Cadence公司Jaspergold ABVIP提出了一种可复用FPV平台库解决方案,可在不同模块之间重用,降低FPV验证平台搭建时间,提升Property质量,同时借助其AI工具Proof Master生成加速Proven效率的database。FPV平台库+AI Database已在中兴微电子某车规项目落地并复用,发现动态仿真遗漏的4个故障。Proof Master可应用于项目全周期内,回归效率平均提升80.17%,FPV平台库+AI database可提升FPV初次Proven效率44.96%。与此同时对生成式大模型提升Property编写效率做了一定探讨。

人工智能翻译技术研究综述

随着生成式大模型的持续发展,人工智能翻译技术也得到了突破,并且该技术已经广泛应用于人们的生活中。从基于神经网络的文本翻译技术到基于计算机视觉的翻译技术,人工智能翻译技术通过不断的改进,已在不同的应用领域都实现了较高的准确度。因此,在实际应用中将软硬件相结合并参考ChatGPT的文本翻译,将更好地发挥该技术的作用,实现更高效的翻译过程。

大小模型端云协同进化技术进展

生成式基座大模型正在引发人工智能领域的重大变革,在自然语言处理、多模态理解与内容合成等任务展现通用能力。大模型部署于云侧提供通用智能服务,但面临时延大、个性化不足等关键挑战,小模型部署于端侧捕捉个性化场景数据,但存在泛化性不足的难题。大小模型端云协同技术旨在结合大模型通用能力和小模型专用能力,以协同交互方式学习演化进而赋能下游垂直行业场景。本文以大语言模型和多模态大模型为代表,梳理生成式基座大模型的主流架构、典型预训练技术和适配微调等方法,介绍在大模型背景下模型剪枝、模型量化和知识蒸馏等大模型小型化关键技术的发展历史和研究近况,依据模型间协作目的及协同原理异同,提出大小模型协同训练、协同推理和协同规划的协同进化分类方法,概述端云模型双向蒸馏、模块化设计和生成式智能体等系列代表性新技术、新思路。总体而言,本文从生成式基座大模型、大模型小型化技术和大小模型端云协同方式3个方面探讨大小模型协同进化的国际和国内发展现状,对比优势和差距,并从应用前景、模型架构设计、垂直领域模型融合、个性化和安全可信挑战等层面分析基座赋能发展趋势。