期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
大小模型端云协同进化技术进展
1
作者
王永威
沈弢
+7 位作者
张圣宇
吴帆
赵洲
蔡海滨
吕承飞
马利庄
杨承磊
吴飞
《中国图象图形学报》
CSCD
北大核心
2024年第6期1510-1534,共25页
生成式基座大模型正在引发人工智能领域的重大变革,在自然语言处理、多模态理解与内容合成等任务展现通用能力。大模型部署于云侧提供通用智能服务,但面临时延大、个性化不足等关键挑战,小模型部署于端侧捕捉个性化场景数据,但存在泛化...
生成式基座大模型正在引发人工智能领域的重大变革,在自然语言处理、多模态理解与内容合成等任务展现通用能力。大模型部署于云侧提供通用智能服务,但面临时延大、个性化不足等关键挑战,小模型部署于端侧捕捉个性化场景数据,但存在泛化性不足的难题。大小模型端云协同技术旨在结合大模型通用能力和小模型专用能力,以协同交互方式学习演化进而赋能下游垂直行业场景。本文以大语言模型和多模态大模型为代表,梳理生成式基座大模型的主流架构、典型预训练技术和适配微调等方法,介绍在大模型背景下模型剪枝、模型量化和知识蒸馏等大模型小型化关键技术的发展历史和研究近况,依据模型间协作目的及协同原理异同,提出大小模型协同训练、协同推理和协同规划的协同进化分类方法,概述端云模型双向蒸馏、模块化设计和生成式智能体等系列代表性新技术、新思路。总体而言,本文从生成式基座大模型、大模型小型化技术和大小模型端云协同方式3个方面探讨大小模型协同进化的国际和国内发展现状,对比优势和差距,并从应用前景、模型架构设计、垂直领域模型融合、个性化和安全可信挑战等层面分析基座赋能发展趋势。
展开更多
关键词
生成式大
模型
大
模型
小型化
大小模型协同进化
端云
协同
进化
生成式智能体
生成式人工智能
原文传递
题名
大小模型端云协同进化技术进展
1
作者
王永威
沈弢
张圣宇
吴帆
赵洲
蔡海滨
吕承飞
马利庄
杨承磊
吴飞
机构
浙江大学人工智能研究所
浙江大学上海高等研究院
上海交通大学计算机科学与工程系
华东师范大学软件工程学院
淘宝(中国)软件有限公司
山东大学软件学院
出处
《中国图象图形学报》
CSCD
北大核心
2024年第6期1510-1534,共25页
基金
新一代人工智能国家科技重大专项(2022ZD0119100)
国家自然科学基金项目(62037001,62441605)
+1 种基金
浙江省科技计划项目(2022C01044)
繁星科学基金项目(浙江大学)。
文摘
生成式基座大模型正在引发人工智能领域的重大变革,在自然语言处理、多模态理解与内容合成等任务展现通用能力。大模型部署于云侧提供通用智能服务,但面临时延大、个性化不足等关键挑战,小模型部署于端侧捕捉个性化场景数据,但存在泛化性不足的难题。大小模型端云协同技术旨在结合大模型通用能力和小模型专用能力,以协同交互方式学习演化进而赋能下游垂直行业场景。本文以大语言模型和多模态大模型为代表,梳理生成式基座大模型的主流架构、典型预训练技术和适配微调等方法,介绍在大模型背景下模型剪枝、模型量化和知识蒸馏等大模型小型化关键技术的发展历史和研究近况,依据模型间协作目的及协同原理异同,提出大小模型协同训练、协同推理和协同规划的协同进化分类方法,概述端云模型双向蒸馏、模块化设计和生成式智能体等系列代表性新技术、新思路。总体而言,本文从生成式基座大模型、大模型小型化技术和大小模型端云协同方式3个方面探讨大小模型协同进化的国际和国内发展现状,对比优势和差距,并从应用前景、模型架构设计、垂直领域模型融合、个性化和安全可信挑战等层面分析基座赋能发展趋势。
关键词
生成式大
模型
大
模型
小型化
大小模型协同进化
端云
协同
进化
生成式智能体
生成式人工智能
Keywords
generative foundation models
model compression
large-small model collaboration
edge-cloud collabora⁃tion
generative agents
generative AI
分类号
TP391.4 [自动化与计算机技术—计算机应用技术]
原文传递
题名
作者
出处
发文年
被引量
操作
1
大小模型端云协同进化技术进展
王永威
沈弢
张圣宇
吴帆
赵洲
蔡海滨
吕承飞
马利庄
杨承磊
吴飞
《中国图象图形学报》
CSCD
北大核心
2024
0
原文传递
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部