期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
面向算力中心的大模型推理优化技术
Optimization techniques for large model inference aimed at computing power centers
下载PDF
职称材料
导出
摘要
随着人工智能技术的飞速发展,大型语言模型在自然语言处理、代码生成、多模态交互等领域展现出强大的能力。然而,大模型的高算力需求成为其在实际应用中广泛部署的主要瓶颈。本文聚焦于算力中心的大语言模型推理服务的优化技术,通过静态推理和推理服务的协同优化,使算力中心的大语言模型推理服务的整体性能得到显著提升。
作者
毛秋力
沈庆飞
李秀红
Mao Qiuli;Shen Qingfei;Li Xiuhong
机构地区
上海市无问芯穹智能科技有限公司
中国计量科学研究院
出处
《质量与认证》
2024年第9期40-44,共5页
关键词
大语言模型
推理
算子
调度
算力效率
分类号
TP319 [自动化与计算机技术—计算机软件与理论]
引文网络
相关文献
节点文献
二级参考文献
0
参考文献
0
共引文献
0
同被引文献
0
引证文献
0
二级引证文献
0
1
曹流,朱民富,李峻荣,张沁丹.
基于连续逐层添加的金属增材制造热-力耦合行为数值模拟研究[J]
.铸造,2024,73(8):1065-1072.
2
吴航.
装配式建筑中混凝土结构施工技术要点研究[J]
.中文科技期刊数据库(文摘版)工程技术,2024(9):0045-0048.
3
王珊,吴钺,徐海书.
高职网络营销课程理实一体化教学路径探究[J]
.辽宁高职学报,2024,26(8):43-47.
4
寇文军.
消费升级视域下冰雪体育产业融合发展研究[J]
.冰雪运动,2024,46(4):83-87.
5
郭永刚,范文风,樊宝祯.
保证轻烃装置低气量生产膨胀机低负荷运行研究[J]
.中国设备工程,2024(17):107-109.
6
张明志,王新培,余东华.
政府补助对新能源汽车产业创新结构的影响[J]
.中国人口·资源与环境,2024,34(7):35-46.
7
姚嘉.
综合试验区背景下跨境电商高质量发展研究[J]
.电子商务评论,2024,13(3):8518-8523.
8
温顺生,甘萍.
西部地区新型农村集体经济发展的主要类型、现实困境与优化路径——以广西S县为例[J]
.柳州职业技术学院学报,2024,24(4):30-36.
9
李彦龙,吴能友,王宏斌,纪云开,綦民辉,刘昌岭,万义钊,陈明涛.
海域天然气水合物储层的多场耦合模式及研究进展[J]
.工程地质学报,2024,32(4):1355-1366.
质量与认证
2024年 第9期
职称评审材料打包下载
相关作者
内容加载中请稍等...
相关机构
内容加载中请稍等...
相关主题
内容加载中请稍等...
浏览历史
内容加载中请稍等...
;
用户登录
登录
IP登录
使用帮助
返回顶部