-
题名面向深度学习应用的组件式开发框架的设计实现
- 1
-
-
作者
刘祥
华蓓
林飞
魏宏原
-
机构
中国科学技术大学计算机科学与技术学院
-
出处
《计算机应用》
CSCD
北大核心
2024年第2期526-535,共10页
-
基金
国家重点研发计划项目(2018AAA0101204)。
-
文摘
针对目前深度学习应用缺少有效的开发与部署工具的问题,提出一个面向深度学习应用的组件式开发框架。所提框架根据应用的资源消耗类型进行功能拆分,使用评测引导的资源分配方案进行瓶颈消除,使用分步装箱方案兼顾高CPU利用率和低显存开销的功能放置。基于此框架开发的实时车牌号检测应用,在吞吐优先模式下GPU利用率达到82%,在延迟优先模式下平均应用延迟达到0.73 s,在三种模式下(吞吐优先模式、延迟优先模式以及吞吐/延迟的均衡模式)下,CPU平均利用率达到68.8%。实验结果表明,基于此框架能够进行硬件吞吐与应用延迟的平衡型配置,在吞吐优先模式下高效利用平台的计算资源,在延迟优先模式下满足应用的低延迟需求。相较于MediaPipe,使用本框架能够进行超实时的多人姿态估计应用开发,应用的检测帧率最高提升了1077%。实验结果表明,所提框架能够作为CPU-GPU异构服务器上面向深度学习应用开发部署的有效解决方案。
-
关键词
深度学习应用
开发框架
基于组件的开发
流水线部署
CPU-GPU异构
-
Keywords
deep learning application
development framework
Component-Based Development(CBD)
pipeline deployment
CPU-GPU heterogeneity
-
分类号
TP311.5
[自动化与计算机技术—计算机软件与理论]
-
-
题名面向数据共享的模型训练服务系统
- 2
-
-
作者
魏宏原
华蓓
林飞
-
机构
中国科学技术大学计算机科学与技术学院
中国科学院无线光电通信重点实验室
-
出处
《网络安全与数据治理》
2022年第8期20-29,共10页
-
基金
科技创新2030-“新一代人工智能”重大项目(2018AAA-0101200)。
-
文摘
数据驱动的人工智能应用需要大数据支持,然而现实中因隐私保护等原因,数据往往互不流通,而以孤岛形式存在。如何实现数据安全可用是当前亟待解决的问题。设计和实现了面向数据共享的模型训练服务系统,通过向用户提供数据功能服务接口而非数据本身,实现数据可用不可见。重点针对资源受限的数据共享平台,设计了高效的资源分配和作业调度方法,特别是通过自动资源缩放来应对多变的工作负载,达到优化用户体验和提高资源利用的目的。实验表明,相较于常规的作业调度方法,本系统在各种工作负载下都具有响应服务请求快、作业完成时间短的优点。
-
关键词
数据共享
模型训练服务
作业调度
资源分配
-
Keywords
data sharing
model training service
job schedule
resource allocation
-
分类号
TP14
[自动化与计算机技术—控制理论与控制工程]
-