-
题名面向深度学习训练的内存交换机制综述
被引量:1
- 1
-
-
作者
高赫然
吴恒
许源佳
李修和
王焘
张文博
-
机构
中国科学院大学
中国科学院软件研究所软件工程技术研究开发中心
计算机科学国家重点实验室(中国科学院软件研究所)
国防科技大学电子对抗学院
中国科学院大学南京学院
中科南京软件技术研究院
-
出处
《软件学报》
EI
CSCD
北大核心
2023年第12期5862-5886,共25页
-
基金
国家重点研发计划(2018YFB1402803)
国家自然科学基金(61872344,61972386)
山东省重大研发计划(2021CXGC010101)。
-
文摘
随着深度学习技术的快速发展和深入应用,深度学习训练规模持续增大,内存不足已成为影响深度学习可用性的主要瓶颈之一.内存交换机制是应对深度学习训练内存问题的关键技术,该机制利用深度学习训练内存需求的“时变”特征,在专用计算加速设备内存与外部存储之间按需移动数据,通过瞬时内存需求替代累积内存需求,保障深度学习训练任务的运行.对面向深度学习训练的内存交换机制进行综述,以深度学习训练内存需求的时变特征为研究视角,分别针对基于算子运行特征的内存换出机制、基于数据依赖关系的内存换入机制以及效能驱动的联合换出与换入决策等重要研究工作进行了总结分析,并针对该技术领域的发展方向进行了展望.
-
关键词
深度学习训练
内存交换
内存需求特征
-
Keywords
deep learning(DL)training
memory swapping
memory requirement characteristic
-
分类号
TP303
[自动化与计算机技术—计算机系统结构]
-