-
题名面向深度学习训练的内存交换机制综述
被引量:1
- 1
-
-
作者
高赫然
吴恒
许源佳
李修和
王焘
张文博
-
机构
中国科学院大学
中国科学院软件研究所软件工程技术研究开发中心
计算机科学国家重点实验室(中国科学院软件研究所)
国防科技大学电子对抗学院
中国科学院大学南京学院
中科南京软件技术研究院
-
出处
《软件学报》
EI
CSCD
北大核心
2023年第12期5862-5886,共25页
-
基金
国家重点研发计划(2018YFB1402803)
国家自然科学基金(61872344,61972386)
山东省重大研发计划(2021CXGC010101)。
-
文摘
随着深度学习技术的快速发展和深入应用,深度学习训练规模持续增大,内存不足已成为影响深度学习可用性的主要瓶颈之一.内存交换机制是应对深度学习训练内存问题的关键技术,该机制利用深度学习训练内存需求的“时变”特征,在专用计算加速设备内存与外部存储之间按需移动数据,通过瞬时内存需求替代累积内存需求,保障深度学习训练任务的运行.对面向深度学习训练的内存交换机制进行综述,以深度学习训练内存需求的时变特征为研究视角,分别针对基于算子运行特征的内存换出机制、基于数据依赖关系的内存换入机制以及效能驱动的联合换出与换入决策等重要研究工作进行了总结分析,并针对该技术领域的发展方向进行了展望.
-
关键词
深度学习训练
内存交换
内存需求特征
-
Keywords
deep learning(DL)training
memory swapping
memory requirement characteristic
-
分类号
TP303
[自动化与计算机技术—计算机系统结构]
-
-
题名区块链智能合约交易并行执行模型综述
被引量:7
- 2
-
-
作者
施建锋
吴恒
高赫然
张文博
-
机构
中国科学院大学
中国科学院软件研究所软件工程技术研究开发中心
计算机科学国家重点实验室(中国科学院软件研究所)
-
出处
《软件学报》
EI
CSCD
北大核心
2022年第11期4084-4106,共23页
-
基金
国家重点研发计划(2018YFB1402803)
国家自然科学基金(61872344)
山东省重点研发计划(2021CXGC010101)。
-
文摘
以太坊等区块链采用串行方式执行区块中的智能合约交易,虽能严格保障执行后节点间区块链状态的一致性,但这已成为目前制约区块链吞吐率的一个重要瓶颈.因此,采用并行方法优化智能合约交易的执行逐渐成为工业界和学术界关注的重点.总结了区块链智能合约并行执行方法的研究进展,提出了一个研究框架,该框架以智能合约并行执行的阶段为视角,凝练出4种智能合约并行执行模型,即基于静态分析的并行执行模型、基于动态分析的并行执行模型、节点间并行执行模型和分治并行执行模型,然后描述了每种模型下典型的并行执行方法.最后,对交易依赖图和并发控制策略等影响并行执行的因素进行了讨论,并提出了未来可研究的方向.
-
关键词
区块链
智能合约
并行执行
事务
吞吐率
-
Keywords
blockchain
smart contract
parallel execution
transaction
throughput
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-