期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
面向异构分布式机器学习的动态自适应并行加速方法
1
作者
马翔
申国伟
+2 位作者
郭春
崔允贺
陈意
《智能系统学报》
CSCD
北大核心
2023年第5期1099-1107,共9页
分布式机器学习因其优越的并行能力成为人工智能领域复杂模型训练的常用技术。然而,GPU升级换代非常快,异构集群环境下的分布式机器学习成为数据中心、研究机构面临的新常态。异构节点之间训练速度的差异使得现有并行方法难以平衡同步...
分布式机器学习因其优越的并行能力成为人工智能领域复杂模型训练的常用技术。然而,GPU升级换代非常快,异构集群环境下的分布式机器学习成为数据中心、研究机构面临的新常态。异构节点之间训练速度的差异使得现有并行方法难以平衡同步等待和陈旧梯度的影响,从而显著降低模型整体训练效率。针对该问题,提出了一种基于节点状态的动态自适应并行方法(dynamic adaptive synchronous parallel,DASP),利用参数服务器动态管理节点训练时的状态信息并对节点的并行状态进行划分,通过节点状态信息自适应调整每个节点的并行状态,以减少快速节点对全局模型参数的同步等待时间与陈旧梯度的产生,从而加快收敛效率。在公开数据集上的实验结果表明,DASP比主流方法收敛时间减少了16.9%~82.1%,并且训练过程更加稳定。
展开更多
关键词
异构集群
机器学习
数据并行
分布式训练
参数服务器
落后者
陈旧梯度
大规模深度学习
下载PDF
职称材料
深度学习自适应学习率算法研究
被引量:
22
2
作者
蒋文斌
彭晶
叶阁焰
《华中科技大学学报(自然科学版)》
EI
CAS
CSCD
北大核心
2019年第5期79-83,共5页
为了获得更好的收敛速度和训练效果,提出了根据模型测试准确率对学习率使用不同调整策略的自适应学习率调整算法.将训练过程分为前期、中期和后期三个阶段:在前期适当增大学习率,在中期和后期根据与测试准确率的增量相关的衰减因子函数...
为了获得更好的收敛速度和训练效果,提出了根据模型测试准确率对学习率使用不同调整策略的自适应学习率调整算法.将训练过程分为前期、中期和后期三个阶段:在前期适当增大学习率,在中期和后期根据与测试准确率的增量相关的衰减因子函数使用不同大小的学习率衰减因子减小学习率,增量越小表示模型越接近收敛,因而使用更小的衰减因子.基于MXNet框架,在数据集CIFAR-10和CIFAR-100上进行测试实验,结果表明所提出的方法在收敛速度和准确率收敛值方面都有更好的效果.
展开更多
关键词
深度学习
学习率
准确率
陈旧梯度
MXNet框架
原文传递
题名
面向异构分布式机器学习的动态自适应并行加速方法
1
作者
马翔
申国伟
郭春
崔允贺
陈意
机构
贵州大学计算机科学与技术学院
出处
《智能系统学报》
CSCD
北大核心
2023年第5期1099-1107,共9页
基金
国家自然科学基金项目(62062022)。
文摘
分布式机器学习因其优越的并行能力成为人工智能领域复杂模型训练的常用技术。然而,GPU升级换代非常快,异构集群环境下的分布式机器学习成为数据中心、研究机构面临的新常态。异构节点之间训练速度的差异使得现有并行方法难以平衡同步等待和陈旧梯度的影响,从而显著降低模型整体训练效率。针对该问题,提出了一种基于节点状态的动态自适应并行方法(dynamic adaptive synchronous parallel,DASP),利用参数服务器动态管理节点训练时的状态信息并对节点的并行状态进行划分,通过节点状态信息自适应调整每个节点的并行状态,以减少快速节点对全局模型参数的同步等待时间与陈旧梯度的产生,从而加快收敛效率。在公开数据集上的实验结果表明,DASP比主流方法收敛时间减少了16.9%~82.1%,并且训练过程更加稳定。
关键词
异构集群
机器学习
数据并行
分布式训练
参数服务器
落后者
陈旧梯度
大规模深度学习
Keywords
heterogeneous clusters
machine learning
data parallel
distributed training
parameter servers
stragglers
stale gradient
large-scale deep learning©《智能系统学报》编辑部版权所有
分类号
TP18 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
深度学习自适应学习率算法研究
被引量:
22
2
作者
蒋文斌
彭晶
叶阁焰
机构
华中科技大学服务计算技术与系统教育部重点实验室
华中科技大学集群与网格计算湖北省重点实验室
华中科技大学计算机科学与技术学院
出处
《华中科技大学学报(自然科学版)》
EI
CAS
CSCD
北大核心
2019年第5期79-83,共5页
基金
国家自然科学基金资助项目(61672250)
文摘
为了获得更好的收敛速度和训练效果,提出了根据模型测试准确率对学习率使用不同调整策略的自适应学习率调整算法.将训练过程分为前期、中期和后期三个阶段:在前期适当增大学习率,在中期和后期根据与测试准确率的增量相关的衰减因子函数使用不同大小的学习率衰减因子减小学习率,增量越小表示模型越接近收敛,因而使用更小的衰减因子.基于MXNet框架,在数据集CIFAR-10和CIFAR-100上进行测试实验,结果表明所提出的方法在收敛速度和准确率收敛值方面都有更好的效果.
关键词
深度学习
学习率
准确率
陈旧梯度
MXNet框架
Keywords
deep learning
learning rate
accuracy
stale gradient
MXNet framework
分类号
TP18 [自动化与计算机技术—控制理论与控制工程]
原文传递
题名
作者
出处
发文年
被引量
操作
1
面向异构分布式机器学习的动态自适应并行加速方法
马翔
申国伟
郭春
崔允贺
陈意
《智能系统学报》
CSCD
北大核心
2023
0
下载PDF
职称材料
2
深度学习自适应学习率算法研究
蒋文斌
彭晶
叶阁焰
《华中科技大学学报(自然科学版)》
EI
CAS
CSCD
北大核心
2019
22
原文传递
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部