期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
4
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于AdaGrad自适应策略的对偶平均方法
被引量:
1
1
作者
张旭
韦洪旭
《舰船电子工程》
2022年第9期41-44,53,共5页
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去...
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去。对偶平均方法能够克服随机梯度下降法迭代后期收敛缓慢的固有弊端,并相较而言具有较高的收敛稳定性和灵活的步长策略,但自适应的对偶平均方法仍是空白。论文通过分析随机梯度下降法和对偶平均方法性能差异的本质原因,在保留对偶平均方法优势的基础上,将AdaGrad的自适应矩阵融入到方法框架中去,形成一种自适应的对偶平均方法:AdaDA,并通过一般凸函数优化分类实验验证算法的可行性与预期效果。
展开更多
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
下载PDF
职称材料
基于AdaGrad自适应DA方法的最优个体收敛速率
2
作者
张旭
韦洪旭
《兵工自动化》
2023年第11期49-55,共7页
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推...
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/√t)的最优个体收敛速率,为其提供了理论支撑。
展开更多
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
下载PDF
职称材料
线性插值投影次梯度方法的最优个体收敛速率
被引量:
5
3
作者
陶蔚
潘志松
+1 位作者
朱小辉
陶卿
《计算机研究与发展》
EI
CSCD
北大核心
2017年第3期529-536,共8页
投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在...
投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method,DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能.
展开更多
关键词
一阶梯度
方法
个体收敛速率
投影次梯度
方法
线性插值操作
对偶平均方法
下载PDF
职称材料
梯度有偏随机DA优化方法的个体收敛界分析
4
作者
张梦晗
汪海
+1 位作者
刘欣
鲍蕾
《计算机工程》
CAS
CSCD
北大核心
2019年第10期203-207,214,共6页
样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定。为此,提出一种线性插值随机对偶平均(DA)优化方法。给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优...
样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定。为此,提出一种线性插值随机对偶平均(DA)优化方法。给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度。实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度。
展开更多
关键词
对偶平均方法
随机优化
个体收敛性
梯度有偏估计
最优收敛速率
下载PDF
职称材料
题名
基于AdaGrad自适应策略的对偶平均方法
被引量:
1
1
作者
张旭
韦洪旭
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
出处
《舰船电子工程》
2022年第9期41-44,53,共5页
基金
国家自然科学基金项目(编号:62076252)资助。
文摘
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去。对偶平均方法能够克服随机梯度下降法迭代后期收敛缓慢的固有弊端,并相较而言具有较高的收敛稳定性和灵活的步长策略,但自适应的对偶平均方法仍是空白。论文通过分析随机梯度下降法和对偶平均方法性能差异的本质原因,在保留对偶平均方法优势的基础上,将AdaGrad的自适应矩阵融入到方法框架中去,形成一种自适应的对偶平均方法:AdaDA,并通过一般凸函数优化分类实验验证算法的可行性与预期效果。
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
Keywords
optimization algorithm
gradient descent
dual average method
AdaGrad
adaptive matrix
分类号
TP301.6 [自动化与计算机技术—计算机系统结构]
下载PDF
职称材料
题名
基于AdaGrad自适应DA方法的最优个体收敛速率
2
作者
张旭
韦洪旭
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
出处
《兵工自动化》
2023年第11期49-55,共7页
基金
国家自然科学基金(62076252)。
文摘
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/√t)的最优个体收敛速率,为其提供了理论支撑。
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
Keywords
optimization algorithm
gradient descent
dual average method
AdaGrad
adaptive matrix
分类号
TP273 [自动化与计算机技术—检测技术与自动化装置]
下载PDF
职称材料
题名
线性插值投影次梯度方法的最优个体收敛速率
被引量:
5
3
作者
陶蔚
潘志松
朱小辉
陶卿
机构
中国人民解放军理工大学指挥信息系统学院
中国人民解放军陆军军官学院十一系
出处
《计算机研究与发展》
EI
CSCD
北大核心
2017年第3期529-536,共8页
基金
国家自然科学基金项目(61673394
61273296)~~
文摘
投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method,DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能.
关键词
一阶梯度
方法
个体收敛速率
投影次梯度
方法
线性插值操作
对偶平均方法
Keywords
first-order method
individual convergence rate
projected subgradient method
linear interpolation operation
dual averaging method
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
梯度有偏随机DA优化方法的个体收敛界分析
4
作者
张梦晗
汪海
刘欣
鲍蕾
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
中国人民解放军陆军炮兵防空兵学院基础部
出处
《计算机工程》
CAS
CSCD
北大核心
2019年第10期203-207,214,共6页
基金
国家自然科学基金(61673394)
文摘
样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定。为此,提出一种线性插值随机对偶平均(DA)优化方法。给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度。实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度。
关键词
对偶平均方法
随机优化
个体收敛性
梯度有偏估计
最优收敛速率
Keywords
Dual Averaging(DA)method
stochastic optimization
individual convergence
gradient biased estimation
optimal convergence rate
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于AdaGrad自适应策略的对偶平均方法
张旭
韦洪旭
《舰船电子工程》
2022
1
下载PDF
职称材料
2
基于AdaGrad自适应DA方法的最优个体收敛速率
张旭
韦洪旭
《兵工自动化》
2023
0
下载PDF
职称材料
3
线性插值投影次梯度方法的最优个体收敛速率
陶蔚
潘志松
朱小辉
陶卿
《计算机研究与发展》
EI
CSCD
北大核心
2017
5
下载PDF
职称材料
4
梯度有偏随机DA优化方法的个体收敛界分析
张梦晗
汪海
刘欣
鲍蕾
《计算机工程》
CAS
CSCD
北大核心
2019
0
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部