期刊文献+
共找到22篇文章
< 1 2 >
每页显示 20 50 100
线性插值投影次梯度方法的最优个体收敛速率 被引量:5
1
作者 陶蔚 潘志松 +1 位作者 朱小辉 陶卿 《计算机研究与发展》 EI CSCD 北大核心 2017年第3期529-536,共8页
投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在... 投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method,DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能. 展开更多
关键词 一阶梯度方法 个体收敛速率 投影次梯度方法 线性插值操作 对偶平均方法
下载PDF
非Lipschitz集值混合变分不等式的一个投影次梯度方法 被引量:4
2
作者 唐国吉 黄南京 《应用数学和力学》 CSCD 北大核心 2011年第10期1254-1264,共11页
建立了一个投影次梯度方法来求解一类集值混合变分不等式,其中相关的映象不必是Lipschitz连续的.在合适的条件下,证明了在Hilbert空间中该方法产生的序列强收敛于问题的唯一解.
关键词 集值混合变分不等式 投影次梯度方法 非Lipschitz映象 收敛性
下载PDF
不可微最优化问题的随机增量次梯度方法
3
作者 张鹏 《牡丹江师范学院学报(自然科学版)》 2010年第2期3-4,共2页
在Hilbert空间中不可微最优化问题的增量次梯度方法收敛性的基础上,研究随机的增量次梯度方法,这种方法每次迭代过程中,子迭代的搜索方向是随机给出的.本文主要研究的是具有缩减步长的随机增量次梯度方法的收敛性,证明这种方法产生的迭... 在Hilbert空间中不可微最优化问题的增量次梯度方法收敛性的基础上,研究随机的增量次梯度方法,这种方法每次迭代过程中,子迭代的搜索方向是随机给出的.本文主要研究的是具有缩减步长的随机增量次梯度方法的收敛性,证明这种方法产生的迭代点列拟Fejér收敛;迭代点列所对应的函数列收敛以及迭代点列弱收敛到某种形式的最优解集. 展开更多
关键词 随机增量次梯度方法 拟Fej啨r收敛 不可微最优化问题
下载PDF
使用Nesterov步长策略投影次梯度方法的个体收敛性 被引量:16
4
作者 陶蔚 潘志松 +1 位作者 储德军 陶卿 《计算机学报》 EI CSCD 北大核心 2018年第1期164-176,共13页
很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经... 很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经提出了大量的随机优化方法求解大规模机器学习优化问题,但大部分的研究只是针对平均输出方式获得了最优收敛速率.个体输出方式显然比平均方式的输出具有更好的稀疏性,但使个体收敛速率获得最优具有一定的难度,人们已经将强凸情形下的最优个体收敛性作为公开问题进行广泛研究.对于光滑目标函数的优化问题,著名学者Nesterov提出了一种步长策略,使得梯度方法的收敛速率获得了数量级形式的加速,并且获得了最优的个体收敛速率.目前,Nesterov加速算法已经应用于各种具有光滑损失函数机器学习优化问题中,研究者基于该加速策略提出了大量的随机优化算法.能否将这种技巧推广至非光滑情形获得最优的个体收敛速率显然是有意义的问题.文中考虑在非光滑优化算法中引入这种步长策略.特别地,我们聚焦经典的一阶梯度方法,提出了一种嵌入加速算法步长策略的投影次梯度算法,证明了这种算法在求解非光滑损失函数学习问题时具有最优的个体收敛速率.这是比标准投影次梯度方法只有在平均输出方式下才具有最优收敛速率更强的结论,也是一阶梯度方法在个体最优收敛速率方面比较接近于大家期待的研究成果.与平均方式输出以及线性插值的投影次梯度方法相比,该文所提方法的梯度运算在插值策略之后,因此在求解l1范数约束的hinge损失函数学习问题时具有更好的稀疏性.人工数据集上的实验验证了所提方法的正确性,基准数据集上验证了该方法在保持稀疏性方面具有良好的性能. 展开更多
关键词 机器学习 非光滑损失函数问题 投影次梯度方法 Nesterov步长策略 个体收敛速率 稀疏学习
下载PDF
关于伪单调平衡问题和不动点问题的粘滞-次梯度方法 被引量:2
5
作者 闻道君 《数学进展》 CSCD 北大核心 2017年第2期303-312,共10页
本文介绍了一个新的逼近伪单调平衡问题的解和广义渐近λ-严格伪压缩映象不动点的粘滞-次梯度方法,在Hilbert空间中建立了关于伪单调平衡问题和一簇广义渐近λ-严格伪压缩映象公共不动点的强收敛定理,并在收敛性分析中去掉了映象的一致L... 本文介绍了一个新的逼近伪单调平衡问题的解和广义渐近λ-严格伪压缩映象不动点的粘滞-次梯度方法,在Hilbert空间中建立了关于伪单调平衡问题和一簇广义渐近λ-严格伪压缩映象公共不动点的强收敛定理,并在收敛性分析中去掉了映象的一致Lipschitz连续性条件. 展开更多
关键词 伪单调平衡问题 粘滞-次梯度方法 广义渐近λ-严格伪压缩映象 不动点
原文传递
Hilbert空间中不可微最优化问题的增量次梯度方法 被引量:1
6
作者 张鹏 宋文 《数学学报(中文版)》 SCIE CSCD 北大核心 2009年第2期409-416,共8页
研究Hilbert空间中一类不可微最优化问题的增量次梯度方法.证明了:当问题有解时,这种方法生成的点列是弱收敛于最优解的;当问题无解时,点列是无界的.同时给出了一个收敛速率的结果.
关键词 HILBERT空间 增量次梯度方法 不可微最优化问题
原文传递
多个体切换网络中带有时延通信的分布式次梯度优化算法 被引量:2
7
作者 王俊雅 李甲地 李德权 《计算机科学》 CSCD 北大核心 2019年第7期81-85,共5页
在一般的非平衡有向切换网络中,网络中的个体间可能存在通信时延现象。针对该情况,文中提出了多个体切换网络中带有时延通信的分布式次梯度优化算法。在该算法中,通过对通信网络进行扩维,将存在通信时延的无约束凸优化问题转化为无时延... 在一般的非平衡有向切换网络中,网络中的个体间可能存在通信时延现象。针对该情况,文中提出了多个体切换网络中带有时延通信的分布式次梯度优化算法。在该算法中,通过对通信网络进行扩维,将存在通信时延的无约束凸优化问题转化为无时延的无约束凸优化问题进行解决。利用非二次李雅普诺夫函数法证明了只要非平衡有向切换网络是周期强连通的以及通信时延有上界,那么基于时延通信的分布式次梯度优化算法就是收敛的。由于集中考虑了网络拓扑与通信时延,该算法更贴合实际情况。最后通过仿真实验验证了算法的有效性。 展开更多
关键词 切换网络 通信时延 随机矩阵 次梯度方法 非二次李雅普诺夫函数
下载PDF
单调变分不等式的改进次梯度外梯度算法 被引量:1
8
作者 张双德 夏福全 黄瑕 《四川师范大学学报(自然科学版)》 CAS 2021年第2期168-174,共7页
在Hilbert空间中提出一种求解Lipschitz连续单调变分不等式的改进次梯度外梯度算法,该算法的步长是自适应的.同时在算法的每一次迭代中,只需要计算向特殊结构半空间的投影.最后在Lipschitz系数大小未知的条件下,得到算法在Hilbert空间... 在Hilbert空间中提出一种求解Lipschitz连续单调变分不等式的改进次梯度外梯度算法,该算法的步长是自适应的.同时在算法的每一次迭代中,只需要计算向特殊结构半空间的投影.最后在Lipschitz系数大小未知的条件下,得到算法在Hilbert空间中的强收敛性. 展开更多
关键词 变分不等式 次梯度梯度方法 半空间 强收敛
下载PDF
求解变分不等式与不动点问题的惯性次梯度外梯度算法
9
作者 张东耀 刘红卫 +1 位作者 马小军 李肖银 《哈尔滨师范大学自然科学学报》 CAS 2022年第2期8-17,共10页
提出了一种求解变分不等式与不动点问题的惯性次梯度外梯度算法,证明了其弱收敛性定理,通过数值实验验证所得的理论结果.
关键词 变分不等式 不动点问题 次梯度梯度方法 惯性算法 伪单调映射
下载PDF
求解变分不等式问题和不动点问题公共点的惯性次梯度外梯度算法
10
作者 黄瑕 夏福全 张双德 《四川师范大学学报(自然科学版)》 CAS 2021年第2期180-186,共7页
在Hilbert空间中提出一种新的惯性次梯度外梯度算法,求解具有单调Lipschitz连续映射的变分不等式问题的解集与非扩张映射的不动点集的公共点.该算法结合一般的次梯度外梯度算法和惯性算法.在一定的条件下,建立算法的弱收敛定理.数值实... 在Hilbert空间中提出一种新的惯性次梯度外梯度算法,求解具有单调Lipschitz连续映射的变分不等式问题的解集与非扩张映射的不动点集的公共点.该算法结合一般的次梯度外梯度算法和惯性算法.在一定的条件下,建立算法的弱收敛定理.数值实验结果表明,提出的算法有一定的意义. 展开更多
关键词 变分不等式 次梯度梯度方法 惯性算法 弱收敛
下载PDF
带有二次约束的一般二次规划问题的松弛分枝定界方法 被引量:2
11
作者 高岳林 徐成贤 《西安交通大学学报》 EI CAS CSCD 北大核心 2002年第8期871-874,共4页
考虑带有二次约束的一般二次规划问题的求解 ,当约束条件为非凸二次函数时 ,对原问题中的某个二次约束进行凸二次松弛 ,或在原问题的约束条件中增加一个球约束 ,使得原问题的可行域包含在松弛二次规划问题的可行域内 .采用椭球剖分策略... 考虑带有二次约束的一般二次规划问题的求解 ,当约束条件为非凸二次函数时 ,对原问题中的某个二次约束进行凸二次松弛 ,或在原问题的约束条件中增加一个球约束 ,使得原问题的可行域包含在松弛二次规划问题的可行域内 .采用椭球剖分策略剖分可行域为小的椭球 ,用投影次梯度算法解松弛二次规划问题的拉格朗日对偶问题 ,从而获得原问题的一个下界 .原问题最优值的一个上界可从迭代过程中的可行点得到 ,并在迭代过程中得到调整 .该算法或在原问题最优值的上下界相同时终止 ,得到原问题的整体最优解 ;或产生一无限序列 。 展开更多
关键词 二次约束 二次规划 松弛分支定界方法 整体优化 拉格朗日对偶 投影次梯度方法 整体最优解
下载PDF
解带有二次约束二次规划的一个整体优化方法(英文) 被引量:2
12
作者 高岳林 徐成贤 《运筹学学报》 CSCD 北大核心 2002年第2期53-60,共8页
在本文中,我们提出了一种解带有二次约束二次规划问题(QP)的新算法.这种方法是基于单纯形分枝定界技术,其中包括极小极大问题和线性规划问题作为子问题.利用拉格朗日松弛和投影次梯度方法来确定问题(QP)最优值的下界.在问题(QP)... 在本文中,我们提出了一种解带有二次约束二次规划问题(QP)的新算法.这种方法是基于单纯形分枝定界技术,其中包括极小极大问题和线性规划问题作为子问题.利用拉格朗日松弛和投影次梯度方法来确定问题(QP)最优值的下界.在问题(QP)的可行域是n维的条件下,如果这个算法有限步后终止,得到的点必是问题(QP)的整体最优解;否则,该算法产生的点的序列{vk}的每一个聚点也必是问题(QP)的整体最优解. 展开更多
关键词 二次约束二次规划 分枝定界 整体优化 拉格朗日松驰 拉格朗日对偶 投影次梯度方法
下载PDF
基于拉格朗日下界求解的炼钢-连铸生产调度方法 被引量:3
13
作者 韩大勇 唐秋华 +1 位作者 张利平 张启敏 《武汉科技大学学报》 CAS 北大核心 2016年第5期353-360,共8页
为提高炼钢-连铸生产效率,以加权总完工时间、作业等待惩罚总和最小化为目标,基于时间索引建立数学规划模型。在证明原问题、松弛问题、对偶问题三者最优解关系基础上,将机器容量约束松弛到目标函数中,运用次梯度算法求原问题下界,得到... 为提高炼钢-连铸生产效率,以加权总完工时间、作业等待惩罚总和最小化为目标,基于时间索引建立数学规划模型。在证明原问题、松弛问题、对偶问题三者最优解关系基础上,将机器容量约束松弛到目标函数中,运用次梯度算法求原问题下界,得到各炉次的开始时间序列。为消除松弛解中的有向环,采用融入启发式规则的列表调度,按照机器可用性优先原则,将炉次均衡地指派到各个加工机器上。利用GAMS/Cplex软件对18个调度算例进行测试运算,结果表明以较少的计算代价可以得到令人满意的近优解,因此本文提出的基于拉格朗日下界求解的方法对炼钢-连铸生产调度问题是可行的和有效的。 展开更多
关键词 炼钢-连铸 生产调度 拉格朗日松弛算法 对偶问题 次梯度方法 启发式规则
下载PDF
求解单调变分不等式问题的一种修正的次梯度超梯度方法 被引量:2
14
作者 杨延涛 《山东大学学报(理学版)》 CAS CSCD 北大核心 2018年第2期38-45,共8页
提出了一种修正的次梯度超梯度方法,用以寻找非扩张映像不动点集与单调变分不等式解集之公共元,证明了由该算法所生成的迭代序列弱收敛于某公共元。所得结果改进并推广了已有文献的相关结果。
关键词 单调变分不等式 非扩张映像 公共元 修正的次梯度梯度方法 弱收敛
原文传递
离散投资组合问题的一种基于Bundle对偶搜索的精确算法 被引量:1
15
作者 张世涛 高振星 孙小玲 《应用数学与计算数学学报》 2008年第1期83-91,共9页
本文提出了离散均值一方差投资组合模型的一种新的精确算法.该算法是一个基于拉格朗日松弛和Bundle对偶搜索的分枝定界算法.我们分别用随机产生的数据和美国股票市场的真实数据进行了数值实验,并与传统次梯度对偶搜索进行了比较,数值结... 本文提出了离散均值一方差投资组合模型的一种新的精确算法.该算法是一个基于拉格朗日松弛和Bundle对偶搜索的分枝定界算法.我们分别用随机产生的数据和美国股票市场的真实数据进行了数值实验,并与传统次梯度对偶搜索进行了比较,数值结果表明本文提出的算法对解决中小规模的离散投资组合问题是有效的. 展开更多
关键词 离散均值-方差模型 拉格朗日松弛 Bundle方法 次梯度方法 分枝定界法
下载PDF
关于线性不等式组的ABS-SG算法
16
作者 董玉林 庞丽萍 夏尊铨 《辽宁师范大学学报(自然科学版)》 CAS 2004年第1期15-17,共3页
给出一种求解线性不等式方程组的ABS-SG方法.首先由ABS算法求解线性方程组的通解,将不等式组转化为非光滑最优化问题,然后用次梯度方法求解优化问题,最后给出算法的收敛性证明.
关键词 线性不等式组 ABS-SG算法 非光滑最优化 次梯度方法
下载PDF
分布式多自主体优化问题中的概率量化影响研究 被引量:4
17
作者 袁德明 徐胜元 +1 位作者 赵环宇 沈浩 《南京理工大学学报》 EI CAS CSCD 北大核心 2011年第2期209-212,共4页
考虑一个由多个自主体构成的网络,网络中每个自主体拥有一个只有自己知晓的局部目标函数,研究优化所有局部目标函数和的问题。基于一致性算法基本思想并结合次梯度方法解决了固定的网络拓扑结构且自主体之间交换的信息是经过概率量化的... 考虑一个由多个自主体构成的网络,网络中每个自主体拥有一个只有自己知晓的局部目标函数,研究优化所有局部目标函数和的问题。基于一致性算法基本思想并结合次梯度方法解决了固定的网络拓扑结构且自主体之间交换的信息是经过概率量化的分布式多自主体优化问题。得到一个与量化精度和网络连接度有关的关于收敛速率的上界。当步长固定时,该上界可保证网络中的每个自主体的状态值收敛到最优解附近。 展开更多
关键词 多自主体系统 一致性算法 次梯度方法 概率量化
下载PDF
基于相对状态符号信息的分布式优化算法 被引量:2
18
作者 张家绮 游科友 《南京信息工程大学学报(自然科学版)》 CAS 2018年第6期647-657,773,774,共13页
针对网络化多智能体的分布式优化问题,本文讨论一种只利用邻居相对状态的符号信息的分布式算法.该算法不要求与图相关的权重矩阵是双随机矩阵.首先利用优化理论中的惩罚函数法解释该算法,然后分析算法在静态图上的收敛性以及收敛速度.... 针对网络化多智能体的分布式优化问题,本文讨论一种只利用邻居相对状态的符号信息的分布式算法.该算法不要求与图相关的权重矩阵是双随机矩阵.首先利用优化理论中的惩罚函数法解释该算法,然后分析算法在静态图上的收敛性以及收敛速度.与现有使用邻居相对状态的完整信息的分布式梯度下降算法相比,所提算法的收敛速度并没有本质上降低.另一方面,将所提算法扩展到确定性和随机性的时变图上,并给出相应的收敛性结论.最后,通过数值仿真实验验证算法的有效性. 展开更多
关键词 分布式优化 多智能体网络 相对状态符号 惩罚函数法 次梯度方法
下载PDF
Nonsmooth Optimization Approaches to VDA of Models with on/ off Parameterizations: Theoretical Issues 被引量:14
19
作者 朱江 Masafumi +1 位作者 Kamachi 周广庆 《Advances in Atmospheric Sciences》 SCIE CAS CSCD 2002年第3期405-424,共20页
时间、空间上离散的模式如果含有带开关的参数化物理过程,某些对应的变分同化问题可以看成为非光滑优化问题.本文系统地讨论了与此相关的几个理论问题.首先,利用次梯度这个非光滑优化中的基本概念可以对通常的伴随方程的解进行清楚的解... 时间、空间上离散的模式如果含有带开关的参数化物理过程,某些对应的变分同化问题可以看成为非光滑优化问题.本文系统地讨论了与此相关的几个理论问题.首先,利用次梯度这个非光滑优化中的基本概念可以对通常的伴随方程的解进行清楚的解释和定义.利用一个带对流调整的多层扩散模式,演示了通常的伴随方程的解在奇异点处不是由代价函数的Gateaux导数构成,而是代价函数的一个次梯度.其次,在非光滑优化的框架下对现有的解决这类问题的方法进行了评述.这些方法包括:(1)利用光滑优化方法和通常的伴随模式,并且讨论了这个方法的收敛条件;(2)正则化方法.这个方法是把模式中不光滑的项用光滑的项近似,以把问题变为光滑优化问题.(3)次梯度方法.这个方法利用通常的伴随模式来计算一个次梯度,是收敛的算法,不过收敛速度很慢.(4)非光滑优化中的Bundle方法.这个方法比次梯度方法收敛得快,不过需要利用所有的次梯度信息.由于计算所有的次梯度十分困难,现有的Bundle方法大都进行了一些改变,仅需要用户能够计算出一个次梯度.不过这个改变是无奈的,多个次梯度的信息可以提高Bundle方法的效率.本文最主要的工作是提出了集值伴随方程的概念.集值伴随模式可以在奇异点处计算出所有支撑次梯度,因此利用集值伴随方程有可能提出基于Bundle方法的更好算法. 展开更多
关键词 变分资料同化 非光滑优化 集值伴随模式 正则化方法 Bundle方法 次梯度方法
下载PDF
ROBUST ACOUSTIC SOURCE LOCALIZATION FOR DIGITAL HEARING AIDS IN NOISE AND REVERBERANT ENVIRONMENT 被引量:1
20
作者 赵立业 李宏生 《Transactions of Nanjing University of Aeronautics and Astronautics》 EI 2010年第2期176-182,共7页
A new method in digital hearing aids to adaptively localize the speech source in noise and reverberant environment is proposed. Based on the room reverberant model and the multichannel adaptive eigenvalue decompositi... A new method in digital hearing aids to adaptively localize the speech source in noise and reverberant environment is proposed. Based on the room reverberant model and the multichannel adaptive eigenvalue decomposition (MCAED) algorithm, the proposed method can iteratively estimate impulse response coefficients between the speech source and microphones by the adaptive subgradient projection method. Then, it acquires the time delays of microphone pairs, and calculates the source position by the geometric method. Compared with the traditional normal least mean square (NLMS) algorithm, the adaptive subgradient projection method achieves faster and more accurate convergence in a low signal-to-noise ratio (SNR) environment. Simulations for glasses digital hearing aids with four-component square array demonstrate the robust performance of the proposed method. 展开更多
关键词 hearing aids acoustic source localization multichannel adaptive eigenvalue decomposition (MCAED) algorithms adaptive subgradient projection method
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部