融合非线性收敛因子与变异准反射学习的哈里斯鹰优化算法

针对哈里斯鹰优化算法(Harris Hawks optimization,HHO)易早熟收敛、寻优精度低、收敛速度慢等问题,提出一种融合非线性收敛因子与变异准反射学习的哈里斯鹰优化算法(improved Harris Hawks optimization,IHHO)。首先,初始化阶段引入Circle混沌映射,提高初始化种群多样性和种群位置质量;其次,引入Sigmoid非线性收敛因子,平衡全局探索和局部开发能力;最后,针对HHO算法易陷入局部最优问题,提出变异准反射学习(quasi-reflection-based learning,QRBL)策略,提高种群活力,进一步提高算法局部收敛能力。仿真实验采用13个标准测试函数和1个经典工程问题对改进算法进行测试,结果表明改进算法收敛精度、收敛速度均有较大提高,适用于解决实际问题。

R-线性收敛的重要样本抽样随机梯度下降算法

针对机器学习中一类有限光滑凸函数和的最小化问题,提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合,从而可以充分发挥两种方法的优势。另外,初始步长可以任意选取,且步长在算法运行中可以自适应地计算更新。此外,新算法使用了重要样本抽样方法,可以大大减少计算工作量。最后,在通常的假设条件下证明了新算法具有R-线性收敛速度,并给出了复杂度分析。数值实验验证了新算法是可行有效的。

前馈网络的一种超线性收敛BP学习算法

分析传统 BP算法存在的缺点 ,并针对这些缺点提出一种改进的 BP学习算法 .证明该算法在一定条件下是超线性收敛的 ,并且该算法能够克服传统 BP算法的某些弊端 ,算法的计算复杂度与简单 BP算法是同阶的 .实验结果说明这种改进的 BP算法是高效的、可行的 .

一类全局收敛的记忆梯度法及其线性收敛性

本文研究一类新的解无约束最优化问题的记忆梯度法,在强Wolfe线性搜索下证明了其全局收敛性．当目标函数为一致凸函数时,对其线性收敛速率进行了分析．数值试验表明算法是很有效的．

求解最小体积轴向椭球问题的线性收敛算法

通过定义求解最小体积轴向椭球问题的两个近似最优性条件,计算满足第二个近似最优性条件的一个新的近似解,给出一种求解最小体积轴向椭球问题的近似算法,并证明了算法具有线性收敛性.实验结果证实了算法的有效性.

超记忆梯度算法的线性收敛速度

证明了时贞军提出的超记忆梯度算法在一定条件下具有线性收敛速度。

非线性优化的广义投影变尺度算法及超线性收敛性

结合罚函数法的思想,提出一种初始点任意的广义投影变尺度算法求解非线性等式和不等式约束优化问题,克服了Maratos效应的校正方向自动产生显式表达式,并在适当的条件下证明了算法是全局收敛的,且具有超线性收敛性.实验结果表明算法有效.

一种新修正拟牛顿法的超线性收敛性

拟牛顿法是无约束极小化中最有效的算法之一 .通过讨论一种基于新拟牛顿方程的修正拟牛顿法 。

一个超线性收敛的广义投影序列方程组算法

讨论了非线性不等式约束最优化问题．在较温和的条件下，采用广义投影和序列线性方程组相结合的技术，建立一个新的可行下降算法，证明了算法的全局收敛性和超线性收敛性．

等式约束优化问题SQP算法的超线性收敛充要条件

对于等式约束问题,Boggs,Tolle和Wang三人将Dennis,Moré的求解无约束优化问题的类似结果加以推广,得到了SQP算法超线性收敛的一个极为重要的充要条件。许多研究学者又作了的改进,进一步减弱假设条件,得到了同样的等式约束问题的SQP算法超线性收敛的充要条件。

超线性收敛可行方法的研究进展Ⅰ:SQP类方法(英文)

非线性约束最优化的超线性收敛可行方法是一个具有重要理论意义和实用价值的研究方向。最近该方向得到广泛而深入的研究 ,获得一系列新的研究成果 ,如 SQP类方法、序列线性方程组类方法和显式搜索方向类方法。本文介绍可行 SQP类方法的最近研究成果 ,并采用一个拓广的 SQP模型统一分析各种算法的超线性收敛性。

初始点任意的超线性收敛次可行方向法

给出非线性不等式约束最优化问题的一个超线性收敛算法。方法的特点是:(1)初始点可任驭,每次迭代至多解两个二次规划;(2)一旦迭代点进入可行域,方法将成为可行方向法;(3)给出了罚参数的调整方法,且在适当条件下,罚参数在有限次调整后可固定不变。

非线性等式与不等式约束最优化二阶与超线性收敛的序列线性方程组算法

讨论非线性等式与不等式约束最优化问题,建立了问题的似Newton和拟Newton算法。算法的特点之一是搜索方向d_k仅由一个线性方程组的解确定,步长恒取1,即x_(k+1)=x_k+d_k。另一特点是在没有严格互补的较温和的假设下,算法是二阶与超线性收敛的。本文推广了Facchinei,Lucidi,Boggs,Tolle,Wang等人的算法和收敛性结果。

基于新拟牛顿方程的一类超线性收敛的改进BFGS算法

针对无约束最优化问题,在已建立的一类新拟牛顿方程的基础上,把满足于传统拟牛顿方程的一类改进BFGS算法推广到新拟牛顿方程,从而得到一类基于新拟牛顿方程的改进BFGS算法.证明该算法在目标函数为一致凸时具有局部超线性收敛性.

一类修正BFGS算法的局部超线性收敛性

基于Hiroshi Yabe提出的新拟牛顿方程,给出了一类更广泛的修正BFGS算法(MBFGS算法),并在一定的假设条件下,结合Wolfe搜索准则,证明了MBFGS算法具有局部超线性收敛性.数值试验结果表明,对于一般无约束优化,MBFGS算法是正确和有效的.

广义投影型的超线性收敛算法

该文利用矩阵分解与广义投影等技巧，给出了求解线性约束的非线性规划的一个广义投影型的超线性收敛算法，不需要δ－主动约束与每一步反复计算投影矩阵，避免了计算的数值不稳定性，利用矩阵求逆的递推公式，计算简便，由于采用了非精确搜索，算法实用可行，文中证明了算法具有收敛性及超线性的收敛速度．

非线性规划的一个超线性收敛算法

本文利用系列二次规划技术,给出非线性规划问题min{f(x)lA_1x=b^1,A_2x=b^2}的一种可行方向法。在一定的假设下证明了算法的全局收敛性和超线性收敛速度。

一类超线性收敛的投影非拟牛顿算法

本文将梯度投影与非拟牛顿法相结合 ,给出了一类求解线性约束非线性规划问题的新算法 .在一定的条件下 。

差商变尺度法的超线性收敛性

在文[1]的基础上,本文继续研究差商变尺度法的收敛性质,从文[1]的整体收敛性出发,进一步探讨了差商变尺度法的超线性收敛的特征,同时给出了保证超线性收敛的差商步长条件。

一个新的SQP方法及其超线性收敛性

由Ｗｉｌｓｏｎ，Ｈａｎ，Ｐｏｗｅｌｌ发展的ＳＱＰ技术是解非线性规划的最有效的方法之一，但是，如果其中的二次子规划问题无可行解或者其搜索方向向量无界，该方法ａｎ和Ｂｕｒｋｅ「３」，周广路「２」分别对二次规划问题作了修正，克服了上述矛盾，本文在「２」的基础上，进上步修正，证明在Ａｒｍｉｊｏ搜索下算法具有全局收敛性，并通过解一辅助线性方程组，利用弧式搜索，得出该方法具有超线性收敛性。