一类求解非凸无约束优化问题的改进L-BFGS方法

针对传统有限记忆BFGS(Limited-memory BFGS,L-BFGS)方法在求解非凸函数极小值问题时不一定全局收敛的问题,从非凸目标函数的曲率信息和方法的全局收敛性考虑,提出了一种新的带参迭代方程,并用该方程修正了L-BFGS算法;最后,对改进算法(L-MBFGS)进行了收敛性证明及数值实验验证。理论分析表明:该方法对于一般函数(可能非凸)既保证了Hessian矩阵的正定性,又具有充分下降性和全局收敛性。数值实验结果表明:相同数据规模下,L-MBFGS方法在Wood测试函数中的最优值可优于标准L-BFGS方法 1个数量级,优于ML-BFGS相似方法 2个数量级;在Dixon测试函数中的计算效率也明显优于L-BFGS方法和ML-BFGS相似方法。

无约束优化的自适应信赖域方法(英文)

本文对无约束优化问题提出一个自适应信赖域方法，每次迭代都充分利用当前迭代点的信息自动产生一个恰当的信赖域半径，在此区域内，二次模型与原目标函数尽可能一致，避免盲目的尝试，提高了计算效率．文中在通常条件下证明了全局收敛性及局部超线性收敛结果，给出了新算法与传统信赖域方法的数值结果，证实了新方法的有效性．

包含共轭下降法的一类无约束优化方法的全局收敛性

共轭下降法是由 Fletcher( 1 987)提出的一个共轭梯度法。提出了包含共轭下降法的一类无约束优化方法 ,并采用 Dai Yuhong和 Yuan Yaxiang( 1 996)建立的一个非精确线搜索模型 ,给出了保证这类方法具有下降性和全局收敛性的搜索条件。文中得到的有关共轭下降法的收敛条件与 DaiYuhong和 Yuan Yaxiang( 1 996)

求解一类无约束优化的混合遗传算法

目的求解一类无约束优化问题。方法结合传统优化算法局部寻优能力强、收敛速度快,而遗传算法在搜索过程中不易陷入局部最优的两种算法的特点,给出了一种基于最速下降法的混合遗传算法。结果算例表明所设计的算法是有效的。结论算法可以提高局部搜索能力,提高解的精确度,搜索速度。

基于BP神经网络的无约束优化方法

针对具有黑箱特性的无约束优化问题,在BP神经网络函数拟合的基础上,提出基于双曲正切传递函数BP神经网络的无约束优化方法。文章以网络输出极小化数学模型为例,阐述了无约束优化方法的基本思路,推导了网络的输出对输入的一阶导数(梯度),给出了初始试验步长计算公式和优化方法的终止准则,在此基础上,阐述了优化方法的实现流程。最后,将优化方法应用到两个典型的无约束优化问题进行示例验证,优化结果表明该方法是解决黑箱优化问题的一种稳定可行算法。

求解无约束优化问题的类电磁机制算法

针对标准类电磁机制算法中电荷溢出和参数敏感的问题,提出了新的电荷计算公式;基于电磁场中的吸引-排斥原理,引导粒子沿着合力方向向较优的区域移动;为提高算法的局部搜索能力,结合邻域搜索技术来改进种群中的粒子.在此基础上,提出了求解无约束优化问题的类电磁机制算法.理论分析表明新算法以概率1收敛到问题的ε-最优解集.对28个标准测试函数进行了仿真实验,并和已有算法对比,结果表明新算法具有收敛快、求解性能好的优点.

无约束优化的超记忆梯度法及其全局收敛性

提出一类新的求解无约束优化问题的超记忆梯度法,并在较弱条件下证明了算法的全局收敛性.当目标函数为一致凸函数时,对其线性收敛速度进行了分析.

解无约束优化问题的新的两点步长梯度方法(英文)

给出一个两点步长梯度方法,其将与一个新的非单调线搜索技术相结合.此方法在目标函数不需要李普希子连续的条件下拥有全局收敛性.

求解无约束优化问题的知识进化算法及其收敛性分析

针对传统方法的随机盲目性和易陷入局部最优值等缺陷,提出一种求解无约束优化问题的知识进化算法(简称为UOP-KEA),并对算法的全局收敛性进行了分析.该算法的主要思想是:首先建立初始知识库,然后利用传承算子来实现对优秀知识个体的传承,利用创新算子来产生新的知识个体,利用更新算子来更新知识库,从而实现知识的进化,最后从知识库的最优知识个体中获取问题的最优解.将该算法应用于无约束非线性测试函数的最小值优化求解,获得了成功的结果.与遗传算法相比,该算法可以使用较小的种群规模,以较快的速度寻找到全局最优解,表明了它的可行性和有效性.

一个求解无约束优化问题的填充函数算法

填充函数法是求解无约束全局优化问题的一种方法,这种方法的关键是构造具有良好性质的填充函数.基于填充函数定义与性质的基本要求,构造了一个新的求解无约束全局优化问题的单参数填充函数.该函数形式简单,便于计算,并建立了相应的填充函数算法.最后,进行了数值试验,结果表明,该算法是有效的.

限制速度粒子群优化和自适应速度粒子群优化在无约束优化问题中的应用

限制速度粒子群优化(RVPSO)和自适应速度粒子群优化(SAVPSO)是近年来提出的专门求解约束优化问题(COP)的粒子群优化算法,但目前尚无两算法在无约束优化应用方面的研究。为此,研究上述算法在无约束优化中的有效性和性能特点,并针对算法保守性较强的特点,分别引入混沌因子和随机优化策略对算法进行改进,从而提高算法的全局搜索能力;另外,还研究了不同参数设置对算法性能的影响。在5个典型测试函数上的仿真实验结果表明:RVPSO改进算法的鲁棒性及全局搜索能力优于原算法,但在求解高维多峰函数时仍易于陷入局部最优;SAVPSO改进算法的全局搜索能力比RVPSO改进算法强,且在求解高维多峰函数时具有更快的收敛速度并能取得精度更高的解,表现出较好的全局优化能力,是一种切实有效的求解无约束优化问题的算法。

两类无约束优化的充分下降共轭梯度法

对无约束优化问题提出两类新的充分下降共轭梯度法.在每次迭代过程中,算法均可得到充分下降方向.在适当条件下,证明了算法的全局收敛性.数值结果表明算法可行、有效.

一类新的求解无约束优化问题的记忆梯度法

本文研究了无约束优化问题.利用当前和前面迭代点的信息产生下降方向以及Armijo线性搜索确定步长,得到了一类新的记忆梯度法.在较弱条件下证明了算法具有全局收敛性和线性收敛速率.数值试验表明算法是有效的.

一类无约束优化的修正共轭梯度法

针对无约束优化问题,提出一种新的充分下降共轭梯度法.该算法在每次迭代过程中,产生的搜索方向均为充分下降方向.在适当条件下,证明了算法的全局收敛性.数值结果表明算法是可行和有效的.

用无约束优化薄板样条实现平滑的医学图像弹性配准

医学图像弹性配准是医学图像处理的一个重要研究方向。目前采用的方法多是手动选择对应标记点 ,然后用薄板样条插值方法计算配准变换。由于对应点的选取总是存在误差 ,所以配准的准确性受到影响 ,而且手动选点操作繁杂、耗时大。为此 ,我们根据最优化理论 ,改进了薄板样条插值方法 ,并在此基础上采用了一种自动标记点选择方法。将这两者结合 ,我们得到了一种自动、准确、鲁棒性好的配准方法 ,运用此方法进行医学图像的弹性配准 。

大规模无约束优化的一族LBFGS类算法(英文)

尝试在有限存储类算法中利用目标函数值所提供的信息.首先利用插值条件构造了一个新的二次函数逼近目标函数,得到了一个新的弱割线方程,然后将此弱割线方程与袁[1]的弱割线方程相结合,给出了一族包括标准LBFGS的有限存储BFGS类算法,证明了这族算法的收敛性.从标准试验函数库CUTE中选择试验函数进行了数值试验,试验结果表明这族算法的数值表现都与标准LBFGS类似.

无约束优化问题的一种新的共轭梯度法(英文)

为了求解无约束优化问题,提出了一种新的共轭梯度法,并证明了其在适当的条件下满足全局收敛性.初步的数值结果表明新的共轭梯度法是有效的.

一种新的无约束优化线搜索算法

在对各种有效的线搜索算法分析的基础上,给出了一种求解光滑无约束优化问题的新的线搜索算法。对于目标函数是二次连续可微且下有界的无约束优化问题,算法具有与Wolfe-Powell线搜索算法相同的理论性质。在每一步迭代中算法至多需要计算两次梯度,对于计算目标函数梯度花费较大的情形可以节省一定的计算量。数值试验表明本文算法是可行的和有效的。

无约束优化的超记忆梯度算法

提出了一种无约束优化超记忆梯度算法 ,分析了算法的收敛性 ,并对算法进行了数值试验 ,结果表明算法比 Armijo搜索下的 FR和 PR共轭梯度法及 Cauchy方法有效 ,特别适于求解大规模无约束最优化问题。

求解无约束优化问题的改进布谷鸟搜索算法

布谷鸟搜索算法是一种基于种群迭代搜索的全局优化算法。为求解无约束优化问题,提出一种改进的布谷鸟搜索算法。利用混沌序列构造初始种群以增加群体的多样性,引入动态随机局部搜索技术对当前最优解进行局部搜索,以加快算法的收敛速度。对4个标准测试函数进行仿真实验,并与其他6种算法进行比较,结果表明,该算法具有较强的全局搜索能力和较快的收敛速度。