一类凸优化的加速混合下降算法

凸优化问题的混合下降算法利用近似条件的已知信息和随机数扩张预测校正步得到了一组下降方向.而前向加速收缩算法利用高斯赛德尔迭代算法的技术,结合邻近点算法和近似邻近点算法的思想,构造了富有扩张性的下降方向.本文借鉴混合下降算法和前向加速收缩算法的思想,利用已有近似规则信息改善了混合下降算法的下降方向,得到了一类凸优化问题的加速混合下降算法.随后利用Markov不等式、凸函数性质和投影的基本性质等,实现了算法的依概率收敛证明.一系列数值试验表明了加速混合下降算法的有效性和效率性.

一类凸优化的混合下降算法

邻近点算法(PPA)是一类求解凸优化问题的经典算法,但往往需要精确求解隐式子问题,于是近似邻近点算法(APPA)在满足一定的近似规则下非精确求解PPA的子问题,降低了求解难度.本文利用近似规则的历史信息和随机数扩张预测校正步产牛了两个方向,通过随机数组合两个方向获得了一类凸优化的混合下降算法.在近似规则满足的情况下,给出了混合下降算法的收敛性证明.一系列的数值试验表明了混合下降算法的有效性和效率性.

一种基于混合误差梯度下降算法的过程神经网络训练

针对过程神经网络(PNN)单一训练算法自适应调整能力差、缺乏对学习性质有效控制的问题,提出一种梯度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法.在训练初始阶段,基于网络训练目标函数,采用梯度下降法进行迭代寻优,只需计算目标函数一阶导数数值公式,复杂度低且误差下降快;当梯度下降法学习效率降低时,引入牛顿迭代法,并将梯度下降法的训练结果作为初始参数代入目标函数,使问题转化为求解非线性方程组,不需要一维搜索而提高网络训练效率.通过学习效率分析自适应调节两种算法的切换,直至满足停机条件.将其应用于时变信号模式分类,实验结果表明,该算法较大地提高PNN训练效率.

一类变分不等式解的混合最速下降算法

证明了定义于严格伪压缩映像不动点集上的变分不等式解的混合最速下降算法的强收敛性,推广了Yama-da的相关结果。

一个求解二次无约束大型病态问题的混合-下降算法

从最速下降法在求解病态优化问题时常会出现"锯齿"现象,且所得解严重失真这一问题出发,利用微分方程数值积分求解所建立的常微分方程自治系统初值问题得到的解作为最速下降法的经过改进的可接收初始点,并与最速下降法结合得到一个求解二次无约束病态问题的混合-下降算法.算法具有全局收敛性.初步数值实验表明,将算法运用于1 000阶Hilbert矩阵所构成的二次无约束大型病态问题,能够求得具有3位有效数字的解,说明新算法具有良好的稳定性及较强的抗病态能力.