一种基于Comid的非光滑损失随机坐标下降方法

坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法求解随机挑选单变量子问题的基础上,提出了一种新的关于非光滑损失的随机坐标下降方法.理论分析表明本文所提出的算法在一般凸条件下可以得到Ο(t-(1/2)/t)的收敛速度,在强凸条件下可以得到Ο(lnt/t)的收敛速度.实验结果表明本文所提出的算法对正则化Hinge损失问题实现了坐标优化预期的效果.

混合互补问题的一个可行下降方法

利用一个非光滑函数和对指标集分割的方法,把混合互补问题转化为一个等价的方程组,利用光滑的势函数求解此问题.给出了一个可行下降算法,并证明了算法的收敛性.

基于拟下降方法的遗传算法及其收敛性

在遗传算法中嵌入一个传统下降算子,且保留最好个体,利用最好个体的记忆信息对搜索过程进行指导,从而得到既有较快收敛速度,又能以较大概率得到全局极值的用于函数全局优化的混合算法.定义了适当的适应度函数和子代个体的选择算子,且从拟下降观点证明了算法的收敛性.数值计算结果表明了本算法显著优于遗传算法和传统下降算法.

基于监督下降方法的左心室超声图像分割

针对基于表观模型的图像分割算法在特征点迭代定位过程中计算量过大、对非线性局部特征的优化较为困难等问题,采用一种基于监督学习的梯度下降算法,建立4层多分辨率金字塔模型,并使用一种基于巴氏系数的特征提取函数(B-SIFT)替代原方法中的尺度不变特征变换(SIFT)特征,对左心室心内膜及心外膜进行特征点定位。首先对训练集进行归一化处理,统一经食道超声心动图像(TEE)的尺度;然后建立基于多分辨率金字塔和B-SIFT特征的监督下降模型,得到特征点趋近于真实值的梯度下降方向序列;最后将得到的方向序列作用于测试集中,得到最终的左心室分割结果。将该方法与传统监督下降方法进行对比,其得到的分割平均误差相比传统监督下降方法降低了47%,迭代得到的最终值相对单一尺度的梯度下降算法更加逼近真实值。

自适应监督下降方法的姿态鲁棒人脸对齐算法

人脸对齐是人脸分析处理中的重要一步。由于现实中的人脸照片通常在姿态、光线等方面存在较大的差异,人脸对齐是一项艰巨的任务。初始关键点的位置以及特征提取对人脸对齐很重要。提出一种自适应监督下降方法(SDM)的姿态鲁棒人脸对齐算法。首先,为了减小姿态差异对人脸对齐的影响,使用聚类算法将图片按照姿态分成三类(正脸,左侧脸,右侧脸),这样每个类别下的姿态更加紧致。其次,考虑到人脸对齐是由粗到细的多阶段监督学习过程,采用自适应特征提取框(由大到小)来提取判别性特征。基于上述两种策略,在每个类别下,提供一个更好的初始关键点位置,通过自适应特征提取的SDM模型来进行回归模型的训练。选用LFPW、HELEN和300W数据集进行评估,实验结果表明,该模型在复杂姿态下能准确定位关键点,并且好于现有的人脸对齐算法。

无重复析因试验中位置效应分析的下降方法

本文介绍了在效应稀疏性的前提下无重复析因试验中位置效应分析的下降Lenth方法,并建立了下降Dong方法,最后对它们作了模拟比较。

非线性互补问题的一种改进Derivative-free下降方法

提出了一种改进的用于求解非线性互补问题Derivative-free下降方法,其搜索方向为罚Fischer-Burmeister函数非负偏导数的凸组合,搜索策略为一类新的非单调搜索。证明了该算法具有全局收敛性,与传统的Derivative-free下降方法相比,提高了收敛速率,减少了迭代次数。

非对称弦测法中基于梯度下降的轨道不平顺复原方法

本研究提出了一种基于梯度下降的轨道不平顺复原方法。基于非对称弦测法理论,轨道不平顺的复原过程可描述为一个欠定线性系统的优化问题。本文提出采用梯度下降法求解该优化问题,采用了考虑正则项的二次型代价函数。为了评估所提出方法的性能,本研究搭建了一个轨道检测小车,并在一个缩尺桥梁模型上进行了现场试验。通过与水准仪测量值的比较,验证了基于梯度下降轨道不平顺复原方法具有良好精度。与传统的需要专门设计逆滤波器的轨道不平顺复原方法相比,本研究所提出的方法物理意义明确,只需基于非对称弦测法原理建立优化模型,这表明本方法在现场实测中具有良好的可操作性。此外,重复性评估表明,在调整不同的弦长以及多次重复测量时,本研究所提出的方法可复现一致的轨道不平顺结果,表明该方法具有良好的测量重复性。本研究所提出的方法可对轨道不平顺进行准确复原,为轨道平顺性状态及时有效评估提供数据支撑,进而保证列车运行的平稳与安全。

一种基于GA和梯度下降法的快速模糊系统学习方法

分析了现有模糊系统的两类主要的学习算法存在的缺陷。针对半梯形和三角形隶属度函数，提出了一种保证隶属度函数ε－完备性的方法。实现了一种新的基于遗传算法和梯度下降方法的快速模糊系统学习算法。通过实例进行了模拟，验证了该方法的高效性，以及保证隶属度函数完备性和模糊集合语义一致性的优点。

代数和对数奇异Fourier积分的最速下降方法

针对有限和半无限区间上包含代数和对数奇异因子的振荡型Fourier积分,通过改变积分路径,将振荡因子变换为复平面上的快速衰减因子,使得积分不再振荡。对于转换后无穷区间上的奇异积分,可以使用修正的Gauss-Legendre求积方法高效计算,数值算例验证了理论分析的正确性和方法的高精度。

求解一类投资组合问题的鲁棒镜像下降SA方法

随着经济的发展,投资组合越来越受到人们的关注,其主要研究如何在风险范围确定的情况下设计合理的优化方案,可以帮助投资者获得最多的利润.然而在实际投资问题中,许多不确定因素会影响投资收益,如何选取有效的投资组合方案规避一些不确定因素的影响很关键.因此在投资组合模型中引入随机变量来处理可以得到有效的投资方案.目前,对含有随机变量的投资组合问题的求解方法有很多,使用鲁棒镜像下降SA方法(简称RMDSA)去求解这一问题,并对所用的方法做出收敛性分析,说明其有效性.

检测激光多普勒信号的新方法

为了准确地检测激光多普勒信号,提出了一种新的信号检测方法。在算法中应用梯度下降方法推导出算法的系统方程,并且应用庞加莱映射稳定原理给出系统稳定的存在条件。应用该算法能够检测激光多普勒信号,估计多普勒频移。测试结果表明,测出数据的相对误差小于0.7%。

求解大规模SCAD回归问题的随机坐标下降算法研究

回归方法是重要的数据分析工具。带平滑削边绝对偏离(smoothly clipped absolute deviation, SCAD)正则项的回归问题,以其在处理高维数据中的近似无偏性(见Fan和Li,2001),在大数据分析中得到广泛应用。但在大数据背景下,待求解的SCAD回归问题的数据量往往很大,而且分布在不同地理位置,这使得在SCAD回归问题的求解算法设计中,需要重新考虑计算的内存使用量。常规用于求解SCAD回归问题的优化算法(LQA、LLA、ADMM等)往往需要在每一次迭代中更新全部变量,从而造成计算的内存需求很大,难以适应大数据的求解要求。随机坐标下降方法(stochastic coordinate descent, SCD)以其子问题运算内存需求小(见Nesterov,2012)的优势,在大规模分布式最优化问题中得到了广泛的应用。但目前理论上SCD算法仅能处理带凸惩罚项的回归问题,由于SCAD回归问题中惩罚项的非凸非光滑性,现有的随机坐标下降方法难以处理这一问题。首先对SCAD回归问题模型进行分析,得出SCAD回归模型的损失函数是导数Lipschitz、惩罚函数是semi-convex的,此外根据已有结论,得到SCAD回归问题的稳定点即可保证良好的统计性质。基于这些性质的分析,介绍了一种新的随机坐标下降方法(variable bregman stochastic coordinate descent, VBSCD),这一方法能很好求解带SCAD惩罚项的回归问题,算法的收敛点是SCAD回归模型的稳定点。最后,通过计算实验进一步说明本算法在求解SCAD回归问题的有效性。对不同的变量分组数,算法迭代到稳定点所需的迭代回合数相对稳定。随着变量分块数的增加,单次迭代中计算的内存需求减少。该研究方法可广泛应用于大数据背景下SCAD回归问题的求解当中。

一般变分不等式的一个新的下降投影算法(英文)

本文运用辅助问题原理,给出一般变分不等式一个新的投影下降算法,并证明在伪单调条件下,算法是收敛的.

改进的混合下降法在麦克风阵列设计中的应用

在波束形成器设计中,由于麦克风阵列定位优化过程中的非凸性问题,传统的局部搜索技术可能不会产生最优的结果。为了解决这一问题,提出了一种联合遗传算法和梯度方法的混合下降法。通过使用梯度方法在启动点附近迅速找到最优解决方案,同时利用遗传算法避免了局部最小化,从而促进寻找更好的波束形成器设计的最优位置。实验结果表明,与其他几种常用的定位方法相比,使用混合下降方法确定的位置所设计出的波束形成器性能更好。

基于遗传算法的函数优化拟下降算法

在传统优化算法中嵌入一拟下降步，改善了算法的收敛性质；用遗传算法计算拟下降步，提高了算法的全局搜索能力，又不改变原算法的收敛性．数值计算结果表明，所提出的算法结合了遗传算法和传统算法的优点，是一种可行的解决函数优化问题的混合算法．

一种改进RBF神经网络的机器人轨迹规划方法

在应用径向基函数RBF(Radial Basis Function)神经网络对机器人进行轨迹规划时,为解决一般学习算法中收敛速度慢、学习精度不高的问题,提出一种混合学习算法。该方法根据轨迹规划的具体要求,用最近邻聚类算法确定网络的结构和参数,通过在学习速率中加入自适应学习因子调整网络参数,以加快收敛速度。通过MATLAB软件进行仿真,结果表明混合学习算法收敛速度较快,逼近误差小,从而证明了该算法的可行性。

求解大型线性最小二乘问题的贪婪Gauss-Seidel方法

基于一种选择系数矩阵A的工作列的策略,提出了求解大型线性最小二乘问题的一种不同的贪婪Gauss-Seidel方法,并对该方法进行了收敛性分析。数值实验表明,在相同的精度下,所提方法在计算时间上优于文献提出的贪婪随机坐标下降方法。

一种修正的DFP方法

本文在DFP方法中引入了一种修正步骤。修正后的算法在没有凸性的假设下也是收敛的。

结合监督下降优化和显著性的人像质量检测

针对已有社保人像采集系统缺少图像内容智能分析所导致的制卡失败问题,提出了人像质量智能检测算法.首先采用监督下降优化方法算法检测出人脸特征点,然后根据社保人像标准进行尺寸分析.最后采用显著性方法进行背景检测,判断背景是否合格.实验结果表明:该算法可以自动检测出质量不合格照片,解决了上传图像质量太差导致制卡失败问题.另外,结合JNI技术和MVC设计模式完成了该算法和社保业务系统的集成.