基于可缩放hinge损失的支持向量数据描述

支持向量数据描述(SVDD)极易受到异常值的影响,导致其鲁棒性不佳.利用可缩放的hinge损失函数,提出一种新的支持向量数据描述方法(RH-SVDD).将有界可缩放的hinge损失作为松弛变量构建超球模型;通过共轭函数理论将超球模型转化为凸优化问题;利用半二次优化技术迭代求解凸优化问题,并在迭代过程中实现权重更新,从而削弱异常值的影响,提升鲁棒性.实验结果表明,提出的RH-SVDD在分类任务中具有更好的性能优势.

基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.

平滑削边绝对偏离惩罚截断Hinge损失支持向量机的财务危机预报

针对传统支持向量机(SVM)分类存在对离群点敏感、支持向量(SV)个数多和分类面参数非稀疏的问题,提出了平滑削边绝对偏离(SCAD)惩罚截断Hinge损失SVM(SCAD-TSVM)算法,并将其用于构建财务预警模型,同时就该模型的求解设计了一个迭代更新算法。结合沪深股市A股制造业上市公司的财务数据进行实证分析,同时对比L1范数惩罚SVM、SCAD惩罚SVM和截断Hinge损失SVM(TSVM)构建的T-2和T-3模型,结果发现SCAD-TSVM构建的T-2和T-3模型都具有最好的稀疏性和最高的预报精度,而且其在不同训练样本数上的平均预测准确率都要比L1范数SVM(L1-SVM)、SCAD-SVM和TSVM算法的高。

基于Hinge损失函数的垂向全变差约束全波形反演

全波形反演可以为叠前深度偏移成像提供更高精度的速度模型,但该方法具有较强的非线性,对初始速度模型的依赖性较强,尤其是在实际应用中,地质条件复杂多变,速度变化不连续,增加了反演非线性程度,常常使反演陷入局部极小值,影响反演的精度.全变差约束在图像去噪领域应用广泛,属于非光滑约束,在去噪过程中能有效的保留图像的不连续界面和边缘信息.本文提出基于Hinge损失函数的垂向全变差约束全波形反演方法,在全变差约束的基础上,利用Hinge损失函数控制模型的更新方向,并使用原-对偶混合梯度算法进行求解,给出这一优化问题的迭代格式,有效提高了对地下不连续界面的重构精度,同时也降低反演对初始速度模型的依赖程度.数值算例证明:与常规全波形反演方法相比,基于全变差约束的全波形反演方法可以有效的重构速度模型中的不连续界面,尤其对高速体边缘的重构效果更明显,但该方法对初始速度模型的依赖性仍然较强;基于Hinge损失函数的垂向全变差约束全波形反演方法降低了对初始速度模型的依赖程度,可以从一个较差的初始模型通过循环迭代的方式最终得到同样精确的速度模型,较好的重构了高速体边缘和不连续界面.

一种求解截断Hinge损失的软阈值坐标下降算法

有效地减少支持向量数目能够提高分类器的鲁棒性和精确性,缩短支持向量机(support vector machine,SVM)的训练和测试时间.在众多稀疏算法中,截断Hinge损失方法可以显著降低支持向量的数目,但却导致了非凸优化问题.一些研究者使用CCCP(concave-convex procedure)方法将非凸问题转化为多阶段凸问题求解,不仅增加了额外计算量,而且只能得到局部最优解.为了弥补上述不足,提出了一种基于CCCP的软阈值坐标下降算法.用坐标下降方法求解CCCP子阶段凸问题,提高计算效率;对偶SVM中引入软阈值投影技巧,能够减少更多的支持向量数目,同时选择合适的正则化参数可消除局部最优解的不良影响,提高分类器的分类精度.仿真数据库、UCI数据库和大规模真实数据库的实验证实了所提算法正确性和有效性.

基于Rescaled Hinge损失函数的多子支持向量机

针对多分类学习模型性能会受异常值影响的问题,提出基于Rescaled Hinge损失函数的多子支持向量机(RHMBSVM)。首先,该方法通过引入有界、非凸的Rescaled Hinge损失函数来构建相应的优化问题;然后,利用共轭函数理论将优化问题作等价变换;最后,使用变量交替策略形成一个迭代算法来求解非凸优化问题,该方法在求解的过程中可自动调节每个样本点的惩罚权重,从而削弱了异常值对K个超平面的影响,增强了鲁棒性。使用5折交叉验证的方法进行数值实验,实验结果表明,在数据集无异常值的情况下,该方法的正确率比多子支持向量机(MBSVM)提升了1.11个百分点,比基于Rescaled Hinge损失函数的鲁棒支持向量机(RSVM-RHHQ)提升了0.74个百分点;在数据集有异常值的情况下,该方法的正确率比MBSVM提升了2.10个百分点,比RSVM-RHHQ提升了1.47个百分点。实验结果证明了所提方法在解决有异常值的多分类问题上的鲁棒性。

求解大规模非凸优化问题的多阶段MM方法

机器学习的主要目的是让计算机系统具有类似于人的学习能力,而数值优化方法对提高其效率,增强其效果有着举足轻重的作用。在L1-SVM优化问题中,可以利用截断Hinge损失剔除过多的支持向量,提高模型的鲁棒性。但却导致了棘手的非凸优化问题。MM(Majorization-Minimization,MM)是一种求解非凸问题的有效框架,主要思想是通过寻找一系列恰当的凸上界,将非凸目标函数转化为一系列凸的子问题进行求解。常用于求解非凸问题的凸凹转化算法(Con⁃cave-Convex Procedure,CCCP)同属这一框架。论文分析了求解截断L1-SVM问题的CCCP算法具有稀疏支持向量的原因,并在此基础上,利用多阶段策略的优点,提出一种多阶段MM方法,得到了更好的稀疏性。最后在大规模数据集上,进行了实验对比,验证了所提算法的有效性。