鲁棒的模糊最小二乘双参数间隔支持向量机算法

针对最小二乘双参数间隔支持向量机(LSTPMSVM)对噪声敏感且在分类过程中易受异常值影响的问题,提出了一种鲁棒的模糊最小二乘双参数间隔支持向量机算法(RFLSTPMSVM).该算法利用松弛变量的2范数使得优化问题具有强凸性,再根据隶属度为每个样本分配相应的权重,有效降低异常值带来的影响.同时,在目标函数中引入K-近邻加权,考虑样本之间的局部信息,提高模型的分类准确率.此外,通过求解简单的线性方程组来优化该算法,而不是求解二次规划问题,使模型具有较快的计算速度.在UCI(university of California irvine)数据集上对该算法进行性能评估,并与TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM 4种算法进行比较.数值实验结果表明,该算法具有更好的泛化性能.

鲁棒双参数化间隔支持向量机

针对不确定数据的二分类问题,提出了一种鲁棒双参数化间隔支持向量机。考虑样本是服从多元高斯分布,并给出了几种协方差矩阵的构造方式。提出的鲁棒双参数化间隔支持向量机通过处理一对较小规模的凸优化问题,寻找两个非平行的参数化间隔超平面,并针对优化问题设计了相应的随机梯度下降算法。当训练样本的方差趋近于零时,鲁棒双参数化间隔支持向量机可退化为传统的双参数化间隔支持向量机。数值实验结果表明,该方法具有较好的泛化性能。

双边界支持向量机的理论研究与分析

根据统计学习理论,间隔大小是反映泛化能力的一个很重要的方面.受一类支持向量机(SVM)的启发,提出的双边界SVM能分别用2个边界对2类问题分类.它能在保证分类正确的同时保证分类间隔的最大化,理论上分别从推广性能和不平衡类分布2方面证明了其优越性.标准数据集上的实验表明,双边界SVM得到的分类间隔要大于SVM,泛化性有了显著提高;另外,不平衡数据集上分析得到它对少数类识别率有明显提升.真实入侵数据测试结果表明,双边界SVM算法比边界样本选择算法的检测率高出2%以上.

正则双胞参数间隔支持向量回归机

双胞参数间隔支持向量机在模式识别上拥有优秀的分类能力。然而,原始的TPMSVM模型仅针对二分类问题,并不能处理回归学习任务。为此,文章提出了一种新的正则双胞参数间隔支持向量回归机模型(RTPMSVR)。RTPMSVR模型的最终回归输出函数是间接通过寻找一对最优的非平行上界和下界参数间隔函数来构建的。通过继承TPMSVM模型的损失函数,RTPMSVR模型分别为上界和下界的参数间隔函数构建二次规划优化模型。此外,为提高模型的泛化能力,引入额外的正则项,进而保障模型解的唯一性。根据对偶理论,构建模型求解的最优KKT条件,并将RTPMSVR模型的原问题转换为对偶问题来求解。最后,通过对比实验,验证了该方法的有效性。

光滑有下界的奖惩结合损失函数的最大间隔双球模型

在极度不平衡分类问题中,球形分类器将分类正确样本的损失计为零,仅使用误分样本构造决策函数.文中提出光滑有下界的奖惩结合损失函数,将分类正确样本的损失计为负,实现对目标函数的奖励,避免边界附近噪声的干扰.基于最大间隔双球面支持向量机,利用损失函数,建立奖惩结合的最大间隔双球模型.通过牛顿法构造两个同心球.小球体在覆盖多数类样本的同时抛弃多余的空隙.大球通过增加两个同心球之间的间隔,排除少数类.实验表明,文中模型分类效果较优.