基于L1-范数距离的最小二乘对支持向量机

最小二乘对支持向量机(LSTSVM)是一种有效的分类技术。然而,该方法需计算点到平面的平方L2-范数距离,从而易受野值或噪声的影响。为了缓解此问题,提出了一种有效的鲁棒LSTSVM方法,即基于L1-范数距离的LSTSVM(LSTSVM_(L1D))。该方法由于使用L1范数作为距离度量,因此不易受到野值或噪声数据的影响。此外,设计了一种有效的迭代算法,旨在求解目标问题,并从理论上证明了其收敛性。在人工数据集和UCI数据集上验证了LSTSVM_(L1D)的有效性。

基于L1范数凸包数据描述的多观测样本分类算法

为建立高维空间样本分布的最佳覆盖为目标来实现覆盖分类,该文提出基于L1范数凸包数据描述的多观测样本分类算法。首先对训练集的每个类别以及测试集的多观测样本分别构造凸包模型,这样多观测样本的分类就转化为凸包模型的相似性度量问题。若测试集的凸包模型与训练集无重叠,采用L1范数距离测度进行凸包模型之间的相似性度量;若有重叠,采用L1范数距离测度进行收缩凸包(reduced convex hulls)之间的相似性度量。然后采用最近邻准则作为多观测样本的分类决策。在3个数据库上进行的实验结果,表明该文提出方法对于多观测样本分类具有可行性和有效性。

基于有效迭代算法的鲁棒L1范数非平行近似支持向量机

针对鲁棒L1范数非平行近似支持向量机(L1-NPSVM)求解算法无法保证获取可靠解的问题,提出一个新颖的迭代算法来解L1-NPSVM的目标问题。首先,根据L1-NPSVM原目标问题对解具有规模不变性,将其转换为一个等价的带等式约束的最大化问题。该迭代算法在每次迭代中利用更新权机制获取每次迭代的更新解;每次迭代中,问题归结为解两个快速的线性方程问题。从理论上证明了算法的收敛性。在公共UCI数据集上,实验显示,所提算法不仅在分类性能上要远远好于L1-NPSVM,且具有相当的计算优势。

面向鲁棒性的孪生有界支持向量机分类算法

孪生有界支持向量机(Twin Bounded Support Vector Machine,TBSVM)是近期提出的一种优秀的距离度量学习二分类算法。在TBSVM的目标函数中,使用L2范数距离作为度量准则,因此当训练样本中出现异常值或噪声时,L2范数距离的平方很容易夸大它们的影响。为了缓和这一问题,本文提出了一种鲁棒的基于L1范数距离度量的TBSVM分类算法(L1-TBSVM)。由于L1-TBSVM的目标函数中包含了非平滑的L1范数项,很难直接对它进行求解,故我们通过迭代增广向量来更新对角矩阵,直到目标函数值收敛到一个固定值,以此来获得最优解。该迭代算法简单有效,且易于实施。最后,通过合理的理论分析,以及在UCI数据集和人工数据集上的大量实验,检验了L1-TBSVM算法的可行性和有效性。