基于有效迭代算法的鲁棒L1范数非平行近似支持向量机

针对鲁棒L1范数非平行近似支持向量机(L1-NPSVM)求解算法无法保证获取可靠解的问题,提出一个新颖的迭代算法来解L1-NPSVM的目标问题。首先,根据L1-NPSVM原目标问题对解具有规模不变性,将其转换为一个等价的带等式约束的最大化问题。该迭代算法在每次迭代中利用更新权机制获取每次迭代的更新解;每次迭代中,问题归结为解两个快速的线性方程问题。从理论上证明了算法的收敛性。在公共UCI数据集上,实验显示,所提算法不仅在分类性能上要远远好于L1-NPSVM,且具有相当的计算优势。

基于L1范数损失的非平行支持向量回归机

针对NPSVR训练速度和预测精度问题,提出一种基于L1范数损失的非平行支持向量回归机L1NPSVR模型,用于预测数值输出。L1NPSVR通过求解两个较小规模的凸规划问题,建立一个ε_(1)-不敏感的下界函数和一个ε_(2)-不敏感的上界函数。在L1NPSVR模型中,每个优化问题同时最小化训练样本的L1范数损失和铰链损失,以保证模型的稳定性,减轻噪声和异常值的影响。L1NPSVR通过求解一对更小的优化问题来提高模型的运行效率。仿真结果验证了所提出方法的可行性及有效性。

稀疏L1范数最小二乘支持向量机

为了提高最小二乘支持向量机的训练速度,提出一种稀疏最小二乘支持向量机L1SLSSVM。该模型采用权重向量的L1范数控制分类间隔,最小二乘损失函数度量误差。将线性和核空间最小二乘支持向量机的训练归结为同一形式,均转化为仅有部分变量具非负约束的凸二次规划。对比SVM、LSSVM与SLSSVM的数值实验结果表明,L1SLSSVM具有好的稀疏性、高的分类精度和短的训练时间。