基于超球和ASSRFOA的多生支持向量机

支持向量机(support vector machine,SVM)是一种基于结构风险最小化的机器学习方法,能够有效解决分类问题.但随着研究问题的复杂化,现实的分类问题往往是多分类问题,而SVM仅能用于处理二分类任务.针对这个问题,一对多策略的多生支持向量机(multiple birth support vector machine,MBSVM)能够以较低的复杂度实现多分类,但缺点在于分类精度较低.本文对MBSVM进行改进,提出了一种新的SVM多分类算法:基于超球(hypersphere)和自适应缩小步长果蝇优化算法(fruit fly optimization algorithm with adaptive step size reduction,ASSRFOA)的MBSVM,简称HA-MBSVM.通过拟合超球得到的信息,先进行类别划分再构建分类器,并引入约束距离调节因子来适当提高分类器的差异性,同时采用ASSRFOA求解二次规划问题,HA-MBSVM可以更好地解决多分类问题.我们采用6个数据集评估HA-MBSVM的性能,实验结果表明HA-MBSVM的整体性能优于各对比算法.

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近年来,学者们致力于将二分类孪生支持向量机扩展为多分类方法,并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为:基于"一对多"策略的多分类孪生支持向量机、基于"一对一"策略的多分类孪生支持向量机、基于"一对一对余"策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于"多对一"策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于"一对一"策略的多分类孪生支持向量机类似,但其决策方式有其特殊的优缺点,因此将其也独立为一类.分析和总结了这6种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.

四类基于支持向量机的多类分类器的性能比较

本文通过UCI数据库中的五个数据集,从分类准确性和运行时间两个方面,比较了四类基于支持向量机的多类分类器——多类支持向量机(MSVM),多元双生支持向量机(MTSVM),多生支持向量机(MBSVM)以及多元支持向量分类回归机(MSVCR)的性能.实验结果表明,MTSVM和MBSVM比MSVM和MSVCR更有效.