弱监督场景下的支持向量机算法综述

支持向量机(Support Vector Machine,SVM)是一种建立在结构风险最小化原则上的统计学习方法,以其在非线性、小样本以及高维问题中的独特优势被广泛应用于图像识别、故障诊断以及文本分类等领域.但SVM是一种监督学习算法,它旨在利用大量的、唯一且明确的真值标记样本来训练学习器,在不完全监督、不确切监督以及多义监督等弱监督场景下难以取得较好的效果.本文首先阐述了弱监督场景的概念和SVM的相关理论,然后从弱监督场景角度出发,系统地梳理了目前SVM算法的研究现状和发展,包括基于半监督学习、多示例学习以及多标记学习的方法;其中基于半监督学习的方法根据数据假设可细分为基于聚类假设和基于流形假设的方法,基于多标记学习的方法根据解决方案可细分为基于示例水平空间、基于包水平空间以及基于嵌入空间的方法,基于多标记学习的方法根据处理思路可细分为基于问题转换和基于算法自适应的方法;随后,本文总结了部分代表性算法在公开数据集上的实验结果;最后,探讨并展望了未来可能的研究方向.

基于半监督支持向量机的供电企业安全性评价

为了解决支持向量机(SVM)必须采用标识样本进行训练和支持向量选择困难两个弊端,提出了一种基于模糊C均值(FCM)和支持向量机的半监督支持向量机分类算法S3VM)。为了验证模型的有效性,将该算法应用于供电企业安全性评价。与BP神经网络的分类结果比较表明,该模型在样本较少的条件下,具有较高的分类正确率和很好的推广能力。

一种新的半监督直推式支持向量机分类算法

传统的支持向量机(SVM)是一种有监督学习方法,需要大量有标记样本,然而有标记样本的数量十分有限且获得困难。因此,当存在海量的无标记样本时,如何有效地利用这些数据成为了机器学习面临的重要任务。研究提出了一种新的半监督直推式支持向量机分类算法,将半监督算法与支持向量机结合,在迭代算法中将无标签样本与有标签样本结合,逐渐得到更可信的分类超平面。理论分析和计算机仿真结果都表明,研究提出的样本能够有效地利用大量的无标签样本,并且无标签样本的加入能够有效地提高分类准确率。

基于半监督支持向量机的电压暂降源定位

电压暂降源定位对解决相应供用电双方纠纷及责任认定等起到重要作用。针对现有暂降源定位方法的准确率低、含源位置信息的电压暂降监测数据非常有限且不易获取等问题,提出了一种基于半监督支持向量机(SVM)的电压暂降源定位方法。首先分析了现有源定位方法的定位机理和判据,然后通过支持向量机结合多个定位特征量,利用二分类思想在高维定位特征空间内构建上下游分类面。最后运用半监督SVM充分利用大量无暂降源位置标签的电压暂降监测数据,不断优化上下游定位的分类面,从而实现少量标签数据下电压暂降源的优化定位。实验结果表明,在少量标签数据下,该方法定位准确率高,能可靠定位出各类电压暂降源位置。

基于全局和局部保持的半监督支持向量机

支持向量机(SVM)作为正则化方法的一个特例在模式识别领域得到了成功地运用,然而传统的SVM方法作为一种有监督的学习方法主要依据最大间隔原则得到决策超平面的法向量,而并没有充分考虑样本内在的几何结构以及所蕴含的判别信息.因此,本文将线性判别分析(LDA)的类内散度和保局投影(LPP)的基本原理引入到SVM中,提出基于全局和局部保持的半监督支持向量机:GLSSVM,该方法在继承传统的SVM方法的特点的基础上,充分考虑样本间具有的全局和局部几何结构,体现样本间所蕴含的局部和全局判别信息,同时满足作为半监督方法的必须依据的一致性假设,从而在一定程度上提高了分类精度.通过在人造数据集和真实数据集上的测试表明该方法具有上述优势.

L_p范数约束的多核半监督支持向量机学习方法

在机器学习领域,核方法是解决非线性模式识别问题的一种有效手段.目前,用多核学习方法代替传统的单核学习已经成为一个新的研究热点,它在处理异构、不规则和分布不平坦的样本数据情况下,表现出了更好的灵活性、可解释性以及更优异的泛化性能.结合有监督学习中的多核学习方法,提出了基于Lp范数约束的多核半监督支持向量机(semi-supervised support vector machine,简称S3VM)的优化模型.该模型的待优化参数包括高维空间的决策函数fm和核组合权系数m.同时,该模型继承了单核半监督支持向量机的非凸非平滑特性.采用双层优化过程来优化这两组参数,并采用改进的拟牛顿法和基于成对标签交换的局部搜索算法分别解决模型关于fm的非平滑及非凸问题,以得到模型近似最优解.在多核框架中同时加入基本核和流形核,以充分利用数据的几何性质.实验结果验证了算法的有效性及较好的泛化性能.

代价敏感的半监督Laplacian支持向量机

代价敏感学习是机器学习领域的一个研究热点.在实际应用中,数据集往往是不平衡的,存在着大量的无标签样本,只有少量的有标签样本,并且存在噪声.虽然针对该情况的代价敏感学习方法的研究已取得了一定的进展,但还需要进一步的深入研究.为此,本文提出了一种基于代价敏感的半监督Laplacian支持向量机.该模型在采用无标签扩展策略的基础上,将考虑了数据不平衡的错分代价融入到Laplacian支持向量机的经验损失和Laplacian正则化项中.考虑到噪声样本对决策平面的影响,本文定义了一种样本依赖的代价,对噪声样本赋予较低的权重.在7个UCI数据集和8个NASA软件数据集上的实验结果表明了本文算法的有效性.

基于聚类核函数的最小二乘支持向量机高光谱图像半监督分类

针对大规模的高光谱数据分类,为了利用未标签样本所含信息,来提升分类器性能,提出了一种半监督分类算法。该算法根据聚类假设,即属于同一类地物的样本点在聚类中被分为同一类的可能性较大的原则来改进核函数,采用基于光谱角度量的K均值聚类算法对样本集进行聚类,根据多次聚类的结果,构造包袋核函数,然后利用加法和乘法运算将包袋核函数和RBF核函数组合成新的核函数,从而把未标签样本信息融入分类器。而且采用最小二乘支持向量机,将标准支持向量机的二次规划问题转换为求解线性方程组的问题。高光谱实测数据实验表明了本文方法的优越性。

基于组合半监督的增量支持向量机学习算法

增量支持向量机(ISVM)由于在每次增量学习过程中无法选择最有效的增量样本,导致模型的泛化性能较差.针对此问题,文中提出基于组合半监督方式的增量支持向量机学习算法(ICS3VM).通过将大量的无标记样本分批进行组合标记以选择最优的增量样本,即每次选择位于分类间隔内部的最有价值样本加入训练集,以此修正模型.同时选择分类间隔最大的一组标记作为最终标记,确保标记的准确性.在标准数据集上的实验表明,ICS3VM能以较高的学习效率提高模型的泛化性能.

一种新的半监督支持向量机

在模式识别中,采取支持向量机对有类别标签样本分类是非常有效的,但在实际应用中,对样本进行标记并不是一件容易的工作.通过综合利用有类别标签和无类别标签样本信息构造目标函数和约束条件,借助二次规划模型提出了一种新的半监督支持向量机,从而提高了仅依靠有类别标签样本支持向量机的分类准确率.

支持向量机的半监督网络流量分类方法

针对传统网络流量分类方法准确率低、开销大、应用范围受限等问题,提出一种支持向量机(SVM)的半监督网络流量分类方法。该方法在SVM训练中,使用增量学习技术在初始和新增样本集中动态地确定支持向量,避免不必要的重复训练,改善因出现新样本而造成原分类器分类精度降低、分类时间长的情况;改进半监督Tri-training方法对分类器进行协同训练,同时使用大量未标记和少量已标记样本对分类器进行反复修正,减少辅助分类器的噪声数据,克服传统协同验证对分类算法及样本类型要求苛刻的不足。实验结果表明,该方法可明显提高网络流量分类的准确率和效率。

基于采样的半监督支持向量机软件缺陷预测方法

软件缺陷预测有助于提高软件开发质量,保证测试资源有效分配。针对软件缺陷预测研究中类标签数据难以获取和类不平衡分布问题,提出基于采样的半监督支持向量机预测模型。该模型采用无监督的采样技术,确保带标签样本数据中缺陷样本数量不会过低,使用半监督支持向量机方法,在少量带标签样本数据基础上利用无标签数据信息构建预测模型;使用公开的NASA软件缺陷预测数据集进行仿真实验。实验结果表明提出的方法与现有半监督方法相比,在综合评价指标F值和召回率上均优于现有方法;与有监督方法相比,能在学习样本较少的情况下取得相当的预测性能。

基于支持向量机协同训练的半监督回归

将支持向量机与半监督学习理论相结合,提出基于支持向量机协同训练的半监督回归模型,使用两个支持向量机回归模型相互影响,协同训练。利用实验数据集进行实验,并与监督支持向量机回归模型、半监督自训练支持向量机回归模型作比较。实验结果表明,基于支持向量机协同训练的半监督回归模型在缺少标记样本的情况下,提高了回归估计的精度。

最小二乘支持向量机的半监督学习算法

将最小二乘支持向量机引入到半监督学习中,提出了一种最小二乘支持向量机的半监督学习算法.采用最小二乘支持向量机训练混合样本集,利用最小二乘支持向量机训练速度快、效率高等优点有效地克服了目前一些半监督支持向量机学习算法时间代价大、效率低的缺陷.在训练过程中采用区域标注法,减少达到收敛所需要的迭代次数,并给出了SLS-SVM算法具体的数学描述.在人造数据集及实际数据集上的实验表明,最小二乘支持向量机的半监督学习算法可以有效的减少训练时间,提高训练的速度,从而具有更好的推广能力.

基于流形正则化的半监督投影双子支持向量机

投影双子支持向量机(PTSVM)是一种有监督学习方法,其性能极大依赖于有监督信息量的大小.受流形正则化框架启发,文中提出半监督投影双子支持向量机(SPTSVM).该方法可同时利用有监督(有标签样本)信息和无监督(无标签样本)信息构造一个更合理的半监督学习器.SPTSVM不仅继承PTSVM有监督分类性能,而且使用流形正则项捕获蕴含在无标签数据中的潜在几何信息.通过选择合理的参数,SPTSVM退化为有监督PTSVM或正则化PTSVM.在人工数据集和实际数据集上的对比实验验证文中方法的有效性.

一种基于聚类核的半监督支持向量机分类方法

为了在标记样本数目有限时尽可能地提高支持向量机的分类精度,提出了一种基于聚类核的半监督支持向量机分类方法。该算法依据聚类假设,即属于同一类的样本点在聚类中被分为同一类的可能性较大的原则去对核函数进行构造。采用K-均值聚类算法对已有的标记样本和所有的无标记样本进行多次聚类,根据最终的聚类结果去构造聚类核函数,从而更好地反映样本间的相似程度,然后将其用于支持向量机的训练和分类。理论分析和计算机仿真结果表明,该方法充分利用了无标记样本信息,提高了支持向量机的分类精度。

一种基于支持向量机的半监督分类方法

如何有效利用海量的数据是当前机器学习面临的一个重要任务,传统的支持向量机是一种有监督的学习方法,需要大量有标记的样本进行训练,然而有标记样本的数量是十分有限的并且非常不易获取。结合Co-training算法与Tri-training算法的思想,给出了一种半监督SVM分类方法。该方法采用两个不同参数的SVM分类器对无标记样本进行标记,选取置信度高的样本加入到已标记样本集中。理论分析和计算机仿真结果都表明,文中算法能有效利用大量的无标记样本,并且无标记样本的加入能有效提高分类的正确率。

基于半监督学习和支持向量机的煤与瓦斯突出预测研究

针对支持向量机要求输入向量为已标记样本,而实际应用中已标记样本很难获取的问题,提出将半监督学习和支持向量机结合的煤与瓦斯突出预测方法;介绍了采用SVM预测煤与瓦斯突出的流程及其输入向量的选择;对半监督学习中的协同训练算法进行了改进:在同一属性集上训练2个不同分类器SVM和KNN,将2个分类器标记一致的样本加入训练集,从而充分利用未标记样本不断补充信息,更新训练集标记样本,达到强化训练集的目的。测试结果表明,改进后的算法比单独的支持向量机预测方法准确率更高。

基于支持向量机的渐近式半监督式学习算法

提出一种基于支持向量机的渐近式半监督式学习算法,它以少量的有标记数据来训练初始学习器,通过选择性取样规则和核参数来调节无标记样本的选择范围和控制学习器决策面的动态调节方向,并通过删除非支持向量来降低学习代价。仿真实验表明,只要能够选择适当的选择性取样的阈值和核参数,这种学习算法就能够以较少的学习代价获得较好的学习效果。

构建基于小波熵的自训练半监督支持向量机分类模型评价老年人步态

研究应用半监督学习算法分析未标注步态数据评价老年人步态,提出基于小波熵的自训练半监督支持向量机步态分类模型,通过小波熵从未标注步态数据中选取为每次自训练步态分类模型所需最具信息量的标注样本,有效获取步态数据类别间和步态数据内在的"有价值"的步态变异信息,提高步态分类器的泛化性能。首先采用10名老年人和10名青年人步态数据构建支持向量机分类模型,然后对120名不同年龄组未标注步态数据分类预测,依据小波熵选取样本数据,逐步添加更新步态样本训练集,自训练支持向量机分类模型。实验结果表明,本算法较准确鉴别青年和老年人步态模式(分类正确率90%),比基于有监督学习的支持向量机步态分类算法正确率提高近5%,有效改善支持向量机步态分类算法性能,有望为临床提供一个评价老年人步态的新方法。