辅助训练的半监督线性支持向量机用于EEG分类

研究了基于辅助训练思想的半监督线性支持向量机方法在脑机接口EEG分类中的应用。首先采用高斯混合模型、Parzen窗、KN-近邻估计三种方法估计概率密度,得到未标记样本的密度信息,选择部分概率较高样本,使用比较置零法避免错分。其次采用线性支持向量机作为判别分类器得到已选样本的边界信息,通过距离判别条件选出高置信度的样本,使用方向判别条件避免错分。结合密度和边界信息完成高置信度未标记样本选择的方法称为辅助训练半监督支持向量机。本文的实验数据包括g50c、BCIⅠ、BCIⅡ_Ⅳ、USPS,分类正确率分别为91.6%,97%,84%,90.4%,运算速度最慢的仅需约3.5 s。在分类正确率和运算效率两个方面,均优于自训练半监督SVM、监督SVM两种方法。

弱监督场景下的支持向量机算法综述

支持向量机(Support Vector Machine,SVM)是一种建立在结构风险最小化原则上的统计学习方法,以其在非线性、小样本以及高维问题中的独特优势被广泛应用于图像识别、故障诊断以及文本分类等领域.但SVM是一种监督学习算法,它旨在利用大量的、唯一且明确的真值标记样本来训练学习器,在不完全监督、不确切监督以及多义监督等弱监督场景下难以取得较好的效果.本文首先阐述了弱监督场景的概念和SVM的相关理论,然后从弱监督场景角度出发,系统地梳理了目前SVM算法的研究现状和发展,包括基于半监督学习、多示例学习以及多标记学习的方法;其中基于半监督学习的方法根据数据假设可细分为基于聚类假设和基于流形假设的方法,基于多标记学习的方法根据解决方案可细分为基于示例水平空间、基于包水平空间以及基于嵌入空间的方法,基于多标记学习的方法根据处理思路可细分为基于问题转换和基于算法自适应的方法;随后,本文总结了部分代表性算法在公开数据集上的实验结果;最后,探讨并展望了未来可能的研究方向.

基于非线性支持向量机的配电网带电检测方法

由于现有方法在配电网带电检测中应用效果不佳,不仅灵敏度比较低,而且特异度也比较低,无法达到预期的检测效果,本文提出基于非线性支持向量机的配电网带电检测方法。采用压缩感知算法对原始配电网电气信号处理,减少样本数据量,构造配电网数据序列样本集,利用小波去噪技术对数据序列样本去噪处理,利用非线性支持向量机对电气信号分类,识别检测异常信号,以此完成配电网带电检测。经实验证明,设计方法灵敏度与特异度均在90%以上,检测精度较高,在配电网带电检测方面具有良好的应用前景。

基于半监督学习支持向量机的制动意图识别

制动意图识别是提高再生制动效率的关键技术。为了更准确识别驾驶员的制动意图,该文提出一种基于半监督学习支持向量机(SVM)的制动意图识别方法。选取制动踏板力、制动踏板行程、制动减速度为特征参数,制动意图分为低强度制动、中强度制动、高强度制动。采用半监督学习SVM模型对未标记数据分配“伪标签”并计算其置信度,从而将置信度高的数据扩充到训练集中,实现数据的高效利用,最后进行离线验证。验证结果表明,基于半监督学习SVM制动意图识别模型的识别准确率平均为96.4%,极大地提高了制动意图识别的准确性。

线性判别分析优化孪生支持向量机的网络入侵检测

为了提高大规模网络数据入侵类型实时检测的准确率,采用线性判别分析(LDA)对网络样本特征进行降维处理,降低孪生支持向量机(TWSVM)的运算复杂度,增强TWSVM的网络入侵检测适用度;首先,采用LDA基于类内和类间散度计算获得网络入侵检测样本的降维特征变量;然后,建立LDA-TWSVM网络入侵检测算法,分别求解TWSVM一次规划和二次规划的核心参数;最后,输入降维特征变量,通过TWSVM输出获得网络入侵检测结果。结果表明:LDA网络样本特征降维对网络入侵检测的正向激励效果较为显著,使得所提出的算法在网络入侵检测中具有较高的适应度;相比于几种常用入侵检测算法,所提出的算法具有更高的检出率(0.9943)和更优的均方根误差(1.1328)。

基于自动编码器和支持向量机的飞机机动智能识别方法

飞机机动动作识别是空战意图识别和智能决策的基础。针对传统机动动作识别方法存在的高维数据分析和特征提取能力不足、识别准确率不高的问题,考虑到机动数据的高维性、时序性的特点,提出基于正则化自动编码器-支持向量机(RAE-SVM)的飞机机动动作识别方法。依据机动动作数据变化规律和专家经验知识,构建了基于时间段数据特征的机动动作样本库;将无监督的自动编码器神经网络强大的特征提取能力和有监督的支持向量机优异的分类性能相结合,构建基于RAE-SVM的机动识别模型,采用机动动作样本库训练模型;通过引入正则化提高了RAE网络的泛化性能和预测准确率;最后与多种现有方法进行准确性与实时性对比,并选取空战机动动作数据进行实例验证。结果表明:所提方法识别准确率为92.75%,对一组机动数据识别仅需2 ms,满足实时性要求。因此,该方法可以快速准确地进行飞机机动动作识别,具有一定实用价值。

具有间隔分布优化的最小二乘支持向量机

最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)通过求解一个线性等式方程组来提高支持向量机(Support Vector Machine,SVM)的运算速度。但是,LSSVM没有考虑间隔分布对于LSSVM模型的影响,导致其精度较低。为了增强LSSVM模型的泛化性能,提高其分类能力,提出一种具有间隔分布优化的最小二乘支持向量机(LSSVM with margin distribution optimization,MLSSVM)。首先,重新定义间隔均值和间隔方差,深入挖掘数据的间隔分布信息,增强模型的泛化性能;其次,引入权重线性损失,进一步优化了间隔均值,提升模型的分类精度;然后,分析目标函数,剔除冗余项,进一步优化间隔方差;最后,保留LSSVM的求解机制,保障模型的计算效率。实验表明,新提出的分类模型具有良好的泛化性能和运行时间。

一种新的半监督直推式支持向量机分类算法

传统的支持向量机(SVM)是一种有监督学习方法,需要大量有标记样本,然而有标记样本的数量十分有限且获得困难。因此,当存在海量的无标记样本时,如何有效地利用这些数据成为了机器学习面临的重要任务。研究提出了一种新的半监督直推式支持向量机分类算法,将半监督算法与支持向量机结合,在迭代算法中将无标签样本与有标签样本结合,逐渐得到更可信的分类超平面。理论分析和计算机仿真结果都表明,研究提出的样本能够有效地利用大量的无标签样本,并且无标签样本的加入能够有效地提高分类准确率。

基于半监督支持向量机的电压暂降源定位

电压暂降源定位对解决相应供用电双方纠纷及责任认定等起到重要作用。针对现有暂降源定位方法的准确率低、含源位置信息的电压暂降监测数据非常有限且不易获取等问题,提出了一种基于半监督支持向量机(SVM)的电压暂降源定位方法。首先分析了现有源定位方法的定位机理和判据,然后通过支持向量机结合多个定位特征量,利用二分类思想在高维定位特征空间内构建上下游分类面。最后运用半监督SVM充分利用大量无暂降源位置标签的电压暂降监测数据,不断优化上下游定位的分类面,从而实现少量标签数据下电压暂降源的优化定位。实验结果表明,在少量标签数据下,该方法定位准确率高,能可靠定位出各类电压暂降源位置。

基于全局和局部保持的半监督支持向量机

支持向量机(SVM)作为正则化方法的一个特例在模式识别领域得到了成功地运用,然而传统的SVM方法作为一种有监督的学习方法主要依据最大间隔原则得到决策超平面的法向量,而并没有充分考虑样本内在的几何结构以及所蕴含的判别信息.因此,本文将线性判别分析(LDA)的类内散度和保局投影(LPP)的基本原理引入到SVM中,提出基于全局和局部保持的半监督支持向量机:GLSSVM,该方法在继承传统的SVM方法的特点的基础上,充分考虑样本间具有的全局和局部几何结构,体现样本间所蕴含的局部和全局判别信息,同时满足作为半监督方法的必须依据的一致性假设,从而在一定程度上提高了分类精度.通过在人造数据集和真实数据集上的测试表明该方法具有上述优势.

L_p范数约束的多核半监督支持向量机学习方法

在机器学习领域,核方法是解决非线性模式识别问题的一种有效手段.目前,用多核学习方法代替传统的单核学习已经成为一个新的研究热点,它在处理异构、不规则和分布不平坦的样本数据情况下,表现出了更好的灵活性、可解释性以及更优异的泛化性能.结合有监督学习中的多核学习方法,提出了基于Lp范数约束的多核半监督支持向量机(semi-supervised support vector machine,简称S3VM)的优化模型.该模型的待优化参数包括高维空间的决策函数fm和核组合权系数m.同时,该模型继承了单核半监督支持向量机的非凸非平滑特性.采用双层优化过程来优化这两组参数,并采用改进的拟牛顿法和基于成对标签交换的局部搜索算法分别解决模型关于fm的非平滑及非凸问题,以得到模型近似最优解.在多核框架中同时加入基本核和流形核,以充分利用数据的几何性质.实验结果验证了算法的有效性及较好的泛化性能.

代价敏感的半监督Laplacian支持向量机

代价敏感学习是机器学习领域的一个研究热点.在实际应用中,数据集往往是不平衡的,存在着大量的无标签样本,只有少量的有标签样本,并且存在噪声.虽然针对该情况的代价敏感学习方法的研究已取得了一定的进展,但还需要进一步的深入研究.为此,本文提出了一种基于代价敏感的半监督Laplacian支持向量机.该模型在采用无标签扩展策略的基础上,将考虑了数据不平衡的错分代价融入到Laplacian支持向量机的经验损失和Laplacian正则化项中.考虑到噪声样本对决策平面的影响,本文定义了一种样本依赖的代价,对噪声样本赋予较低的权重.在7个UCI数据集和8个NASA软件数据集上的实验结果表明了本文算法的有效性.

基于聚类核函数的最小二乘支持向量机高光谱图像半监督分类

针对大规模的高光谱数据分类,为了利用未标签样本所含信息,来提升分类器性能,提出了一种半监督分类算法。该算法根据聚类假设,即属于同一类地物的样本点在聚类中被分为同一类的可能性较大的原则来改进核函数,采用基于光谱角度量的K均值聚类算法对样本集进行聚类,根据多次聚类的结果,构造包袋核函数,然后利用加法和乘法运算将包袋核函数和RBF核函数组合成新的核函数,从而把未标签样本信息融入分类器。而且采用最小二乘支持向量机,将标准支持向量机的二次规划问题转换为求解线性方程组的问题。高光谱实测数据实验表明了本文方法的优越性。

基于支持向量机的风电并网短期负荷预测方法

在对风电并网短期负荷进行预测时,由于历史负荷数据、风速数据和时间数据等特征具有多维度属性,导致预测结果的准确性难以得到保障。为此,提出基于支持向量机的风电并网短期负荷预测方法研究。通过构建风电并网支持向量机,将负荷预测问题转化为二次规划问题,将历史负荷数据、风速数据和时间数据等作为特征,以高斯核函数为基础,构建风电并网数据的特征空间,并为其建立的映射也同样为非线性映射机制。在短期负荷预测阶段,利用风电并网向量机特征的深度学习结果对映射进行校正,代入具体的运行数据,即可得到对应的预测结果。

基于组合半监督的增量支持向量机学习算法

增量支持向量机(ISVM)由于在每次增量学习过程中无法选择最有效的增量样本,导致模型的泛化性能较差.针对此问题,文中提出基于组合半监督方式的增量支持向量机学习算法(ICS3VM).通过将大量的无标记样本分批进行组合标记以选择最优的增量样本,即每次选择位于分类间隔内部的最有价值样本加入训练集,以此修正模型.同时选择分类间隔最大的一组标记作为最终标记,确保标记的准确性.在标准数据集上的实验表明,ICS3VM能以较高的学习效率提高模型的泛化性能.

一种新的半监督支持向量机

在模式识别中,采取支持向量机对有类别标签样本分类是非常有效的,但在实际应用中,对样本进行标记并不是一件容易的工作.通过综合利用有类别标签和无类别标签样本信息构造目标函数和约束条件,借助二次规划模型提出了一种新的半监督支持向量机,从而提高了仅依靠有类别标签样本支持向量机的分类准确率.

支持向量机的半监督网络流量分类方法

针对传统网络流量分类方法准确率低、开销大、应用范围受限等问题,提出一种支持向量机(SVM)的半监督网络流量分类方法。该方法在SVM训练中,使用增量学习技术在初始和新增样本集中动态地确定支持向量,避免不必要的重复训练,改善因出现新样本而造成原分类器分类精度降低、分类时间长的情况;改进半监督Tri-training方法对分类器进行协同训练,同时使用大量未标记和少量已标记样本对分类器进行反复修正,减少辅助分类器的噪声数据,克服传统协同验证对分类算法及样本类型要求苛刻的不足。实验结果表明,该方法可明显提高网络流量分类的准确率和效率。

基于采样的半监督支持向量机软件缺陷预测方法

软件缺陷预测有助于提高软件开发质量,保证测试资源有效分配。针对软件缺陷预测研究中类标签数据难以获取和类不平衡分布问题,提出基于采样的半监督支持向量机预测模型。该模型采用无监督的采样技术,确保带标签样本数据中缺陷样本数量不会过低,使用半监督支持向量机方法,在少量带标签样本数据基础上利用无标签数据信息构建预测模型;使用公开的NASA软件缺陷预测数据集进行仿真实验。实验结果表明提出的方法与现有半监督方法相比,在综合评价指标F值和召回率上均优于现有方法;与有监督方法相比,能在学习样本较少的情况下取得相当的预测性能。

基于支持向量机协同训练的半监督回归

将支持向量机与半监督学习理论相结合,提出基于支持向量机协同训练的半监督回归模型,使用两个支持向量机回归模型相互影响,协同训练。利用实验数据集进行实验,并与监督支持向量机回归模型、半监督自训练支持向量机回归模型作比较。实验结果表明,基于支持向量机协同训练的半监督回归模型在缺少标记样本的情况下,提高了回归估计的精度。

最小二乘支持向量机的半监督学习算法

将最小二乘支持向量机引入到半监督学习中,提出了一种最小二乘支持向量机的半监督学习算法.采用最小二乘支持向量机训练混合样本集,利用最小二乘支持向量机训练速度快、效率高等优点有效地克服了目前一些半监督支持向量机学习算法时间代价大、效率低的缺陷.在训练过程中采用区域标注法,减少达到收敛所需要的迭代次数,并给出了SLS-SVM算法具体的数学描述.在人造数据集及实际数据集上的实验表明,最小二乘支持向量机的半监督学习算法可以有效的减少训练时间,提高训练的速度,从而具有更好的推广能力.