基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

近邻密度辅助模糊优化孪生支持向量机的钢板表面缺陷分类

为提升钢板表面缺陷分类精度,提出一种选择性弱化样本的分类模型。首先,在图像预处理阶段引入显著性检测算法来减少二值化后图像出现失真的影响;其次,为了降低不利的边缘样本点对模型的影响,同时又能提高有利的边缘样本点对模型的贡献,构造了一种新的密度模糊隶属度函数对样本进行权重赋值;最后,在孪生支持向量机(TWSVM)的基础上,将构造的密度模糊隶属度函数作为优化条件嵌入模型内,提出了近邻密度辅助模糊优化的TWSVM算法,以提高分类效果。在数据集NEU上的实验结果表明,引入显著性检测算法后,重新设计的特征在整体准确率上提高了1.66%,同时采用优化后的算法进行缺陷分类,准确率达到98.33%,进一步提高了分类性能。

一种改进的最小二乘孪生支持向量机分类算法

提出了一种新的模式分类器,即广泛权重的最小二乘孪生支持向量机.该支持向量机在正、负两类样本上广泛地增加权重,很好地抑制了交叉噪声样本对数据分类的影响.其次,根据间隔最大化原理,该支持向量机在目标函数上增加了一个正规化项,实现结构风险最小化和避免在求解该目标函数时可能对病态矩阵求逆的处理.同时,提出了利用一种指数函数计算训练样本的密度来获得样本权重值的算法.该算法能够有效缩减计算权重的时间,且具有较强的鲁棒性.实验证明本文提出的广泛权重的最小二乘孪生支持向量机能够实现高精度和高效率的分类效果,而且特别适合于含有交叉噪声样本的数据集分类.

孪生二叉树支持向量多分类机算法

提出一种基于二叉树支持向量机的超球孪生二叉树支持向量机,该算法结合了孪生支持向量机和二叉树支持向量机的优势,加快了训练速度,减少了误差累计.通过引入坐标轮换法和收缩技术,得到超球坐标轮换孪生二叉树支持向量机.实验结果表明,这两种算法具有如下优点:相比一对多支持向量机,在训练时间上具有绝对的优势,特别是在处理数据规模较大且稀疏性较强的问题时;避免了一对多支持向量机可能存在的样本不均衡性、不可分区域等缺点.

改进孪生支持向量机的一种快速分类算法

为了提高孪生支持向量机(TSVM)的泛化性能,基于结构风险最小化的原则重构TSVM的原始优化问题,提出改进的TSVM(ITSVM)分类模型。为了加快ITSVM的训练进程,将坐标下降算法和收缩技术相结合求解该模型。仿真实验和真实数据实验表明,该方法不仅具有良好的分类性能,而且具有很快的学习速度。

支持向量机与分类后验概率空间变化向量分析法相结合的冬小麦种植面积测量方法

利用遥感手段提取农作物种植面积时,需要结合作物物候特征,以提高面积的提取精度。该文以北京市通州区西南部为试验区,以冬小麦为研究对象,利用多时相的环境减灾小卫星遥感影像数据,通过基于支持向量机二分法的分类后验概率空间变化向量分析法进行冬小麦种植面积遥感测量试验研究。研究结果表明:该文提出的方法测量结果总体精度、Kappa系数分别为95%、0.90,远高于支持向量机(SVM)分类后直接比较方法(总体精度91%,Kappa系数0.79);解决了实际应用中的变化阈值选取的主观性问题,该方法的频度直方图两极化现象使得变化阈值取值部分频度被压低摊平,阈值敏感度降低,变化阈值取值更为客观,一定程度上解决了阈值难以设定的问题;SVM二分法和变化向量分析的结合增强了对光谱的敏感性,能够监测不同季相上植被的长势变化,进而提高了农作物种植面积遥感测量的精度,同时对其他农作物种植面积测量提供了途径。

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机(Twin Support Vector Machine,TSVM)的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机(Fuzzy TSVM,FTSVM)。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。

支持向量机多类分类算法新研究

支持向量机最初是针对两类分类问题提出的,如何将其推广至多类分类问题是当前SVM研究中的热点问题之一。主要针对支持向量机多类分类方法中的分解重构法进行了深入分析,详细讨论了影响分类器性能的两个关键因素:分解策略和组合策略,并通过实验验证了该观点。最后,通过实验对比了包括M-ary支持向量机和模糊支持向量机的SVM多类分类方法。

基于改进孪生支持向量机的齿廓图像边缘失真分类研究

提出了一种基于最优分类特征的偏二叉树孪生支持向量机多分类算法(OCF-PBT-TWS⁃VM),以实现针对齿廓图像边缘失真的非平稳瞬态随机信号进行有效分类,满足齿轮视觉测量实时性和失真补偿精度的要求.选择边缘动态分量信号最大值vm、边缘失真信号位置qu、边缘失真率rlv构成特征向量,组成训练样本集和测试样本集;以失真补偿需求为目标定义变权值特征向量测度γ,按照γ递减原则自顶向下完成OCF-PBT-TWSVM算法构建;采用粒子群优化方法进行算法参数优化,使c1,c2,g参数的性能达到最优.试验结果表明:在小样本数据情况下,提出的OCF-PBT-TWSVM多分类算法的最终分类准确率达96.96%,与PBT-SVM多分类算法相比具有更好的分类效果、训练速度也更快,能够满足后续失真补偿测量精度和齿轮视觉测量实时性的需求.

基于支持向量机的高分辨距离像分类法

支持向量机 (supportvectormachine ,SVM)是新一代学习机 ,具有良好的泛化性能。高分辨距离像(HRRP)分类是雷达复杂目标分类的重要方法。采用SVM作为分类器 ,研究了飞机目标HRRP分类法。设计了相应的预处理算法 ,并提出了结合VapnikChervonenkis维法和留一 (LOO)交叉验证法的参数选择算法。基于 5种飞机缩比模型的HRRP数据 ,比较了SVM分类法和最大相关分类法的性能 ,研究了噪声、训练用方位角采样数和训练样本集的大小对识别性能的影响。实验结果表明 ,SVM在HRRP分类上具有良好的应用前景。

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近年来,学者们致力于将二分类孪生支持向量机扩展为多分类方法,并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为:基于"一对多"策略的多分类孪生支持向量机、基于"一对一"策略的多分类孪生支持向量机、基于"一对一对余"策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于"多对一"策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于"一对一"策略的多分类孪生支持向量机类似,但其决策方式有其特殊的优缺点,因此将其也独立为一类.分析和总结了这6种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.

基于模糊支持向量机的输电线路故障模糊分类方法及其降维显示

针对已有输电线路故障分类方法在样本中存在噪声时准确率有所降低情况,研究了基于Hilbert-Huang变换和模糊支持向量机(fuzzy support vector machines,FSVM)的输电线故障模糊分类方法,以提高输电线路故障分类的准确率。采用HHT变换获得故障时刻,提取故障后A、B、C三相及零序电流的特征能量函数值,组成FSVM的4维输入向量。利用网格优化方法对FSVM二分类器的惩罚参数C、核函数宽度σ进行优化。构造了FSVM的高维空间带状分段隶属度函数,求取样本的模糊决策函数值。构造多FSVM分类器。将故障时刻后特征向量送入多FSVM分类器,得到样本的故障分类初始标签。构造支持向量回归机(support vector regression,SVR),优化获得测试样本的最终故障隶属度,再对FSVM的分类标签进行修正。研究采用主成分分析法对样本高保真的降维处理方法、在3维坐标系中显示降维后3维向量及其故障模糊分类结果。为了测试算法,做了784组仿真实验,实验结果表明:FSVM+SVR的输电线路模糊故障分类方法不受故障点、故障类型、过渡电阻影响,故障识别率达到99.4%。在训练集1/5故障数据中加入5 d B Gauss白噪声,故障识别率仍保持不变。研究表明基于模糊支持向量机的分类方法适用于线路故障分类。

基于支持向量机的遥感图像分类方法

为了提高遥感图像分类的精度,弥补传统最大似然分类方法所固有的分类时样本不足的缺陷,提出了一种基于支持向量机、光谱特征和纹理特征相结合的遥感图像分类方法。采用ETM数据,按照其所提方法进行了具体分类实验,并将实验结果与最大似然法分类的结果进行了比较分析。结果表明,利用基于支持向量机的方法进行遥感图像分类,精度明显优于最大似然法分类的精度。利用光谱特征与纹理特征相结合进行分类比单纯运用光谱特征进行分类效果要好。

基于迭代方法的模糊孪生支持向量机

模糊孪生支持向量机通过为每个训练样本赋予不同的模糊隶属度来构建2个最优非平行分类面,以便减少噪声或孤立点对非平行分类面的影响,进一步提高了支持向量机的性能.本文结合超松弛迭代法对模糊孪生支持向量机进行了研究,通过迭代技术求解凸二次规划问题中的拉格朗日乘子,减少了支持向量机的训练时间,在UCI标准数据集上分别对C-FTSVM和v-FTSVM进行了实验研究,并对使用传统求拉格朗日乘子的方法与超松弛迭代(SOR)的方法进行了对比,表明了使用超松弛迭代法不仅在时间性能上得到了提高,而且其分类正确率也优于传统的方法.

基于预测-校正原对偶内点法的多分类支持向量机学习算法

支持向量机基于统计学习理论,是一种新型通用的有监督的机器学习方法,其核心思想是使结构风险极小化,但是由于需要求解二次规划,使得它在求解大规模数据上具有一定的局限性,尤其是对于多分类问题,现有的支持向量机算法具有很高的复杂性.本文构造了基于线性规划的一对一三类结构支持向量分类器,可以直接利用比较成熟的线性规划算法——预测-校正原对偶内点法,并在此基础上提出了基于预测-校正原对偶内点法的支持向量机的多分类学习算法,这种算法可用于比较庞大的多类别识别问题,并且克服了标准支持向量机的一些缺点,而且模型简单,容易实现.针对UCI数据库上数据进行了实验,结果证实该算法具有较高的可行性和实用性.

K均值聚类和孪生支持向量机相结合的高光谱图像半监督分类

为解决高光谱数据维度高、波段之间相关性强、获取大量监督信息费时费力的问题,对高光谱图像的分类进行研究。半监督分类方法是基于传统的机器学习的一种分类方法,它可以利用少量带标签的监督信息和大量无监督信息解决获取大量监督信息问题。将分类精度高、分类时间长的孪生支持向量机分类方法与迭代速度快、收敛速度快的的K均值聚类方法结合,可以在基本不改变分类精度的前提下,大幅度缩减孪生支持向量机分类的样本数量,从而降低分类时计算的复杂度,缩短计算时间,最终缩短整个分类过程所需要时间,提高分类效率。

基于特征向量法和支持向量机的抑郁症脑电信号分类

目的:从抑郁症患者EEG信号中提取与疾病相关的信息以实现对抑郁症患者与健康人的自动分类。方法:用特征向量法对抑郁症患者与健康人脑电进行特征提取,得到脑电信号功率谱幅度的最大值、最小值、平均值和标准偏差等特征参数,然后用支持向量机分类器进行训练和分类,并进行测试验证。结果:相对于用小波变换提取的频率相关参数作为分类特征,采用本文特征向量法功率谱估计提取的特征参数为分类特征的分类器具有更好的分类效果,其抑郁症患者和健康人脑电信号的分类准确率可以达到95.6%。结论:该研究成果为抑郁症疾病的物理诊断提供了一种新的途径。

Fisher正则化的最小二乘孪生支持向量机

最小二乘孪生支持向量机是一种有效的模式分类算法,然而每一个训练样本都对最终的决策平面有影响。如果训练集含有噪声或异常点,其会过度关注这些点,这可能导致最小二乘孪生支持向量机的判别能力较差。为了解决这个问题,受Fisher准则思想的启发,本文引入了双Fisher正则化项,并在此基础上提出了Fisher正则化的最小二乘孪生支持向量机。同时,在人工数据集和UCI数据集上验证了所提算法的有效性。

灰狼优化的混合参数多分类孪生支持向量机

孪生支持向量机(TWSVM)是在支持向量机(SVM)的基础上产生的一种高效二分类算法,由于现实中存在的问题大多数是多分类的,将二分类孪生支持向量机扩展到多分类孪生支持向量机(MTWSVM)是非常重要的。目前常用的MTWSVM一般是基于“一对一”策略,但该策略中各子分类器都采用相同的惩罚参数以及核参数,忽略了不同子分类器之间的差异,不能使其发挥最好的作用。通过提出一种基于混合参数的多分类孪生支持向量机(MP-MTWSVM),为不同的子分类器选取合适的参数,保持分类器的多样性,进而根据“一对一”策略构建MTWSVM。TWSVM本就面临着参数难确定的问题,而MP-MTWSVM算法又引入了大量的参数,通过灰狼算法(GWO)对MP-MTWSVM的参数进行寻优,进一步提出了基于灰狼优化的混合参数多分类孪生支持向量机(GWO-MP-MTWSVM)。通过实验表明,GWO可以快速找到各子分类器的最优参数,并进一步提升了算法的准确率。

一种改进的多分类孪生支持向量机

现有的多分类孪生支持向量机主要考虑支持向量机的经验风险最小化原则,而忽略了结构化风险。针对该问题,通过引入正则项式,实现算法的结构风险最小化原则,并结合多对一的组合策略和最小二乘法,提出一种改进的最小二乘多分类孪生支持向量机。在UCI数据集上的实验研究表明,该算法相对于传统的多分类支持向量机在分类性能上有明显提高。