基于复合核支持向量回归机的多类分类算法

针对传统支持向量机(SVM)在解决多类分类问题时需要训练多个分类器、存在不可分区域等问题,研究了基于支持向量回归机的多类分类算法。利用回归思想求解多类分类问题,将分类样本作为回归输入,样本的类别标识作为回归输出,通过支持向量回归机训练拟合出各样本与其类别标识之间的函数关系。将待分类样本代入回归函数,对其输出取整后即可得到样本类别。该算法仅使用1个分类器,明显简化了分类过程。另外,引入复合核函数来提高支持向量回归机的性能。采用加州大学欧文分校(UCI)例题库中的多类分类问题进行仿真验证,并将改进算法与传统算法作对比,结果表明改进算法在分类速度和准确率上都有显著提高。

基于合成核支持向量机的高光谱土地覆盖分类

提出一种基于合成核支持向量机的高光谱数据分类方法。该方法首先对高光谱数据进行分组,对得到的不同数据组分别运用支持向量机方法进行分类参数的优化,然后组合不同的核函数来综合不同的数据组,得到最终的分类结果。利用华盛顿地区HYDICE高光谱数据对所提出的方法进行评价和验证,结果表明,基于合成核支持向量机的高光谱图像分类,可获得比传统支持向量机更高的分类精度。

支持向量机分类与回归算法的关系研究

基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题。分类算法通过求两类样本之间的最大间隔来获得最优分离超平面,其几何意义相当直观,而回归算法的几何意义就不那么直观了。另外,有些适用于分类问题的快速优化算法却不能用于回归算法中。研究了分类与回归算法之间的关系,为快速分类算法应用于回归模型提供了一定的理论依据。

基于近似支持向量机的能见度释用预报研究

利用2008—2010年逐年12月、次年1月的T_(511)L_(61)数值预报产品和单站观测资料,采用近似支持向量机方法,分别建立了南京、杭州和衢州站分类和回归结合的能见度释用预报模型(简称分类和回归结合模型)。利用2011年12月、次年1月资料作为独立样本,对模型进行试报检验,并与不分类条件下的纯回归模型进行对比。结果表明:分类和回归结合模型的预报效果好于纯回归模型,在24、36、48、60和72 h试报中,分类和回归结合模型的南京、杭州和衢州三站平均的准确率依次为75.5%、83.7%、72.1%、75.4%和78.0%,在除48 h的其余4个预报时次中,分类和回归结合模型的三站平均的准确率均高于纯回归模型。分类和回归结合模型在单站能见度预报中有较好的应用前景。

基于一类分类的线性规划支持向量回归算法

根据一类分类思想,提出一种基于线性规划的支持向量回归算法,该算法揭示了一类分类和回归之间的关系。实验在一个正弦函数、一个混沌时间序列和一个实际的数据上进行。实验结果表明,所给算法的泛化性能优于标准的支持向量回归算法(ε-SVR)、线性规划支持向量回归算法(LP-SVR)和最小二乘支持向量回归算法(LS-SVR),实验结果也说明了所给算法的有效性和可行性。

支持向量机径向基核参数优化研究

支持向量机在机器学习中表现良好。基于径向基(RBF)核的支持向量机的分类和回归性能受其核参数的影响。为了获得最优的分类和回归预测结果,选择合适的核参数设置对提高分类和回归预测的准确度非常重要。本文使用网格搜索算法、遗传算法、粒子群优化算法分别进行径向基(RBF)核参数寻优。对比实验表明,网格搜索算法具有一定优势。

一种自适应核SMOTE-SVM算法用于不平衡数据分类

面向不平衡样本集,提出一种自适应核人工合成过采样-支持向量机(synthetic minority oversampling technique-support vector machine,SMOTE-SVM)分类算法。首先通过支持向量机将数据集投影到核空间,找出类边界样本—支持向量(SV),然后基于核距离对少数类样本集的支持向量(SV+)计算其近邻,再根据近邻样本类别分布自适应地选择内插或外推两种方式合成新样本。由于核空间中映射函数无法具体得知,新样本无法用显式表示,因此将生成样本与原始样本一起形成增广Gram矩阵,最终利用SVM实现分类。该算法中样本生成、近邻计算以及SVM分类均统一在同一核空间中,提高了新样本的可信性;同时自适应插值方式改善了传统人工合成过采样技术(SMOTE)线性生成算法不适用于非线性分类的问题,提高了新样本的多样性。在多个数据集上的实验结果表明,所提算法可以改善不平衡数据的分类准确率,具有更好的稳健性。

最小二乘支持向量机变型算法研究

推导出最小二乘支持向量机(LSSVM)的分类几何意义,再将近似支持向量机(PSVM)等价推广至回归问题,最后提出PSVM的另一种非线性模型——直接支持向量机(DSVM).与LSSVM相比,PSVM和DSVM增强了问题的凸性,计算复杂度低.且对非线性时,DSVM比PSVM更简单,替换核函数就可实现线性与非线性的统一.数值实验表明,线形情况下PSVM比LSSVM的训练速度至少快一倍,非线性时,DSVM比PSVM速度要快一倍左右;在泛化能力方面线性PSVM不低于LSSVM,非线性时DSVM最高.

基于加权合成核与三重Markov场的极化SAR图像分类方法

马尔可夫随机场(Markov Random Field,MRF)广泛用于处理遥感图像的分类问题,然而MRF在构建极化合成孔径雷达(Synthetic Aperture Radar,SAR)图像模型时未考虑其非平稳特性且对初始分类较为敏感,为此本文提出了一种基于加权合成核与三重马尔可夫随机场(Triplet Markov Field,TMF)的极化SAR图像分类方法.该方法依据训练样本在特征空间上的距离,提出了加权合成核函数权重系数的自适应确定方法以提高初始分类的精度和普适性;为充分考虑极化SAR图像的非平稳统计特性,利用TMF对极化SAR图像进行统计建模以实现贝叶斯分类.实验结果表明,与基于MRF的极化SAR图像分类方法相比,本文所提方法可获得更高的分类精度和更平滑的同质区域分类结果,而且本文方法能更好地保持图像边缘信息.

结合分水岭分割的合成核SVM高光谱分类

高光谱图像丰富的光谱信息使其在目标检测、地物分类等领域都具有重要应用,分类作为高光谱应用的重要中间步骤引起了广泛关注。高光谱图像空间信息刻画了光谱像素点与近邻关系,可以较好地弥补单纯使用光谱信息难以解决的同物异谱、同谱异物以及高维小样本等问题。传统预处理方式空间信息的使用是基于固定结构(如方窗)选择空间近邻以计算空间特征辅助分类,但会因窗口大小而影响空间特征质量。为此本文提出了结合分水岭分割的合成核支持向量机(Support vector machine,SVM)高光谱分类,根据分水岭分割图自适应选择优质的空间近邻,然后通过合成核SVM有效地把空间信息融入到原光谱信息分类中。实验表明,本文方法更好地利用了空间信息,实现在少量样本下高光谱图像的快速高精度分类。

卷积自编码器融合核近似技术的异常检测模型

图像中的异常检测是计算机视觉中非常重要的研究主题,它可以定义为单分类问题;针对图像数据集的规模大,维度高等特性,一种新的深度卷积自编码器(CAE,convolutional autoencoder)与核近似单分类支持向量机(OCSVM,one class support vector machine)相结合的异常检测模型CAE-OCSVM被提出;模型中的深度卷积自编码器负责学习图像的本质特征表示,然后使用随机傅里叶特征对卷积自编码器学习到的本质特征进行核近似,核近似后输入线性单类支持向量机进行图像异常检测;核近似技术克服了核学习技术时间复杂度高的问题;同时深度卷积自编码器与核近似单类支持向量机通过梯度下降法实现了端到端的学习;模型的AUC性能在4个公开的图像基准数据集上进行了实验验证,同时模型与其它常用的异常检测模型在不同的异常率的情况下进行了性能对比;实验结果证实CAE-OCSVM模型在4个公开图像数据集上的性能都优于其它异常检测模型,表明了CAE-OCSVM模型更适合大规模高维数据集的异常检测。

多核学习方法

多核学习方法是当前核机器学习领域的一个新的热点.核方法是解决非线性模式分析问题的一种有效方法,但在一些复杂情形下,由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求,因此将多个核函数进行组合,以获得更好的结果是一种必然选择.本文根据多核的构成,从合成核、多尺度核、无限核三个角度,系统综述了多核方法的构造理论,分析了多核学习典型方法的特点及不足,总结了各自的应用领域,并凝炼了其进一步的研究方向.

一种基于DGMF与PSO的多核SVM

目前常用的支持向量机采用传统的单一高斯核函数,或者传统高斯核函数与多项式核函数的组合,但是存在着分类器泛化推广能力不强,容易出现数据偏斜等问题。鉴于此,提出了基于DGMF的多核支持向量机、并采用粒子群算法优化其参数。最后构造了文本倾向性分类实验,实验结果表明改进算法在正确率、准确率、召回率、F1值上具有更好的性能。

从SVC核到SVR核的非正定问题的研究

从支持向量回归机的几何框架出发,用理论推导和仿真的方法,提出了两种从SVC到SVR的核函数转换中引起的核函数非正定性问题的解决方法。一是通过引入空间映射变换保证所得到的SVR的核函数是正定的;二是利用近似SVR模型解决具有非正定核的SVR模型的不可解问题。仿真结果表明,该两种方法能够基本解决上述问题。

支持向量机算法和软件ChemSVM介绍

Vladimir N.Vapnik等提出的统计学习理论(statistical learning theory,简称SLT)和支持向量机(support vector machine,简称SVM)算法已取得令人鼓舞的研究成果。本文旨在对这一新理论和新算法的原理作一介绍,并展望这一计算机学界的新成果在化学化工领域的应用前景。“ChemSVM”软件提供了通用的支持向量机算法,并将其与数据库、知识库、原子参数及其他数据挖掘方法有机地集成起来。

基于合成核SVM的多波束海底声图像底质分类研究

基于多波束海底声图像中多种特征信息数据的不同特点,以经典的基本统计算法、基于灰度共生矩阵的纹理分析以及基于功率谱比的Pace谱特征提取方法得到3组特征向量,并组合形成4个合成核以代替传统的单核形式,进而采用支持向量机(support vector machine,SVM)进行底质分类研究.通过海试数据处理对该方法进行评价和验证,结果表明该方法可获得比传统单核SVM更高的分类精度,具备实际应用前景.

基于CKCPSVR的改进型永磁调速器的性能预测及优化

设计了一种具有凹槽磁极永磁盘和开槽导体盘结构的永磁调速器。针对该结构的多目标优化问题,采用中心复合设计实验构造了输入样本空间,采用有限元分析得到输出样本空间,从而构造出完备的训练数据集;然后基于合成核分类近似支持向量回归机建立了该装置的优化结构参数与性能指标(即输出转矩和涡流损耗)之间的预测模型;为了尽可能实现输出转矩最大和涡流损耗最小,将两个优化目标转化为"满意度最大"这一单目标问题,并利用空间粒子群优化算法进行求解,得出了满意的结构。有限元仿真结果表明:与标准结构永磁调速器相比,优化之后永磁调速器的性能得到了改善,使得涡流损耗降低了10%,同时输出转矩提高了22%;另外,制造了样机并进行了实验室仿真平台的验证,证实了所提优化设计策略的有效性以及改进型永磁调速器良好的性能。