Lagrange双支撑向量回归机

提出一种快速的支撑向量回归算法。首先将支撑向量回归的带有两组约束的二次规划问题转化为两个小的分别带有一组约束的二次规划问题,而每一个小的二次规划问题又采用一种快速迭代算法求解,该迭代算法能从任何初始点快速收敛,避免了二次优化问题求解,因此能显著提高训练速度。在多个标准数据集上的实验表明,该算法比传统支撑向量机快很多,同时具有良好的泛化性能。

最小二乘模糊支撑向量机研究

支撑向量机是以统计学习理论为基础,以结构风险最小化(Structure Risk Minimization,SRM)为原则的新型学习机,已经广泛地用于模式识别、回归估计、函数逼近、密度估计等方面。在对已有的分类问题的SVM算法的研究分析基础上,结合Lin和Wang提出的模糊支撑向量机模型和现有的最小二乘支撑向量机模型得出最小二乘模糊支撑向量机模型。

一种基于支撑向量机的遥感影像不完全监督分类新方法

不完全监督分类是研究在只有目标类训练样本的情况下如何准确地将目标类从数据集中提取出来。在许多遥感应用问题中,往往只需要从遥感影像中提取某一类地物。如果分类过程中只要选取目标类训练样本,将节省在训练样本选取过程中的大量人力物力。因此不完全监督分类是一个值得研究的遥感分类问题。提出了一种基于加权无标识样本支撑向量机(WUS-SVM),并在其基础发展出一种不完全监督分类方法。该方法分3个步骤:(1)在影像中随机选取一定量的无标识样本,将它们作为具有不同权重的非目标类训练样本;(2)用目标类的训练样本和加权无标识训练样本一起训练WUS-SVM,得到初步的分类器;(3)利用初步的分类器确定无标识样本的类别,并与原目标类训练样本一起再次训练SVM得到最终的分类器。通过对模拟数据和遥感影像的分类试验初步证明了该分类方法的有效性。

加权稳健支撑向量回归方法

给出一类基于奇异值软剔除的加权稳健支撑向量回归方法(WRSVR).该方法的基本思想是首先由支撑向量回归方法(SVR)得到一个近似支撑向量回归函数,基于这个近似模型给出了加权SVR目标函数并利用高效的SVR求解技巧得到一个新的近似模型,然后再利用这个新的近似模型重新给出一个加权SVR目标函数并求解得到一个更为精确的近似模型,重复这一过程直至收敛.加权的目的是为了对奇异值进行软剔除.该方法具有思路简捷、稳健性强、容易实现等优点.实验表明,新算法WRSVR比标准SVR方法、稳健支撑向量网(RSVR)方法和加权最小二乘支撑向量机方法(WLSSVM)更加稳健,算法的逼近精度受奇异值的影响远小于SVM、RSVR和WLSSVM算法.

大样本领域自适应支撑向量回归机

针对回归问题中存在采集数据不完整而导致预测性能降低的情况,根据支撑向量回归机(support vector regression,简称SVR)等价于中心约束最小包含球(center-constrained minimum enclosing ball,简称CC-MEB)以及相似领域概率分布差异只与两域各自的最小包含球中心点位置有关的理论新结果,提出了针对大数据集的领域自适应核心集支撑向量回归机(adaptive-core vector regression,简称A-CVR).该算法利用源域CC-MEB中心点对目标域CC-MEB中心点进行校正,从而提高目标域的回归预测性能.实验结果表明,这种领域自适应算法可以弥补目标域缺失数据的不足,大大提高回归预测性能.

最小方差支撑向量数据域描述

支撑向量数据域描述(SVDD)是一种已经得到了广泛应用的核方法,但是其在构建超球时没有充分考虑数据分布信息。针对此问题,首先等价改写了SVDD算法优化问题,然后重新定义了该优化问题中的距离定义形式,进而提出了最小方差支撑向量数据域描述(MVSVDD)算法。该算法充分考虑数据的分布信息。实验结果表明,相对于传统SVDD算法,MVSVDD在泛化能力上得到了较为明显的提高,体现出了更好的描述数据域的能力。

基于数据深度的支撑向量估计

针对支撑向量机分类问题,提出了利用空间秩深度估计两类样本潜在支撑向量的方法。首先计算出样本在相对本类和相对于异类的深度,然后取其比值作为相对深度。注意到样本相对深度在交界面位置较大的特性,我们用相对深度估计样本中的潜在支撑向量。对非线性分类问题,我们给出了特征空间下的深度计算公式,拓宽了算法的适用范围。利用潜在支撑向量信息,我们不仅可以除去大量的计算冗余样本,而且可以利用边界信息通过修正核提高支撑向量机的分类性能。

在线Lagrangian支撑向量回归

为快速求解在线支撑向量回归算法,给出了一种基于Lagrangian支撑向量回归(LSVR)的在线增量学习算法.LSVR得到的无约束最优化问题可以采用快速迭代算法求解,该迭代算法可以从任何初始点收敛.LSVR求解时,在迭代开始只需要对阶数为输入样本数加一的矩阵求逆.在线增量LSVR学习算法在线性情况下采用S-M-W公式可以明显减少运算时间,在非线性情况下矩阵求逆充分利用了历史学习结果,减少了很多重复计算.通过在多个数据集上进行对比,实验结果表明:该算法与以前算法相比不仅保持了较好的精度,同时训练时间大大减少.

支撑向量机及其遥感影像空间特征提取和分类的应用研究

提出了基于支撑向量机 (SVM)的遥感影像空间特征提取的新方法 ,并以SPOT全色波段影像上城市特征信息的提取为应用实例 ,并与人工神经网络 (ANN)等特征提取方法进行综合比较 ,认为SVM方法不但能够获得比较高的分类精度 ,而且在学习速度、自适应能力、特征空间高维不限制、可表达性等方面具有优势。

基于无监督聚类的约简支撑向量机

为解决标准支撑向量机算法所面临的巨大的计算量问题,Lee和Mangasarian提出了约简支撑向量机算法;但他们选取的“支撑向量”是从训练样本里面任意选的,其分类结果受随机性影响比较大。该文利用简单的无监督聚类算法,在样本空间中选取了一些具有较强代表性的样本作为“支撑向量”,再运用约简支撑向量机算法,有效地减少了运算量。实验验证文中方法可以用较少的“支撑向量”来得到较高的识别率,同时运行时间也大大缩短。

基于支撑向量机方法的短期负荷预测

首次将支撑向量机(SVM)方法及改进的序列极小化(SMO) 学习算法引入短期负荷预测领域。该方法具有预测能力强、全局最优及收敛速度快等显著特点。实际算例表明,对于短期负荷预测问题,支撑向量机方法在预测精度和运算时间方面都优于前向网络、径向基网络等方法。

多项式光滑的支撑向量机

数据分类问题是数据挖掘研究的一个热门课题 .它是根据对数据样本集合建模 ,得到最优的分类器 ,从而可以对未知数据进行分类 .支撑向量机是二分类问题的一个分类模型 ,模型的结果表现为支撑向量 .Lee和Man gasarian在 2 0 0 1年提出了使用Sigmoid函数的积分函数作光滑的支撑向量机模型SSVM .该文研究了用多项式函数作光滑的支撑向量机 (PSSVM)模型 ,并提出了两个用于光滑多项式的函数 .根据模型特点 ,应用BFGS方法以及NewtonArmijo方法进行求解 ,数值实验结果表明PSSVM模型在分类性能上优于SSVM模型 .

结合高斯马尔可夫随机场纹理模型与支撑向量机在高分辨率遥感图像上提取道路网

在高分辨率遥感图像上,道路网的同物异谱现象更为突出,因此其提取难度更大。提出了一种马尔可夫随机场纹理模型与支撑向量机分类相结合的道路网提取方法。其基本过程是:利用高斯马尔科夫随机场模型6个归一化特征值进行支撑向量机的分类得到道路斑块,利用形态学算子对其进行初步连接并提取轴线,然后通过斑块轴线的启发式连接得到最终道路网。试验证明方法是有效的。

基于向量投影的支撑向量预选取

支撑向量机是近年来新兴的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出了突出的优点.但在支撑向量机中,支撑向量的选取相当困难,这也成为限制其应用的瓶颈问题.该文对支撑向量机的机理经过认真分析,研究其支撑向量的分布特性,在不影响分类性能的前提下,提出了基于向量投影的支撑向量预选取法,从训练样本中预先选择具有一定特征的边界向量来代替训练样本进行训练,这样就减少了训练样本,大大加快了支撑向量机的训练速度.

基于支撑向量回归的高光谱混合像元非线性分解

提出了基于支撑向量回归的高光谱混合像元自动分解。首先利用投影迭代的方法自动寻找到影像的典型地物光谱,然后利用Hapke近似函数模拟出非线性的训练和测试数据。支撑向量回归的混合像元分解方法与基于基函数分解方法的不同点是不需要预先确定非线性的映射形式,它通过核函数,把像元矢量从低维空间映射到高维特征空间,使得在特征空间中构造的线性光谱组合对应着原始空间(像元空间)的非线性组合特性,从而揭示了典型地物光谱之间的高阶性质,提高了混合像元的分解精度。实验结果证明,这种方法具有很高的混合像元的分解精度。利用模拟数据作分解精度的评价,表明97%以上的像元分解绝对误差不大于10%,而各类总体平均平方根误差均小于3.5%。

基于线性光谱模型和支撑向量机的软硬分类方法

针对硬分类方法中无法解决的混合像元问题及软分类方法中全图共用一套端元进行混合像元分解所带来的弊端,提出了一种新的软硬分类方法。该方法通过分析目标地物在图像中的分布情况,自动计算判别阈值,将图像分为目标地物纯净区域、目标地物混合区域和非目标地物区域。对于目标地物纯净区域和非目标地物区域采用硬分类方法(支撑向量机)快速提取分类信息;对于目标地物混合区域采用软分类方法(端元可变的线性混合像元分解)提取目标地物丰度信息,最后得到目标地物软硬分类结果。通过对北京地区ALOS图像的应用试验,并将新方法与支撑向量机、线性光谱混合模型进行比较,新方法的RMSE值为0.203,总量精度达到95.48%,高于支撑向量机和线性光谱混合模型。实验结果表明,新方法能够有效解决混合像元问题,提高图像分类精度。

一种训练支撑向量机的改进贯序最小优化算法

对于大规模问题,分解方法是训练支撑向量机主要的一类方法.在很多分类问题中,有相当比例的支撑向量对应的拉格朗日乘子达到惩罚上界,而且在训练过程中到达上界的拉格朗日乘子变化平稳.利用这一统计特性,提出了一种有效的缓存策略来加速这类分解方法,并将其具体应用于Platt的贯序最小优化(sequential minimization optimization,简称SMO) 算法中.实验结果表明,改进后的SMO算法的速度是原有算法训练的2~3倍.

一种基于支撑向量机学习预测井眼轨迹的新方法

对影响井眼轨迹的几个主要因素进行了分析,提出了一种利用小样本统计学习理论中的支撑向量机来进行井眼轨迹预测的新方法,介绍了用于非线性回归估计的支撑向量机的基本原理,通过对一口或几口已钻井的轨迹数据、钻进方式和底部钻具组合结构参数进行学习训练支撑向量机,建立了井眼轨迹的支撑向量机预测模型,并利用多口实钻井的轨迹数据进行了验证。结果表明,这种新方法的预测精度远高于传统的定曲率几何预测方法。

基于支撑向量机概率输出的高光谱影像混合像元分解

提出利用支撑向量机(SVM)后验概率来分解高光谱影像的混合像元,通过支撑向量机的输出值转化为两两配对的后验概率,再由两两配对的概率值求得多类后验概率,并以像元所属类别的后验概率作为地物的组分信息。实验结果表明,该方法能较好地估计出混合像元的组分比。

支撑向量机回归的简化SMO算法

统计学习理论中提出的支撑向量机回归(SVR)遵循了结构风险最小化原则,从而避免了一味追求经验风险最小化带来的弊端。采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上提出了一种用于SVR的简化SMO算法。与SVR现有的SMO算法相比,简化算法的数学形式简洁直观,在不增加算法空间和时间复杂度的前提下避免了大量繁复的判别条件,较大幅度地简化了算法实现,有利于SVR的广泛使用。