序贯最小优化的改进算法

序贯最小优化(sequential minimal optimization,简称SMO)算法是目前解决大量数据下支持向量机(support vector machine,简称SVM)训练问题的一种十分有效的方法,但是确定工作集的可行方向策略会降低缓存的效率.给出了SMO的一种可行方向法的解释,进而提出了一种收益代价平衡的工作集选择方法,综合考虑与工作集相关的目标函数的下降量和计算代价,以提高缓存的效率.实验结果表明,该方法可以提高SMO算法的性能,缩短SVM分类器的训练时间,特别适用于样本较多、支持向量较多、非有界支持向量较多的情况.

一种训练支撑向量机的改进贯序最小优化算法

对于大规模问题,分解方法是训练支撑向量机主要的一类方法.在很多分类问题中,有相当比例的支撑向量对应的拉格朗日乘子达到惩罚上界,而且在训练过程中到达上界的拉格朗日乘子变化平稳.利用这一统计特性,提出了一种有效的缓存策略来加速这类分解方法,并将其具体应用于Platt的贯序最小优化(sequential minimization optimization,简称SMO) 算法中.实验结果表明,改进后的SMO算法的速度是原有算法训练的2~3倍.

改进工作集选择策略的序贯最小优化算法

针对标准序贯最小优化(sequential minimal optimization,SMO)算法采用可行方向工作集选择策略所带来的缓存命中率低下问题,给出了SMO类型算法每次迭代所带来的目标函数下降量的二阶表达式,并据此提出了一种改进的工作集选择策略.新策略综合考虑算法收敛所需的迭代次数及缓存效率,从总体上减少了核函数计算次数,因此极大提高了训练效率,并且,它在理论上具有严格的收敛保障.实验结果表明,核函数越复杂,样本维度越高,缓存容量相对训练样本的规模越小,改进工作集选择策略的SMO算法相较于标准SMO算法的性能提高就越显著.

一种改进的序贯最小优化算法

序贯最小优化(SMO)算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。本文分析了SMO迭代过程中目标函数值的变化情况,进而提出以目标函数值的改变量作为算法终止的判定条件。几个著名的数据集的试验结果表明,该方法可以大大缩短SMO的训练时间,特别适用于大样本数据。

基于决策树的模糊序贯最小优化分类器的人脸识别

序贯最小优化算法是一种SVM s(Support VectorM ach ines)训练算法,该算法将一个大型QP(Quadratic Programm ing)问题分解为一系列最小规模的QP子问题,从而避免了多样本情形下的数值解不稳定及耗时问题,同时也不需要大的矩阵存储空间。本文在模糊支持向量机的基础上,提出了基于决策树的模糊序贯最小优化算法并对它进行了分析和研究,在对人脸图像进行独立成分分析后,用该算法进行多类人脸识别。通过在ORL人脸库上的实验结果表明,在样本类别较少的条件下,该算法可以取得较好的效果。

一种基于序贯最小优化改进的支持向量机空间有形小目标识别方法

提出了一种基于序贯最小优化改进的支持向量机空间有形小目标识别方法。首先陈述了空间有形目标识别的意义并分析了其特点,进而提出了一种基于预分类的两级分类识别策略。在此基础上重点针对空间有形小目标识别所具有的小样本学习问题的本质和特点,采用基于序贯最小优化(Sequential Minimal Optimization:SMO)改进的支持向量机解决训练问题,从而提高了训练的效率和精度。最后,通过10类空间有形小目标共1360个成像尺度不大于30×30像素的仿真样本进行仿真检验,结果表明本文所提出的识别方法的正确率达到了98%(训练样本数454,测试样本数906),完全可以满足实际应用需要,而且具有良好的实时性。

求解双边加权模糊支持向量机的序贯最小优化算法

高的计算复杂度限制了双边加权模糊支持向量机在实际分类问题中的应用。为了降低计算复杂度,提出了应用序贯最小优化算法(SMO)解该模型,该模型首先将整个二次规划问题分解成一系列规模为2的二次规划子问题,然后求解这些二次规划子问题。为了测试SMO算法的性能,在三个真实数据集和两个人工数据集上进行了数值实验。结果表明:与传统的内点算法相比,在不损失测试精度的情况下,SMO算法明显地降低了模型的计算复杂度,使其在实际中的应用成为可能。

支持向量机序贯最小优化算法推导的改进

已有文献中的支持向量机SMO算法推导过程计算复杂,该文给出一个简洁推导。整个推导过程没有复杂的计算,除了误差函数外,不需引入其它中间变量。

一种改进序贯最小优化算法的方法

序贯最小优化算法(SMO)是支持向量机(SVM)训练算法中一种十分有效的改进方法,但针对大规模样本数据时,SMO训练速度仍比较慢。为了提高训练速度,在基本保持训练精度的前提下,提出了一种改进优化策略:即跳过部分与精度无关的向量集、提前结束循环、松弛KKT条件以便收缩工作集。经过几个著名的数据集的试验结果表明,此策略可以大幅缩短SMO的训练时间,并且精度没有明显变化。

基于并行处理的序贯最小优化算法

以对称多处理机为硬件基础,采用并行计算的方式对序贯最小优化算法进行改进.实验表明,改进后的算法能够在不影响结果分类器分类精度的前提下,极大地提高支持向量机的训练速度,并且,样本数量越大、维度越高,采用并行算法的训练效率的提高就越显著.

基于样本取样的SMO算法

介绍了一种对样本集取样的方法 ,并在此基础上对序贯最小优化 (sequentialminimaloptimization ,SMO)算法进行了改进 ,提出了取样序贯最小优化 (S SMO)算法 .S SMO算法去掉了大部分非支持向量 ,将支持向量逐渐收集到工作集中 .实验结果表明 ,该方法提高了SMO算法的性能 ,缩短了支持向量机分类器的训练时间 .

基于SMO-SVR的飞机舵面损伤故障趋势预测

飞机舵面出现损伤时,为了更准确的预测状态参量变化情况,提出了一种改进的序贯最小优化支持向量回归(SMO-SVR,Sequential Minimal Optimization Support VectorRegression)预测方法.采用改进C-C平均方法对多元时间序列进行相空间重构,以确定最优嵌入维数m和延迟时间τd.根据所求m和τd建立加权SVR预测模型,并调整了SMO算法的停机准则.利用区间自适应粒子群算法(IAPSO,Interval Adaptive Particle Swarm Optimization)优化SVR参数,以提高参数优化速度.为了验证改进算法的有效性,针对飞机方向舵损伤故障趋势进行了预测和分析,并与径向基函数神经网络(RBFNN,Radial Basis Function Neural Net-work)方法进行了对比,仿真结果表明SMO-SVR预测模型具有很好的预测能力.

基于MKPLS和SQP方法的间歇过程迭代优化控制

采用多向核偏最小二乘(MKPLS)方法建立间歇过程的模型并进行操作条件的优化。由于存在模型失配和未知扰动,基于MKPLS模型的最优控制轨迹在实际对象上往往难以实现最优的产品质量指标。本文利用间歇过程批次间的重复特性与序贯二次规划(SQP)优化算法中迭代计算的相似特点,提出了一种基于MKPLS模型的批次间优化调整策略,使得经过逐步优化调整得到的控制轨迹作用于实际对象时,可以得到更优的质量指标。该方法的有效性在苯乙烯聚合反应器和乙醇流加发酵过程的仿真对象上得到了验证。

基于Isomap的SMO算法及在煤与瓦斯突出预测中的应用

煤与瓦斯突出发生的内在机理复杂,突出影响因素与突出事件之间的相关规律具有不确定性、模糊性,使得基于经验的传统预测方法和基于数学建模的统计预测方法的应用受到很大限制.在研究非线性降维等距特征映射和序贯最小优化算法的基础上,提出一种基于等距特征映射的煤与瓦斯突出序贯最小优化算法,该方法改进了样本向量之间的距离度量,用测地距离代替传统的欧式距离,有助于挖掘高维数据内在的几何结构.实例验证表明,该算法能可靠预测煤与瓦斯突出的危险性分类,实验进一步将Isomap和主成分分析的降维结果相比较,结果显示Isomap优于传统的线性降维技术,这说明非线性降维技术在地学数据分析中具有一定的应用潜力.

加快SMO算法训练速度的策略研究

SMO(序贯最小优化算法)算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。考虑到在SVM的优化过程中并不是所有样本都能影响优化进展,提出了两种删除样本的策略:一种是基于距离,一种是基于拉格朗日乘子的值。在几个著名的数据集的试验结果表明,两种策略都可以大大缩短SMO的训练时间,特别适用于大样本数据。

基于改进SMO的SVDD快速训练算法

针对传统支持向量数据描述(support vector data description,SVDD)训练中存在的训练速度慢、存储核矩阵需要的空间开销大、计算量大、算法效率低等问题,提出一种基于改进序贯最小优化(SMO)算法的SVDD快速训练方法。该算法针对原有SMO算法仅能处理单类样本的缺陷,提出一种可以处理负样本的改进方法,给出详细的计算推导过程,并针对KKT判定条件、工作集选择等关键问题进行改进。试验证明:与传统的SVDD训练算法相比,基于改进SMO算法的SVDD快速训练方法训练时间短,计算量小,分类准确度高,空间开销小,更适合于大规模数据的快速训练,具有较高的工程应用价值。

基于SMO的层次型1-FSVM算法

针对序贯最小优化(SMO)训练算法具有计算速度快、无内负荷的特点,将其移植到模糊一类支持向量机(1-FSVM)中。1-FSVM算法融入层次型偏二叉树结构进行逐步聚类以加快训练速度,并对每个输入向量赋予不同权值以达到准确的分类效果。应用于光识别手写数字集和车牌定位的结果表明,1-FSVM算法具有较高的检测率与较快的检测速度。

一种改进的最小二乘支持向量机及其应用

为了克服传统支持向量机训练速度慢、计算资源需求大等缺点,本文应用最小二乘支持向量机算法来解决分类问题。同时,本文指出了决策导向循环图算法的缺陷,采用自适应导向循环图思想来实现多类问题的分类。为了提高样本的学习速度,本文还将序贯最小优化算法与最小二乘支持向量机相结合,最终形成了ADAGLSSVM算法。考虑到最小二乘支持向量机算法失去了支持向量的稀疏性,本文对支持向量作了修剪。实验结果表明,修剪后,分类器的识别精度和识别速度都得到了提高。

最小二乘分解算法在车型识别中的应用

提出一种最小二乘支持向量机的序贯最小分类分解算法。针对最小二乘支持向量机,通过对核函数的相关变换,将二阶的误差信息归结到优化方程的一阶信息中,从而简化运算过程。采用最优函数梯度二阶信息选择工作集,实现最小二乘支持向量机分解算法,提高了算法的收敛性。采用径向基核函数和交叉验证网格搜索的方法验证算法的分类准确性。实验结果表明,提出的分类算法应用于车型识别中,可以得到比其他分类方法更好的分类准确度。

基于不同惩罚系数的SMO改进算法

为了解决Keerthi改进的序贯最小优化(SMO)算法在处理非平衡数据集时,整体分类性能较低、稳定性差等问题,对两个类别施加不同的惩罚系数的方法对算法作进一步改进,同时给出计算公式及算法步骤。实验结果表明,该算法不但提高了处理非平衡数据集的能力,也进一步提高了其稳定性。