支撑向量机回归的简化SMO算法

统计学习理论中提出的支撑向量机回归(SVR)遵循了结构风险最小化原则,从而避免了一味追求经验风险最小化带来的弊端。采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上提出了一种用于SVR的简化SMO算法。与SVR现有的SMO算法相比,简化算法的数学形式简洁直观,在不增加算法空间和时间复杂度的前提下避免了大量繁复的判别条件,较大幅度地简化了算法实现,有利于SVR的广泛使用。

SMO算法的简化及其在非正定核条件下的应用

SMO算法是求解大型支持向量机(SVM)的有效算法.已有的算法都必须判定4个Lagrange乘子位于哪个象限,从而使算法的实现更为复杂.此外,现有算法都假定核矩阵是正定的或半正定的,因此使其应用受到了限制.考虑到传统算法的不足,提出了一种用于-εSVR的简化SMO算法,进而将其用于求解非正定核的-εSVR.与已有的算法不同,通过将-εSVR的原始规划问题进行展开并求解其KKT条件,提出的算法只需考虑2个Lagrange乘子,从而有效地简化了算法的实现,并能方便地应用于非正定核SVR的求解.采用一个常用于衡量预测误差的函数对算法进行了测试,实验表明,与-εSVR现有的SMO算法相比,在不增加空间复杂度和时间复杂度的前提下避免了大量繁琐的判别条件,简化了算法的实现,这就为不同的损失函数所对应的SVR提供了一个通用的SMO算法,从而有利于SVR的推广应用.另外,提出的求解非正定核的ε-SVR的方法也为求解其他的非正定核SVR提供了一个思路.

基于SMO算法的皮带撕裂红外图像检测方法

针对运煤皮带经常性的纵向撕裂问题,考虑到煤码头复杂环境引起的检测不精确性,提出基于序列最小最优化(SMO)算法的红外图像检测方法。由于煤码头存在着大量的水雾和粉尘,将在很大程度上影响图像的提取和处理。通过获取运煤皮带的红外图像,采用SMO算法构建决策模型并对红外图像进行分割。由实验效果图可得,分割效果良好,辨识度高,并从检测精度和分割时间两个角度出发,通过对比BP神经网络算法、SVM算法和SMO算法,表明SMO算法不仅预测精度高,而且实时性好,能够满足皮带撕裂图像检测的诊断要求。

一种改进的SMO算法

In this paper we have pointed out an important source of inefficiency in SMO algorithm that is caused bythe operation with a single threshod value. We have suggested modifications of SMO algorithm that overcome theproblem by efficiently maintaining and updating two threshold parameters. Our experiments show that these modifi-cations speed up the SMO algorithm.

支持向量机的SMO算法及其自适应改进研究

提出在SMO算法上应用自适应学习的思想,并利用求解凸二次规划寻优问题的基础上进行改进的研究.研究表明,基于自适应学习的思想对SMO算法进行改进,可使SVM算法更能适应实际应用快速、高效的需求.

SVMlight算法和SMO算法在入侵检测中的比较研究

SVMlight算法和SMO算法在入侵检测领域的应用都是近年的研究热点.为了从中找到一种更适合入侵检测的算法,使用不同规模训练集和测试集进行多组实验,从不同角度研究它们在入侵检测中的特性,从检测精度、误报率和漏报率方面研究探讨两种算法各自在入侵检测中的优劣,并进行综合比较研究,找出了较优的算法为SMO算法.

基于SMO算法的中央空调螺杆式压缩机故障自动检测技术

中央空调螺杆式压缩机的工作马达和压缩机各个零件被密封在一个机箱中,操作不当很有可能使压缩机电机出现过载的情况而发生故障。因此,提出了基于SMO算法的中央空调螺杆式压缩机故障自动检测技术。故障检测装置由PCI总线安装在工控计算机内,并集合Labview软件和PCI1710驱动程序,实现对故障的特征提取,根据不同的故障特征,设置其相对应的特征向量,组成训练样本和测试样本。通过一对一分类算法建立多元分类器,测试样本,根据测试结果判断压缩机出现故障的部位,实现对压缩机故障自动检测。实验以首都师范大学螺杆机机组维修数据为样本进行实验分析,结果表明所提方法具有较高诊断效率且性能良好,适合压缩机的故障识别。

求解非正定核Huber-SVR的SMO算法

通过运用SMO分解思想和支持向量回归机SVR模型的约束条件,将SVR模型的求解问题转化成一系列的给定区间内抛物线的最小值求解问题,对于非正定核而言由于只改变其中部分抛物线的开口方向,因而可以求得其最小值。据此提出了一种可以求解非正定核的Huber-SVR的SMO方法,推导出了相应的迭代公式并设计了相应的算法。由于用该算法可以求解具有非正定核的SVR,因此可用具有非正定核的Huber-SVR进行回归和预测实验,并与正定核的Huber-SVR的实验结果进行比较。实验表明,对于Huber-SVR而言,某些非正定核比正定核有更好的回归和预测性能,这说明了求解非正定核的Huber-SVR的SMO算法的有效性和必要性。这一算法也可以推广到其它SVR中。

Keerthi的SMO算法的偏置计算改进

指出Keerthi的SMO算法存在的问题。该算法由于采用"取中法"求偏置,在优化条件不满足的情况下,偏置值有可能出现偏差,从而劣化SVM的建模性能。该文从SVM回归的原问题出发,导出求偏置的新方法并将其归结为一维凸函数最优化问题,将新算法应用于高斯函数的回归和记忆非线性功率放大器的预失真器的建模中,结果显示了新算法的正确性和有效性,建模精度提高10%左右。

一种基于FoBa算法思想的支持向量机稀疏SMO算法研究

目前的支持向量机解析方法,如SMO算法在一定程度上解决传统支持向量机实现方法需要高额存储空间的问题,而对支持向量数目的约减并未过多关注,算法的稀疏性有待进一步提高。该文将FoBa算法对特征进行约减的思想引入SMO算法中,对训练产生的作用甚微的支持向量进行约减,提出了稀疏SMO算法。实验结果表明算法在提高预测速度上具有一定的竞争力。

D-最优设计的SMO算法

本文在Fedorov算法的基础上,引入了Schmidt初始化策略,对原算法进行了改进。更进一步地,结合最小体积闭包椭球问题的理论、支持向量机中序列最小最优化(Sequential minimal optimization,简记为SMO)算法思想[2],和Schmidt初始化策略给出了D-最优设计一个新的数值算法——SMO更新算法,并对其复杂度进行了分析。

噪声消除与SMO算法收敛性

近年来,随着序列最小优化分类算法SMO等一系列快速算法的推出,支持向量机在自动文本分类研究领域取得了很大的成功。大多数文本分类问题是线性可分的,使用线性核函数的SMO算法能够取得非常好的分类效果。但是文本向量是一种非常稀疏的向量,采用线性核函数的SMO算法对噪声样本非常敏感,容易产生发散的问题。文章分析证明了噪声如何影响SMO算法收敛性。为了解决训练样本中噪声样本影响SMO算法收敛的问题,设计了一个消除噪声样本的算法,取得了非常好的效果。

一种基于CUDA的并行SMO算法

序列最小优化算法(Sequential Minimal Optimization,SMO)是针对支持向量机算法执行速度慢而提出来的,它通过最小化分块来加速算法,对不同数据集来说,其算法加速可达100x^1 000x。但是随着数据量的增大,其算法执行时间仍然较慢。为了加速算法,本文结合现代较发达的图形处理单元(Graphics Processing Unit,GPU)计算,通过多处理器并行执行方式,提出对算法并行化。主要的并行点在于确定了两个参数α_1、α_2之后,求解局部最优,从而更新所有参数的过程是天然并行的,而且SIMD形式的并行性非常符合GPU的运算模式,通过将计算量大的参数更新部分转移到GPU进行计算,可以加速整个算法的运行。实验表明,并行算法可以达到150倍的加速效果。

SMO算法与决策树算法在医疗科技应用中的对比研究

针对当前医疗科技领域海量、多样的医疗数据而言,SMO算法和决策树算法的应用是最为常见的。文章通过weka计算软件收集并计算数据,将SMO算法和J48算法应用于乳腺癌和心脏病数据分析,通过两方面的比较研究探讨这两种算法的利与弊,为医疗科技的进一步发展提供参考。

一种改进的SMO分类算法

针对序列最小优化(SMO)算法对大规模数据集训练速度慢、分类精度不够高的问题,提出了一种改进方法。该方法对SMO算法的核函数进行改进,通过增大二次项系数的绝对值提高分类正确率,并结合网格搜索法优化基于核函数改进的SMO算法的有关参数。实验结果表明,该算法显著提高了分类的正确性,缩短了算法的建模时间。

超球体单类支持向量机的SMO训练算法

由于One-class支持向量机能用于无监督学习,被广泛用于信息安全、图像识别等领域中。而超球体One-class支持向量机能生成一个合适的球体,将训练样本包含其中,故更适合于呈球形分布的样本学习。但由于超球体One-class支持向量机没有一种快速训练算法,使其在应用中受到限制。SMO算法成功地训练了标准SVM,其训练思想也可用于超球体One-class支持向量机的训练。本文提出了超球体One-class支持向量机的SMO训练算法,并对其空间和时间复杂度进行了分析。实验表明,这种算法能迅速、有效地训练超球体One-class支持向量机。

非半正定核条件下v-SVR的SMO算法

大数据背景下,如何对海量数据进行挖掘是目前研究的一个热点问题。序列最小最优化(SMO)算法是实现支持向量机(SVM)对大数据挖掘的有效算法。现有算法假定核函数是正定或半正定,限制了核函数的选择。为解决这一不足,提出了针对非半正定核v-SVR的SMO算法。所提算法不仅适用于非半正定核,而且具有较好的回归精度。

序贯最小优化的改进算法

序贯最小优化(sequential minimal optimization,简称SMO)算法是目前解决大量数据下支持向量机(support vector machine,简称SVM)训练问题的一种十分有效的方法,但是确定工作集的可行方向策略会降低缓存的效率.给出了SMO的一种可行方向法的解释,进而提出了一种收益代价平衡的工作集选择方法,综合考虑与工作集相关的目标函数的下降量和计算代价,以提高缓存的效率.实验结果表明,该方法可以提高SMO算法的性能,缩短SVM分类器的训练时间,特别适用于样本较多、支持向量较多、非有界支持向量较多的情况.

基于SVM算法的个人信用评估方法的完善

在众多的模式识别工具中,支持向量机(Support Vector Machine,SVM)是一种非常有效的解决工具。提出了基于SVM模型提升金融机构对个人信用评估效率的方法。通过对某银行的用户信用数据进行的研究,设计具体评估流程,利用SVM的SMO算法处理参数优化来构建模型,特点是分类精度高、误判率低,具有较好的稳健性,以此来控制消费信贷风险具有良好的适用性。处理商业银行划分信贷等级,应用此种模式可以解决信贷申请和政策实现,具有一定的实际意义。

记忆非线性功放预失真器SVM建模的算法改进

为提高支持向量机(SVM)ε不敏感损失函数下的回归算法的训练速度,提出了一种新的管道压缩模型,利用大ε值下的回归函数来预测小ε值下回归函数的支持向量。由该模型导出一种新的算法结构。在对记忆非线性功率放大器的SVM预失真器进行建模仿真中,将Keerthy的SMO算法同新的算法结构相结合,结果表明了新算法结构在不损失SVM预失真器性能的基础上,显著地提高了训练速度。