A Fast Algorithm for Training Large Scale Support Vector Machines

The manuscript presents an augmented Lagrangian—fast projected gradient method (ALFPGM) with an improved scheme of working set selection, pWSS, a decomposition based algorithm for training support vector classification machines (SVM). The manuscript describes the ALFPGM algorithm, provides numerical results for training SVM on large data sets, and compares the training times of ALFPGM and Sequential Minimal Minimization algorithms (SMO) from Scikit-learn library. The numerical results demonstrate that ALFPGM with the improved working selection scheme is capable of training SVM with tens of thousands of training examples in a fraction of the training time of some widely adopted SVM tools.

基于LSVM分类鉴定器的脱机签名鉴定研究

针对脱机中文签名鉴定,主要对脱机签名鉴定的特征抽取和比较决策做进一步的研究。在特征提取与选择上,在参考国内外一些成熟方法的基础上做相应的改进和尝试,使用静态形状特征和伪动态特征相结合的方法,提出一种新的高灰度稳定区特征,在特征选择上采用一种把概率距离法中的Bhattacharyya距离和特征本身综合起来考虑的方法;在比较决策上,采用比标准SVM算法速度更快,更易于实现的LSVM算法作为分类鉴定的方法,取得了较好的效果。

GATS-LSVM:新的网络入侵检测方法

针对现有网络入侵检测方法的不足,提出了一种新的网络入侵检测方法——GATS-LSVM算法。该方法采用遗传算法(GA)与禁忌搜索(TS)相混合的搜索策略对特征子集空间进行随机搜索,利用提供的数据在无约束优化线性支持向量机(LSVM)上的分类错误率作为特征子集的评估标准获取最优特征子集,从而有效地对入侵进行检测。大量基于著名的KDD Cup 1999数据集的实验表明,该新方法相对于其它一些传统的网络入侵检测方法,能在保证较高检测率的前提下,有效地降低误报率、入侵检测的计算复杂度和提高检测速度,能更适用于现实高速网络应用环境。

PSVM，LSVM和NLSVM三种SVM分类算法的比较

支持向量机(SVM)是数据分类的强大工具,本文对三个分类算法进行了比较。这三个算法是最近SVM(PSVM),Lagrangian SVM(LSVM)和有限牛顿LSVM(NLSVM),比较了三个算法给出线性分类器的过程以及算法的速度和精度,提供了用SVM方法分类问题时的导向。

基于Lagrangian支持向量机的机械手鲁棒自适应控制

提出了一种基于Lagrangian支持向量机的不确定机械手鲁棒自适应控制方法。Lagrangian支持向量机采用梯度投影法学习机械手系统的未知部分,来对机械手系统进行非线性补偿。根据Lyapunov稳定性理论设计自适应律进一步在线调整支持向量机的参数,并叠加一个滑模控制项,以保证控制系统的稳定性和鲁棒性。对两关节机械手的仿真结果证明了以上控制方法的有效性。

基于LSVM的个人信用评估

基于LSVM(Lagrangian Support Vector Machine)分类算法分析,设计了通用的银行个人信用特征数据,研究了LSVM在个人信用评估中的应用,实证结果表明,LSVM具有较好的分类预测能力。

基于KPCA-LSSVM的硅锰合金熔炼过程炉渣碱度预测研究

针对硅锰合金熔炼过程中炉渣碱度在线检测困难、离线化验滞后大,难以实现实时控制的问题,提出了一种基于核主元分析(KPCA)与最小二乘支持向量机(LSSVM)相结合的预测方法。该方法通过KPCA去除样本数据的噪声,提取输入数据空间中的非线性主元,然后利用LSSVM回归算法建立硅锰合金熔炼炉炉渣碱度预测模型,工业生产过程数据仿真结果表明,与SVM或LSSVM建模方法相比,KPCA-LSSVM预测模型的测量精度高、跟踪性能好,能满足炉渣碱度的在线测量要求。

基于支持向量机的中文文本自动分类研究

根据文本数据学习的特点，采用线性支持向量机（LSVM）学习算法，实现了一个中文文本自动分类系统，并对该系统进行了针对大规模真实文本的试验测试。结果发现，系统的招回率较低，而准确率较高，该文对此结果进行了分析，并提出了一种采用训练中拒识样本信息对分类器输出进行改进的方法，试验表明，该方法有效地提高了系统的性能，取得了令人满意的结果。

应用可见/近红外光谱进行纺织纤维鉴别的研究

为了实现纤维种类的快速鉴别,选用了棉、麻、毛、丝、天丝5种纤维,提出了一种用近红外光谱技术快速无损鉴别纤维品种的新方法。应用可见/近红外光谱漫反射技术测定各种纤维的光谱曲线,用主成分分析方法(PCA)对光谱数据进行模式特征分析,根据主成分的累积贡献率选用前6个主成分数进行建模和预测,通过建立最小二乘支持向量机模型(LS-SVM)对主成分分析模型进行优化,将前6个主成分作为最小二乘支持向量机的输入变量,建立PCA-LS-SVM模式识别模型,实现类别预测的同时也完成了数学建模与优化分析工作。5个品种的纤维训练集样本200个用于PCA-LS-SVM的模型的建立,对其余预测集样本50个进行验证,结果能准确的区分预测集的5种纤维。并提出主成分分析结合最小二乘支持向量机的光谱数据分析方法具有很好的分类和鉴别作用,为纤维品种快速鉴别提供了一种新方法,为维护消费者权益,保证纺织品质量,实现纺织原料及其制品的合理化生产与交易具有重要的意义。

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。

基于隐SVM和混合高斯模型的目标检测算法

针对目标检测算法的复合检测模板与变形约束进行研究,在目标外观状态满足高斯分布的前提下,提出一种结合隐支持向量机(LSVM)和混合高斯模型(GMM)的目标检测算法。使用滑动窗算法提取检测目标的梯度方向直方图特征,通过引入二次损失函数,将LSVM在目标检测训练过程中的半凸约束问题转化为凸优化问题,并利用GMM获得目标检测的全局优化结果。实验结果表明,相比双树分枝界限算法和DPM算法,该算法具有更高的目标检测准确率。

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义。借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析。数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势。

拉格朗日支持向量回归的有限牛顿算法

拉格朗日支持向量回归是一种有效的快速回归算法,求解时需要对维数等于样本数加一的矩阵求逆,求解需要较多的迭代次数才能收敛。采用一种Armijo步长有限牛顿迭代算法求解拉格朗日支持向量回归的优化问题,只需有限次求解一组线性等式而不需要求解二次规划问题,该方法具有全局收敛和有限步终止的性质。在多个标准数据集上的实验验证了所提算法的有效性和快速性。

支持向量机简化算法中支持向量与违背对的几何意义

阐述了支持向量机的一般简化训练算法,对支持向量机一般简化训练算法中起实质作用的支持向量和对应乘子之间的关系进行了理论分析,借助图形,直观地分析了支持向量相对于决策面的几何关系。通过对简化算法终止条件的分析,进一步分析和探讨了违背KKT条件的对的几何含义。

MK-LSSVM与AdaBoost-SVM在分类中的比较和研究

对基于多核函数的最小二乘支持向量机算法(MK-LSSVM)和采用支持向量机作为弱分类器的AdaBoost算法(AdaBoost-SVM)这两种新型的分类算法进行了研究。将这两种算法应用于求解心脏单光子发射计算机化断层显像(SPECT)图像数据的二分类问题和iris数据集的多分类问题,并从平均分类精度和平均运行时间两方面进行比较分析。最后通过Sammon映射给出了分类的可视化结果。试验结果验证了MK-LSSVM算法和AdaBoost-SVM算法的有效性和可行性,且MK-LSSVM算法在不损失分类精度的前提下,能够获得比AdaBoost-SVM更快的训练速度。

基于可变形部件模型的台标识别方法

背景变化复杂、部分台标相似度高、拉伸变形等因素增加了台标识别的难度,降低了识别的准确率。为此,提出了一种鲁棒的基于可变形部件模型的台标识别方法。依据台标特性,利用合适的颜色特征对可变形部件模型的特征进行了改进和增强;利用隐式支持向量机和隐式线性判别分析技术加速台标识别模型训练。为了弥补可变形部件模型的不足,设计了一种基于加权部件的计算方法,提出一种新的可靠机制进行准确率评价。实验结果表明,与基于方向梯度直方图和支持向量机的识别方法相比,该方法具有更高的识别准确率,性能更加稳定。

高维数据的1-范数支持向量机集成特征选择

特征选择是机器学习和模式识别领域的关键问题之一。随着模式识别与数据挖掘的深入,研究对象越来越复杂,对象的特征维数也越来越高,此时特征选择的稳定性也显得尤为重要。分析了1-范数支持向量机,用该方法对高维数据进行特征选择,并对特征选择的结果进行集成;提出了一种针对高维数据的稳定性度量方法;在基因表达数据上的实验结果表明,集成特征选择可以有效提高算法的稳定性。

应用交替线性化方法解决支持向量机问题(英文)

提出了一种新的解决稀疏支持向量机的方法-基于经典增广拉格朗日框架的交替线性化法.数值结果证明我们方法的有效性.

基于DCNN特征与集成学习的车型分类算法

针对传统人工设计特征描述不充分及单分类器泛化能力弱等问题,提出一种基于深度卷积神经网络(DCNN)特征与集成学习相结合的车型分类算法。微调VGG16深度卷积神经网络模型,将全连接层Fc7输出的4096维矢量采用PCA方法降至100维,作为图像的特征表示;采用拉格朗日支持向量机(LSVM)作为基分类器,以Adaboost方法自动学习各样本及基分类器的权重实现分类器集成。基于BIT和MIO-TCD数据集的对比实验结果表明,平均分类精度分别达到84.5%与83%,优于其它传统特征与单分类器方法。

基于多重判据的闪变源智能定位

闪变源定位是解决闪变引起的供用电双方矛盾的关键。本文提出一种基于多重判据的闪变源智能定位法。首先分析了4种典型的闪变源定位方法并提取相应的闪变特征量。然后采用线性支持向量机算法对数据样本进行智能学习,有效利用定性特征量与定量特征量形成互补,在多维特征空间中构建上下游最优分类面,进而判断闪变源的位置。该方法通过智能学习代替了人工经验,将电力系统网络架构信息存储在线性支持向量机的权值中,可适用于多种情况下闪变源定位。最后采用33节点网络仿真对该模型进行验证。结果显示,与传统单一定位方法相比,该法具有更高的定位正确率,且能在附加一定白噪声条件下准确定位闪变源。