鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

在线鲁棒最小二乘支持向量机回归建模

鉴于工业过程的时变特性以及现场采集的数据通常具有非线性特性且包含离群点,利用最小二乘支持向量机回归(least squares support vector regression,LSSVR)建模易受离群点的影响.针对这一问题,结合鲁棒学习算法(robust learning algorithm,RLA),本文提出了一种在线鲁棒最小二乘支持向量机回归建模方法.该方法首先利用LSSVR模型对过程输出进行预测,与真实输出相比较得到预测误差;然后利用RLA方法训练LSSVR模型的权值,建立鲁棒LSSVR模型;最后应用增量学习方法在线更新鲁棒LSSVR模型,从而得到在线鲁棒LSSVR模型.仿真研究验证了所提方法的有效性.

基于鲁棒最小二乘支持向量机的电机振动故障诊断

对时序数据建模与辨识技术进行了分析,提出了使用鲁棒最小二乘支持向量机(LS-SVM)算法建立自回归移动平均(ARMA)时序预测模型。该模型是在LS-SVM的约束条件中考虑了鲁棒特性和时序模型参数,使之在求解的过程中对孤立点与噪声不敏感,并且能准确地辨识时序模型参数。考虑到电机振动故障诊断的输入输出数据集间存在着复杂非线性时序上的关系,通过用基于鲁棒LS-SVM的ARMA模型预报电机的振动值,从而预测电机振动故障。实验表明该模型在对非线性时间序列预测精度和稳定性上具有明显的优越性,为确保电机正常运行创造了良好条件。

基于鲁棒最小二乘支持向量机的气动参数拟合

最小二乘支持向量机(LS-SVM)比标准支持向量机具有更高的计算效率,但是却散失了标准支持向量机的稀疏特性,而且当考虑异常值或者误差变量的高斯假设不成立时,会导致不稳健的估计结果。为了克服这两个缺点,在飞行器的气动参数拟合计算中引入了一种鲁棒最小二乘支持向量机(RLS-SVM),该方法通过加权的支持向量机来获得鲁棒估计,并通过对支持值谱进行剪枝最终得到稀疏解。仿真结果表明:RLS-SVM方法简单,学习速度快,拟合精度高,鲁棒性强,是一种在飞行器轨迹计算中值得推广和采用的方法。

鲁棒最小二乘支持向量机及其在软测量中的应用

针对最小二乘支持向量机在利用产生于工业现场的非理想数据集进行建模预测时,稀疏化模型鲁棒性差的问题,提出了一种基于模糊C均值聚类和密度加权的稀疏化方法.首先通过模糊C均值聚类将训练样本划分为若干个子类;然后计算每个子类中各样本的可能贡献度,依次从每个子类中选取具有最大可能贡献度的样本作为支持向量;最后更新每个样本的可能贡献度,继续从各个子集中增选支持向量,直至稀疏化后的模型性能满足要求.仿真结果和磨机负荷实际应用表明,该方法能够兼顾模型在整体样本集和各工况子集上的性能,在实现模型稀疏化的同时,能够显著改善最小二乘支持向量机模型的鲁棒性.

鲁棒最小二乘支持向量回归机

针对最小二乘支持向量回归机(LS-SVR)对异常值较敏感的问题,通过设置异常值所造成的损失上界,提出一种非凸的Ramp损失函数。该损失函数导致相应的优化问题的非凸性,利用凹凸过程(CCCP)将非凸优化问题转化为凸优化问题。给出Newton算法进行求解并分析了算法的计算复杂度。数据集测试的结果表明,与最小二乘支持向量回归机相比,该算法对异常值具有较强的鲁棒性,获得了更优的泛化能力,同时在运行时间上也具有明显优势。

基于鲁棒最小二乘支持向量机的齿轮磨损预测

为了降低包含噪声的现场齿轮磨损数据对最小二乘支持向量机(least squares support vector machine,LSSVM)模型稳健性的影响,采用迭代鲁棒最小二乘支持向量机(iteratively robust least squares support vector machine,IRLSSVM)对齿轮磨损数据进行建模和预报.首先,增加权函数迭代次数以保证建模过程的鲁棒性;然后,将具有全局搜索的耦合模拟退火(coupled simulated annealing,CSA)与局部优化的单纯形法(simplex method,SM)相结合的方法用于优化IRLSSVM模型超参数,进而采用鲁棒交叉验证作为CSA-SM算法拟合目标函数,提高IRLSSVM模型超参数优化过程的鲁棒性;最后,利用K727840ZW变速箱现场齿轮磨损数据进行了数值实验,结果验证了所提出方法的有效性.

大坝安全监测的鲁棒最小二乘支持向量机模型

针对目前在大坝监测模型中应用较多的支持向量机模型,以土坝沉降监测实例比较分析了监测数据中是否含有异常值的两种情况的最小二乘支持向量机监测模型的拟合精度与预测精度,发现异常值的影响不容忽视。通过改进支持向量机模型中的损失函数,建立了大坝安全监测的鲁棒最小二乘支持向量机模型(RLS-SVM)。实例分析表明:不论监测数据是否含有异常值RLS-SVM均可达到较好的拟合精度和预测效果,优于普通LS-SVM模型。

基于减量学习的鲁棒稀疏最小二乘支持向量回归机

针对最小二乘支持向量回归机缺乏鲁棒性和稀疏性,提出采用自下而上的学习方式和循环逐一删除样本框架的鲁棒稀疏算法。为增强鲁棒性,采用基于留一误差的鲁棒"3σ"准则检测并删除异常样本。为提高稀疏性,采用基于最小绝对留一误差的剪枝策略删除不重要样本。为降低计算量,采用快速留一误差和减量学习更新模型。实验结果表明:新算法有较强的鲁棒性,同时在模型泛化性能略有下降的情况下,支持向量数目大幅减少。

一种改进的最小二乘孪生支持向量机分类算法

提出了一种新的模式分类器,即广泛权重的最小二乘孪生支持向量机.该支持向量机在正、负两类样本上广泛地增加权重,很好地抑制了交叉噪声样本对数据分类的影响.其次,根据间隔最大化原理,该支持向量机在目标函数上增加了一个正规化项,实现结构风险最小化和避免在求解该目标函数时可能对病态矩阵求逆的处理.同时,提出了利用一种指数函数计算训练样本的密度来获得样本权重值的算法.该算法能够有效缩减计算权重的时间,且具有较强的鲁棒性.实验证明本文提出的广泛权重的最小二乘孪生支持向量机能够实现高精度和高效率的分类效果,而且特别适合于含有交叉噪声样本的数据集分类.

结合HJ卫星影像和最小二乘孪生支持向量机的小麦蚜虫遥感监测

为了准确、及时地监测小麦蚜虫发生情况,利用野外定位调查数据及环境与灾害监测预报小卫星星座HJCCD和HJ-IRS影像数据,在北京市通州区和顺义区小麦蚜虫发生的关键生育期(灌浆期),提取对蚜虫病情影响较大的小麦长势因子和生境因子,利用最小二乘孪生支持向量机建立该研究区的小麦蚜虫监测模型,并与传统支持向量机、费歇尔线性判别分析和学习矢量量化神经网络模型的监测结果进行对比。结果表明:最小二乘孪生支持向量机模型的总体监测精度达到86.4%,优于传统支持向量机模型(77.3%)、费歇尔线性判别分析模型(77.3%)和学习矢量量化神经网络模型(72.7%),取得了较好的监测效果。

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机(twin parametric insensitive support vector regression,简称TPISVR)是一种新型机器学习方法.与其他回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机(least squares TPISVR,简称LSTPISVR).为了解决LSTPISVR的参数选择问题,提出了混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验结果表明:LSTPISVR在保持精度不下降的情况下,具有更高的运行效率.

一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。

基于最小二乘孪生支持向量机的图像拼接检测

图像篡改最基础的手段便是拼接,为了恢复人们对数字图像的信任,图像拼接检测变得非常重要.论文提出一种基于最小二乘孪生支持向量机的图像拼接检测算法,算法对待测图像进行对偶数复小波变换以获取不同的子带图像,对子带图像提取其马尔科夫状态转移概率矩阵,将该概率矩阵作为拼接特征向量送入最小二乘孪生支持向量机训练以获取预测模型,最后根据该模型来判断待测图像是否经过拼接.在哥伦比亚大学无压缩图像拼接检测评估库和哥伦比亚大学图像拼接检测评估库上分别进行实验,与传统算法做对比,实验结果充分证明论文所提算法具有更高的拼接检测准确率.

基于能量的结构化最小二乘孪生支持向量机

针对最小二乘孪生支持向量机对噪声和离群值非常敏感的问题,本文提出了一种基于能量的结构化最小二乘孪生支持向量机。首先对每个类进行聚类分析,然后计算类中各个簇的协方差矩阵并将其引入到目标函数中。其次,为了降低噪声和离群值对算法的影响,本文为每个超平面引入能量因子,在最小二乘的基础上将等式约束转换为基于能量的形式。最后采用“多对一”的策略将提出的算法用于处理多分类问题。研究结果表明:本文提出的基于能量的结构化最小二乘孪生支持向量机具有良好的分类性能。

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。

一种鲁棒回归支持向量机及其学习算法

为了提高支持向量机的泛化能力,给出了一个鲁棒损失函数,利用它建立了鲁棒支持向量机,并利用对偶原理推导出其对偶优化问题的形式,在此基础上设计了局部梯度算法,在这种算法中每次迭代只改变两个优化变量的值。随后分析了算法的收敛性条件,给出了学习步长的选择依据,最后用一个仿真实例来说明所提出的支持向量机的学习性能,比标准支持向量机具有更好的鲁棒性。

改进的最小二乘孪生支持向量机聚类

聚类是模式识别与机器学习领域的基本问题之一,孪生支持向量机聚类是基于平面聚类的新算法,它没有考虑数据分布对聚类效果的影响。为了解决这个问题,本文考虑其余类样本点分布对聚类平面的影响,构造了一种新的权重函数,并给予样本点不同的惩罚,从而降低离群点对聚类效果的影响。在此基础上,提出一种改进的最小二乘孪生支持向量机聚类算法,该算法只需要求解一系列线性方程组问题,无需求解二次规划问题。人工数据集和UCI数据集上的实验验证了所提算法的有效性。

Fisher正则化的最小二乘孪生支持向量机

最小二乘孪生支持向量机是一种有效的模式分类算法,然而每一个训练样本都对最终的决策平面有影响。如果训练集含有噪声或异常点,其会过度关注这些点,这可能导致最小二乘孪生支持向量机的判别能力较差。为了解决这个问题,受Fisher准则思想的启发,本文引入了双Fisher正则化项,并在此基础上提出了Fisher正则化的最小二乘孪生支持向量机。同时,在人工数据集和UCI数据集上验证了所提算法的有效性。