新型非平行平面支持向量回归机及其应用

支持向量回归机(SVR)和孪生支持向量回归机(TSVR)是机器学习中的常用算法。受TSVR启发,针对SVR训练速度和预测精度问题,提出一种新型非平行平面支持向量回归机(NNHSVR)。NNHSVR的优势如下:(1)NNHSVR模型构造的是两个较小规模的二次规划问题,最终求解得到2个非平行平面,训练速度较SVR快;(2)NNHSVR在目标函数中加入调节参数u,对边界函数进行约束,使得模型对离群点更加鲁棒。人工数据集和UCI数据集上的实验表明:NNHSVR算法不仅有较好的泛化性能,而且训练速度快。将NNHSVR算法应用于传染病预测问题,取得了比传统传染病预测模型BP神经网络更好的效果。

基于L1范数损失的非平行支持向量回归机

针对NPSVR训练速度和预测精度问题,提出一种基于L1范数损失的非平行支持向量回归机L1NPSVR模型,用于预测数值输出。L1NPSVR通过求解两个较小规模的凸规划问题,建立一个ε_(1)-不敏感的下界函数和一个ε_(2)-不敏感的上界函数。在L1NPSVR模型中,每个优化问题同时最小化训练样本的L1范数损失和铰链损失,以保证模型的稳定性,减轻噪声和异常值的影响。L1NPSVR通过求解一对更小的优化问题来提高模型的运行效率。仿真结果验证了所提出方法的可行性及有效性。

求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.

一类非平坦函数的多核最小二乘支持向量机的鲁棒回归算法

给出了标准最小二乘支持向量机的数学回归模型,并提出了多核最小二乘支持向量机算法,用于提高非平坦函数的回归精度.运用谱系聚类方法解决多核最小二乘支持向量机的解缺乏稀疏性的问题.利用偏最小二乘回归方法对多核最小二乘支持向量机进行了鲁棒回归.通过仿真实例证实了所提方法的有效性.

从支持向量机到非平行支持向量机

非平行支持向量机是支持向量机的延伸,受到了广泛的关注.非平行支持向量机构造允许非平行的支撑超平面,可以描述不同类别之间的数据分布差异,从而适用于更广泛的问题.然而,对非平行支持向量机模型与支持向量机模型之间的关系研究较少,且尚未有等价于标准支持向量机模型的非平行支持向量机模型.从支持向量机出发,构造出新的非平行支持向量机模型,该模型不仅可以退化为标准支持向量机,保留了支持向量机的稀疏性和核函数可扩展性.同时,可以描述不同类别之间的数据分布差异,适用于更广泛的非平行结构数据等.最后,通过实验初步验证了所提模型的有效性.

基于有效迭代算法的鲁棒L1范数非平行近似支持向量机

针对鲁棒L1范数非平行近似支持向量机(L1-NPSVM)求解算法无法保证获取可靠解的问题,提出一个新颖的迭代算法来解L1-NPSVM的目标问题。首先,根据L1-NPSVM原目标问题对解具有规模不变性,将其转换为一个等价的带等式约束的最大化问题。该迭代算法在每次迭代中利用更新权机制获取每次迭代的更新解;每次迭代中,问题归结为解两个快速的线性方程问题。从理论上证明了算法的收敛性。在公共UCI数据集上,实验显示,所提算法不仅在分类性能上要远远好于L1-NPSVM,且具有相当的计算优势。

数据驱动模式下基于非平行超平面SVM算法的贸易经济预测

数据驱动的多元化发展导致数据异构性增强、维度提升和特征量规模扩大,给贸易经济分析带来更大挑战。为了提高贸易经济分析的科学性,采用非平行超平面支持向量机算法(support vector machine,SVM)对贸易经济进行预测分析。首先,根据贸易经济影响因素进行主成分分析,获取影响贸易经济的关键特征,并对特征进行量化和去噪处理。然后,采用广义特征值最接近支持向量机(proximal support vector machine via generalized eigenvalues,GEPSVM)进行贸易经济预测分类。根据预测指标要求,选择核函数GEPSVM算法(KGEPSVM算法)对分类的非平行超平面求解,通过类别划分函数获得经济预测结果。实证分析表明,对比常用的非平行超平面支持向量机算法,所提算法的贸易经济预测性能更优,而且在常用贸易经济指标的预测中,表现出较高预测精度和稳定性。

具有间隔分布的抗噪声非平行支持向量机

针对非平行支持向量机(NonParallel Support Vector Machine,NPSVM)对噪声敏感和忽略了数据分布结构的问题,提出了一种具有间隔分布的抗噪声非平行支持向量机(Anti-Noise NPSVM with Margin Distribution, MDANPSVM)分类模型.在MD-ANPSVM模型中,每个优化问题同时最小化两类样本的基于L1范数的绝对损失和改进的铰链损失,这可以保证模型的稳定性,减小噪声和异常值的影响.此外,在MD-ANPSVM模型中,采用一阶和二阶统计量来描述训练数据的间隔分布信息,并试图同时最大化间隔均值和最小化间隔方差,这进一步提高了模型的泛化性能.最终,我们在不同的数据集上进行了对比实验.实验结果显示,MD-ANPSVM模型具有较强的泛化能力和强鲁棒性.

基于时变自回归模型与支持向量机的旋转机械故障诊断方法

旋转机械如电机振动信号普遍存在非平稳性,同时对于某台设备已有的故障样本往往非常有限的。针对这些问题,提出一种基于时变参数自回归模型和支持向量机相结合的旋转机械故障诊断方法。首先通过对振动信号建立TVAR模型,提取模型系数及残差的方差作为信号特征,然后利用SVM对信号进行分类,继而实现故障自动识别。转子实验台实验结果表明该文方法能够有效提取非平稳信号的特征,并能在较少训练样本的情况下获得较好的诊断结果。

基于多输出支持向量回归的声发射源平面定位

为了解决直升机动部件疲劳损伤定位问题,提出了基于多输出支持向量回归算法的声发射源平面定位方法。以声发射信号的多个时域参数作为输入,破损点的平面坐标(x,y)作为输出,用支持向量回归机逼近输入输出之间的非线性映射关系,然后利用支持向量回归机的泛化推广能力,实现声发射源的平面定位。通过碳纤维材料试件断铅定位试验结果表明:该方法有效的实现了声发射源的平面定位,并且在收敛速度和定位精度上优于RBF神经网络。

基于支持向量机的非概率可靠性分析

针对具有隐式极限状态函数的不确定性结构的非概率可靠性分析,提出一种基于支持向量机回归的不确定性结构非概率可靠性分析方法,并给出了该方法的分析流程.抽取数据样本,优化支持向量机回归参数,使用训练后的支持向量机替代隐式极限状态函数.利用非概率集合理论中的区间分析法,引入尺寸比例因子,构造合适的不确定性结构非概率可靠性指标迭代算法.最后用一个数值算例和一个工程算例来验证该方法.数值算例表明支持向量机回归模型预测精度高,用支持向量机回归模型替代结构隐式极限状态函数进行非概率可靠性分析是可行的.工程算例证明该方法具有可行性、正确性和高精度的优点.因此,该方法具有较好的工程实用价值,并对其它具有隐式极限状态函数的不确定性结构的非概率可靠性分析具有一定的参考价值.

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

基于非参数支持向量机的企业税收风险识别模型

文章从企业税负指标、盈利能力、运营能力、成长能力和偿债能力这5个方面选取指标,分别运用多分类支持向量机方法(SVM)和多分类Logistic回归对长春市大中型企业建立企业税收风险识别分类模型。结果表明:对于第一类正常纳税和第二类少缴税风险,SVM算法预测准确率高于Logistic模型的准确率;对于第三类多缴税风险,两种模型的识别准确率相当;总体上SVM算法在分类识别与预测上要优于Logistic模型。实际中可以结合两种方法,为企业防范和规避税收风险,实现安全的内部税收控制以及税务机关智能化风险识别和规避执法风险提供有价值的参考。

支持向量机回归模型中目标函数的五个理解

支持向量机回归和支持向量机分类有区别,分类问题主要从最大化两类间的间隔入手,而回归问题则需要寻找适合这批数据的自变量和因变量之间关系的回归方程,使得由回归方程计算出来的因变量值和实际数据中的因变量值尽量接近。并且,支持向量机回归和普通的回归问题还不一样,设定了一个2ε间隔带,在这个间隔带内的数据点、不计算损失,之外的计算损失,在尽量最小化损失的同时,模型的目标函数里多了个1/2‖W‖2,关于这个项,有很多疑问,给支持向量机回归目标函数的理解造成了很大的困难,尤其是在学习了支持向量机分类问题后,更容易把这个项和分类问题中同样的项意味着的最大化间隔相联系,但又不能直接对应上。于是,我们从正则化、结构风险最小化(岭回归、权重衰减)、回归超平面的flatten、二分类问题的转化、回归问题的本质这五个方面着手,从不同的角度进行透彻分析和解释1/2‖W‖2,从而为支持向量机回归模型的目标函数的理解进一步理清思路、扫清障碍。而且,第五个理解站在了新的高度,从问题的本质出发,统一了前面四个理解,也具有自己独特的看法。

具有同步化特征选择的迭代紧凑非平行支持向量聚类算法

本文提出了一种新的带有同步化特征选择的聚类算法,称为"具有同步化特征选择的迭代紧凑非平行支持向量聚类算法"(IT-NHSVC-SFS).在具有两个非平行超平面的学习模型中使用迭代(交替)优化算法完成聚类,同时引入两种类型的正则项,分别是欧几里得范数和无穷范数,欧几里得范数用于提升聚类模型的泛化能力,无穷范数实际上是对两个非平行超平面进行同步化地隐式特征抽取,从而降低来自于不相关特征的聚类噪音,保证了模型的聚类精度,并引入一组束缚变量(bounding variables)避免无穷范数的最大化操作,将非凸优化问题转化成二次凸优化问题.同时,由于新提出的模型体现着"最大间隔"的思想,因此具有良好的泛化能力.为了方便实现两个非平行超平面同步化的特征选择过程,文中将非平行超平面SVM(Nonparallel Hyperplane SVM,NHSVM)作为IT-NHSVC-SFS算法的基础模型,因此和TWSVM以及它的变体模型不同的是:只需要求解一个二次规划问题(QP问题)就可以同时得到两个最优超平面.同时,新算法在原有的NHSVM模型的约束条件集合中新添加了两组等式约束条件,从而无需进行原有模型中的两个大矩阵的求逆操作,降低了计算复杂度.此外,在IT-NHSVC-SFS模型中,用拉普拉斯损失函数(Laplacian loss measure)代替了NHSVM模型原有的铰链损失函数(hinge loss function),避免了算法早熟收敛(premature convergence).在一组标准数据集上的数值实验结果表明,相对于其他已有的聚类算法,IT-NHSVC-SFS算法在聚类精度方面具有更好的表现.

结构化支持向量机研究综述

结构化支持向量机(Structural Support Vector Machine,SSVM)是支持向量机(Support Vector Machine,SVM)的变体算法,被广泛应用于多个领域。阐述了SSVM的发展过程,详细分析了SSVM各种具体实现算法的思想及表现上的优劣;并通过实验的对比讨论,发现了SSVM的各种具体实现算法在分类性能和分类效率上优于其他SVM算法,而在稳定性上则逊于后者;基于此,给出了SSVM的后续研究方向。

改进的投影孪生支持向量机

针对投影孪生支持向量机(Projection Twin Support VectorMachine,PTSVM)在训练和求解过程中存在的问题,提出了一类改进的投影孪生支持向量机(Improved PTSVM),简称为IPTSVM.该文首先构造了改进的线性投影孪生支持向量机,然后利用核技巧轻松将其推广到了非线性形式.本文的主要贡献有:(1)提出了投影孪生支持向量机的新模型,克服了原始PTSVM在训练之前需要求解两个逆矩阵的问题;(2)继承了传统SVM(Support VectorMachine)的精髓,利用核技巧直接将线性IPTSVM推广到非线性形式;(3)引入了一个新的参数,可以调节模型的性能,提高了IPTSVM的分类精度.实验结果表明,与PTSVM算法相比较,IPTSVM不仅提高了分类精度,而且克服了PTSVM的一些不足.

基于流形正则化的半监督投影双子支持向量机

投影双子支持向量机(PTSVM)是一种有监督学习方法,其性能极大依赖于有监督信息量的大小.受流形正则化框架启发,文中提出半监督投影双子支持向量机(SPTSVM).该方法可同时利用有监督(有标签样本)信息和无监督(无标签样本)信息构造一个更合理的半监督学习器.SPTSVM不仅继承PTSVM有监督分类性能,而且使用流形正则项捕获蕴含在无标签数据中的潜在几何信息.通过选择合理的参数,SPTSVM退化为有监督PTSVM或正则化PTSVM.在人工数据集和实际数据集上的对比实验验证文中方法的有效性.

一种支持向量回归中超参数自适应方法

在贝叶斯框架下支持向量回归SVR可视为最大化后验MAP回归函数估计的扩展.贝叶斯方法可用来实现模型中超参数的自适应,同时保持SVR稀疏性和凸二次规划的优点.在对SVR的MAP解做Laplace近似获得关于超参数的SVR模型中证据的平滑表达式,使用基于梯度的优化法可导出使证据最大化的最优超参数.通过引入ARD参数到高斯协方差函数中,可进行输入属性的相关性分析和特征选择.给出了在人工和实际回归问题上的应用及其他方法的对比分析.

基于鲁棒局部嵌入的孪生支持向量机

针对已有非平行超平面支持向量机(NHSVM)分类方法仅考虑训练样本的全局信息却忽视训练样本之间局部几何结构的问题,将鲁棒局部线性嵌入(ARLE)方法的基本思想引入NHSVM中,提出一种基于鲁棒局部嵌入的孪生支持向量机(ARLEBTSVM)。该方法不但继承NHSVM方法具有的异或(XOR)问题处理能力;而且可以很好地保持训练样本空间的局部信息,同时通过考虑样本的全局分布来自动抑制野值样本点对嵌入的影响,从而在一定程度上提高分类算法的泛化性能。为了更好地处理非线性分类问题,通过核映射方法构造非线性ARLEBTSVM。在人造数据集和真实数据集上进行实验,结果表明ARLEBTSVM方法具有更好的分类性能。