一种求ε-不敏感支持向量回归机光滑函数的新方法

2008年熊金志等人提出了一种求光滑函数的方法,就理论而言可求得ε-不敏感支持向量回归机的无穷个光滑函数,但该方法每次都需要对光滑函数的导数进行积分,推导过程很繁琐。为克服这个缺点,本文利用支持向量分类机的光滑函数,通过相关的理论推导,用新的递推方式来表示支持向量回归机的光滑函数,简化了原方法的推导过程,得到了一种求支持向量回归机光滑函数的新方法。通过用原方法和新方法分别求光滑函数的两个算例,表明了新方法的有效性。还用新方法导出了光滑函数的一个重要性质,即光滑函数关于光滑阶数是单调减函数,为进一步研究光滑支持向量回归机提供了理论依据。

混合损失函数支持向量回归机的性能研究

目的研究混合损失函数的支持向量回归机。方法综合一次ε-不敏感损失函数和二次ε-不敏感损失函数的部分性质,得到一种混合损失函数。结果同一般的一次ε-不敏感损失函数支持向量回归机和二次ε-不敏感损失函数支持向量回归机相比较,对数据的波动性不大,噪声不明显的数据,混合损失函数支持向量回归机的优势并不显著。结论该混合损失函数支持向量回归机对含有高斯强噪声和一些具有振幅较大的异常点所形成的数据具有较高的准确率。

ε-不敏感的光滑支持向量回归机的收敛性

ε-不敏感的光滑支持向量回归机采用快速的迭代方法进行求解,使回归性能及效率得到了提高,但并没有考虑该回归机的收敛性。针对该问题,采用集合论等方法,通过相关的理论推导,证明该光滑支持向量回归机对任意给定的惩罚参数都是全局收敛的,并给出它的收敛上界,为该光滑支持向量机提供了基本的理论支持。

非对称二次损失下位置参数的贝叶斯估计

文章利用仿射变换的思想方法解决了在非对称二次损失函数下求参数的贝叶斯估计问题,并以正态分布为例,说明了求贝叶斯估计的过程。该方法不仅适用于包括正态分布在内的任一分布,而且简单可行。

ε-支持向量回归机算法及其应用

针对现有传统的一些图像去噪方法难以获得清晰图像边缘的问题,提出了利用ε-SVR技术构建图像去噪滤波器的新方法。ε-支持向量回归机通过引入ε不敏感损失函数,可以实现具有较强鲁棒性的回归,而且回归估计是稀疏的,保留了SVM的所有优点。分析了ε-支持向量回归机理论算法及其在图像去噪中的应用,使用ε-支持向量回归机对图像进行滤波并且与最小值滤波、均值滤波和维纳滤波等常用的滤波方法相比较,还比较了SVM各种核函数对不同噪声的滤波效果和分析了不同阶数的Multi-nomial核的滤波效果。实验结果表明了ε-支持向量回归机能够有效地去除噪声,不但信噪比较高而且比较清晰,同时具有良好的稀疏性。

模糊子空间聚类的径向基函数神经网络建模

传统径向基函数(radial basis function,RBF)神经网络模型在处理噪声环境下的数据时,会因缺乏去除噪音特征的机制而使得受训模型的泛化性能下降。针对此缺陷,根据模糊子空间聚类(fuzzy subspace clustering,FSC)算法的子空间特性,为RBF神经网络添加特征抽取机制,提出了一种模糊子空间聚类RBF神经网络建模新方法(RBF neural network modeling using fuzzy subspace clustering,FSC-RBF-NN)。与传统RBF神经网络建模方法相比,FSC-RBF-NN方法可根据FSC的子空间特性和特征抽取机制,为不同的隐含层节点选取不同的特征子空间。当训练数据中含有大量噪音特征时,FSC-RBF-NN方法可通过特征抽取机制去除噪音特征,只保留对建模有积极作用的特征,使模型能保持良好的泛化性能。模拟和真实数据集上的实验结果亦验证了FSC-RBF-NN方法在噪声环境下具有更好的鲁棒性。

一种光滑支持向量回归机新函数的研究

为支持向量回归机提供了一个新的光滑函数,即运用三次样条函数和复合函数的方法,得到一种新的光滑支持向量回归机——三次样条光滑支持向量回归机(TSSSVR).对该支持向量回归机的光滑函数进行了逼近性能和收敛性的分析,并说明该光滑函数比以往的光滑函数具有更高的逼近精度和收敛速度.

基于支持向量机的故障过程趋势预测研究

提出了运用SVM机器学习方法进行故障过程趋势预测的方法,并设计了一个实用的SVM回归算法对“Tennessee Eastman”工厂的实际数据进行仿真研究。结果表明,用SVM方法进行故障过程趋势预测,具有较强的抗噪能力,在样本量有限情况下,采用e-不敏感损失函数得到的回归结果具有较高的实用价值。通过大量实验,给出了e取值不同对估计结果的影响的一个具体实验结果,分析了e取值对支持向量数目的控制作用。

鲁棒的极大熵聚类算法RMEC及其例外点标识

针对极大熵聚类算法MEC (maximumentropyclustering)对例外点 (outliers)较敏感和不能标识例外点的缺陷 ,提出了一种改进的极大熵聚类算法RMEC (robustmaximumentropyclustering)。该算法的基本思想是通过引入Vapnik’sε-不敏感损失函数和权重因子重新构建目标函数 ,并利用优化理论推导出新的学习公式。RMEC算法不但对例外点较之MEC算法有更好的鲁棒性 ,而且还能有效地利用学习后的权重因子标识出数据集中存在的例外点。

鲁棒性的模糊聚类神经网络

针对模糊聚类神经网络FCNN(fuzzyclusteringneuralnetwork)对例外点(outliers)敏感的缺陷,通过引入Vapnik’sε-不敏感损失函数,重新构造网络的目标函数,并根据拉格朗日优化理论推导出新的鲁棒模糊聚类神经网络及其算法(robustfuzzyclusteringneuralnetworks,简称RFCNN).RFCNN有效地克服了FCNN对例外点敏感之缺点并且能得到合理的聚类中心.仿真实验结果表明,RFCNN较之于FCNN有更好的鲁棒性.

支持向量分位数变系数模型的估计及应用

基于不对称“ε-不敏感”损失函数提出变系数模型的参数估计方法,并应用支持向量回归理论和凸二次规划理论给出模型的估计算法.结果显示,所得估计曲线可在不同分位数水平得到一个稀疏解,而数值模拟研究和共享单车实例数据分析结果进一步证实该方法的正确性和实用性.

支持向量回归机的光滑函数研究

光滑函数能将不光滑模型变为光滑模型,改善支持向量机的回归性能和效率.Lee 等人用一个光滑函数逼近ε-不敏感损失函数的平方,提出ε-不敏感的光滑支持向量回归机模型(ε-SSVR).本文为求ε-不敏感支持向量回归机的新光滑函数,运用插值函数和复合函数的方法,首先求正号函数的光滑逼近,然后将其复合成ε-不敏感损失函数平方的光滑函数,得到一类新的光滑函数.并从理论上证明该类光滑函数的逼近精度比以往的光滑函数高一个数量级.实验结果表明回归效果得到改善,从而为支持向量回归机提供一类新的光滑函数.

回归型支持向量机的调节熵函数法

基于最优化理论中的KKT互补条件建立支持向量回归机的无约束不可微优化模型,并给出了一种有效的光滑近似解法——调节熵函数方法.该方法不需参数取值很大便可逼近问题的最优解,从而避免了一般熵函数法为了逼近精确解,参数取得过大而导致数值的溢出现象,为求解支持向量回归机提供了一条新途径.数值实验结果表明,回归型支持向量机的调节熵函数法改善了支持向量机的回归性能和效率.

基于线性ν-支持向量回归机的异常数据检测

讨论了线性v-支持向量回归机中参数v的意义,并给出了严格的理论证明。利用v-支持向量回归机中ε-不敏感损失函数及参数v的意义,提出一种回归数据中的异常值检测方法。采用线性模型使得该方法不仅速度快而且能处理大规模数据。数值实验证明其具有可行性和有效性。

函数型数据支持向量回归

函数型数据回归是一个非常有意义的课题.已有工作都是利用平方损失来衡量误差,而本文采用ε-不敏感损失来衡量误差.本文构造基于ε-不敏感损失的逼近元,给出表示形式及其系数计算.逼近元具有鲁棒性和稀疏性等性质.本文的主要结果是,在一些常规条件下建立预测误差收敛阶.与关于平方损失工作相比,我们不要求协方差算子与积分算子之间的"对齐"关系.此外,本文还讨论了支持向量回归函数本身的逼近性质.即使对有限维数据,关于这方面的结果在文献中也尚未见到.