ε不敏感损失函数支持向量机分类性能研究

将原先用于支持向量回归的ε不敏感损失函数引入到支持向量分类中,提出ε不敏感损失函数支持向量分类算法(-εSVC).同标准支持向量分类方法(C-SVC)和最小二乘支持向量分类方法(LS-SVC)相比较,试验结果表明:当赋予参数ε一个足够大的接近于1的值时,-εSVC的分类正确率略低于C-SVC和LS-SVC,但是-εSVC的训练、测试和参数选择的速度要高于C-SVC和LS-SVC.特别是对于大规模数据集,这种优势将更加明显.另外,通过精确选择参数ε的值,-εSVC能够获得比C-SVC和LS-SVC更高的分类正确率,但是训练、测试和参数选择的速度却随着ε的减小而降低.

关于ε不敏感损失函数推广误差的界

本文研究了学习理论中推广误差的界的问题.利用ε不敏感损失函数的性质,分别获得了逼近误差和估计(样本)误差的界,并在特定的假设空间上得到了学习算法推广误差的界.

混合损失函数支持向量回归机的性能研究

目的研究混合损失函数的支持向量回归机。方法综合一次ε-不敏感损失函数和二次ε-不敏感损失函数的部分性质,得到一种混合损失函数。结果同一般的一次ε-不敏感损失函数支持向量回归机和二次ε-不敏感损失函数支持向量回归机相比较,对数据的波动性不大,噪声不明显的数据,混合损失函数支持向量回归机的优势并不显著。结论该混合损失函数支持向量回归机对含有高斯强噪声和一些具有振幅较大的异常点所形成的数据具有较高的准确率。

一种求ε-不敏感支持向量回归机光滑函数的新方法

2008年熊金志等人提出了一种求光滑函数的方法,就理论而言可求得ε-不敏感支持向量回归机的无穷个光滑函数,但该方法每次都需要对光滑函数的导数进行积分,推导过程很繁琐。为克服这个缺点,本文利用支持向量分类机的光滑函数,通过相关的理论推导,用新的递推方式来表示支持向量回归机的光滑函数,简化了原方法的推导过程,得到了一种求支持向量回归机光滑函数的新方法。通过用原方法和新方法分别求光滑函数的两个算例,表明了新方法的有效性。还用新方法导出了光滑函数的一个重要性质,即光滑函数关于光滑阶数是单调减函数,为进一步研究光滑支持向量回归机提供了理论依据。

模糊子空间聚类的径向基函数神经网络建模

传统径向基函数(radial basis function,RBF)神经网络模型在处理噪声环境下的数据时,会因缺乏去除噪音特征的机制而使得受训模型的泛化性能下降。针对此缺陷,根据模糊子空间聚类(fuzzy subspace clustering,FSC)算法的子空间特性,为RBF神经网络添加特征抽取机制,提出了一种模糊子空间聚类RBF神经网络建模新方法(RBF neural network modeling using fuzzy subspace clustering,FSC-RBF-NN)。与传统RBF神经网络建模方法相比,FSC-RBF-NN方法可根据FSC的子空间特性和特征抽取机制,为不同的隐含层节点选取不同的特征子空间。当训练数据中含有大量噪音特征时,FSC-RBF-NN方法可通过特征抽取机制去除噪音特征,只保留对建模有积极作用的特征,使模型能保持良好的泛化性能。模拟和真实数据集上的实验结果亦验证了FSC-RBF-NN方法在噪声环境下具有更好的鲁棒性。

径向基函数神经网络快速算法及其应用

经典的径向基函数神经网络学习算法因其能逼近任意连续函数,因而应用广泛。但在实际应用中,当训练集有较大数据容量时,需要较高的计算代价,限制了其进一步应用。针对上述问题,文章通过引入ε不敏感损失函数和结构风险项,并借鉴核心集快速算法,探讨适合大样本快速训练的径向基函数神经网络学习算法。将该算法应用于人造数据集和UCI真实数据集,并与传统的径向基函数神经网络学习算法相比,发现所提算法在大规模数据集场景下,具有更好的适应性。

ε-不敏感的光滑支持向量回归机的收敛性

ε-不敏感的光滑支持向量回归机采用快速的迭代方法进行求解,使回归性能及效率得到了提高,但并没有考虑该回归机的收敛性。针对该问题,采用集合论等方法,通过相关的理论推导,证明该光滑支持向量回归机对任意给定的惩罚参数都是全局收敛的,并给出它的收敛上界,为该光滑支持向量机提供了基本的理论支持。

一种光滑支持向量回归机新函数的研究

为支持向量回归机提供了一个新的光滑函数,即运用三次样条函数和复合函数的方法,得到一种新的光滑支持向量回归机——三次样条光滑支持向量回归机(TSSSVR).对该支持向量回归机的光滑函数进行了逼近性能和收敛性的分析,并说明该光滑函数比以往的光滑函数具有更高的逼近精度和收敛速度.

基于支持向量机的故障过程趋势预测研究

提出了运用SVM机器学习方法进行故障过程趋势预测的方法,并设计了一个实用的SVM回归算法对“Tennessee Eastman”工厂的实际数据进行仿真研究。结果表明,用SVM方法进行故障过程趋势预测,具有较强的抗噪能力,在样本量有限情况下,采用e-不敏感损失函数得到的回归结果具有较高的实用价值。通过大量实验,给出了e取值不同对估计结果的影响的一个具体实验结果,分析了e取值对支持向量数目的控制作用。

鲁棒的极大熵聚类算法RMEC及其例外点标识

针对极大熵聚类算法MEC (maximumentropyclustering)对例外点 (outliers)较敏感和不能标识例外点的缺陷 ,提出了一种改进的极大熵聚类算法RMEC (robustmaximumentropyclustering)。该算法的基本思想是通过引入Vapnik’sε-不敏感损失函数和权重因子重新构建目标函数 ,并利用优化理论推导出新的学习公式。RMEC算法不但对例外点较之MEC算法有更好的鲁棒性 ,而且还能有效地利用学习后的权重因子标识出数据集中存在的例外点。

PSO-ε-SVM的回归算法

回归支持向量机的ε不敏感损失函数的参数寻优是一个重要的问题,它与支持向量机的行为特性有紧密关系。本文给出了一种基于粒子群优化算法的、对ε不敏感损失函数的ε参数寻优的方法,仿真结果表明:采用基于粒子群优化算法的寻优方法寻找ε参数,需要重复训练回归支持向量机模型的次数明显小于格点搜索方法,节省了大量的时间并且能找到较优的ε值。

鲁棒性的模糊聚类神经网络

针对模糊聚类神经网络FCNN(fuzzyclusteringneuralnetwork)对例外点(outliers)敏感的缺陷,通过引入Vapnik’sε-不敏感损失函数,重新构造网络的目标函数,并根据拉格朗日优化理论推导出新的鲁棒模糊聚类神经网络及其算法(robustfuzzyclusteringneuralnetworks,简称RFCNN).RFCNN有效地克服了FCNN对例外点敏感之缺点并且能得到合理的聚类中心.仿真实验结果表明,RFCNN较之于FCNN有更好的鲁棒性.

ε-支持向量回归机算法及其应用

针对现有传统的一些图像去噪方法难以获得清晰图像边缘的问题,提出了利用ε-SVR技术构建图像去噪滤波器的新方法。ε-支持向量回归机通过引入ε不敏感损失函数,可以实现具有较强鲁棒性的回归,而且回归估计是稀疏的,保留了SVM的所有优点。分析了ε-支持向量回归机理论算法及其在图像去噪中的应用,使用ε-支持向量回归机对图像进行滤波并且与最小值滤波、均值滤波和维纳滤波等常用的滤波方法相比较,还比较了SVM各种核函数对不同噪声的滤波效果和分析了不同阶数的Multi-nomial核的滤波效果。实验结果表明了ε-支持向量回归机能够有效地去除噪声,不但信噪比较高而且比较清晰,同时具有良好的稀疏性。

多项式光滑的支持向量回归机

光滑函数将不光滑的模型变为光滑模型,改善支持向量回归机的回归性能和效率,从而降低计算的复杂性.寻找性能更好的光滑函数是研究光滑向量回归机的一个关键问题.本文用级数展开的方法得出了ε–不敏感的支持向量回归机|x|ε2的一类新的光滑函数.证明了这类函数的性能,它能满足任意阶光滑的要求,也能达到任意给定的逼近精度.实验结果表明,随着光滑阶数的提高,逼近精度和回归性能也相应提高.从而为支持向量回归机和相关研究领域提供了一类新的、性能更好的多项式光滑函数.

用光滑的支持向量机解回归问题

解回归问题通常采用平方损失函数,传统方法在函数类的选择上是一个难点。采用ε-不敏感损失函数,用光滑的支持向量机解回归问题。数值实验表明,只需选一个核函数就可较好地解决这个难点,使支持向量的个数明显少于样本点的个数,简化了回归函数的表达式,回避了传统回归方法选择函数类的困难。所以,光滑支持向量回归机是解决回归问题的一个有效方法。

基于SVR的网络安全评价模型的建立与仿真

针对目前基于主观评价或基于神经网络的评价方法在网络安全评价模型中存在的不足,文中在建立网络安全评价指标体系的基础上,结合ε不敏感损失函数和支持向量机SVM,建立了一种基于SVR的网络安全评价模型。该模型能够对训练样本进行学习和训练,得到SVR适宜的设置参数。经过对校验样本的预测可发现,该模型具有较强的泛化能力,预测精度也较高。其性能远优于目前所知的主观评价和神经网络评价方法,能为相关网络安全评价模型的设计与建立提供参考。

基于差异性神经网络集成的命名实体识别方法

命名实体识别通常利用词向量模型提取词向量空间作为固定全局特征,通过单一神经网络进行训练并测试结果,特征提取单一,泛化能力不佳。针对上述问题,使用神经网络集成,将多个双向长短时记忆神经网络进行有效结合、综合决策。将ε不敏感损失函数引入到双向长短时记忆神经网络中,证明其能保证个体分类器的差异性。通过实验分析不同的词特征提取、神经网络模型结构、模型参数对个体分类器差异性的影响,通过理论分析和实验研究对集成学习在命名实体识别领域中个体分类器差异性带来的有益效果进行研究。通过实验结果验证了个体分类器差异性与集成学习的提升度之间的密切联系。

一种具有迁移学习能力的RBF-NN算法及其应用

经典的径向基人工神经网络学习能逼近任意函数,因而应用广泛。但其存在的一个重要缺陷是,在已标签样本过少、不能反映数据集整体分布情况下,容易产生过拟合现象,从而导致泛化性能严重下降。针对上述问题,探讨具有迁移学习能力的径向基人工神经网络学习算法,该算法在引入不敏感损失函数和结构风险项的同时,学习源领域径向基函数的中心向量及核宽和源领域模型参数,通过充分学习历史源领域知识来弥补当前领域因已标签样本少而导致泛化能力下降的不足。将该算法应用于人造数据集和真实发酵数据集进行验证,和传统的RBF神经网络算法相比,所提算法在已标签样本少而存在数据缺失的场景下,具有更好的适应性。

支持向量分位数变系数模型的估计及应用

基于不对称“ε-不敏感”损失函数提出变系数模型的参数估计方法,并应用支持向量回归理论和凸二次规划理论给出模型的估计算法.结果显示,所得估计曲线可在不同分位数水平得到一个稀疏解,而数值模拟研究和共享单车实例数据分析结果进一步证实该方法的正确性和实用性.

支持向量回归机的光滑函数研究

光滑函数能将不光滑模型变为光滑模型,改善支持向量机的回归性能和效率.Lee 等人用一个光滑函数逼近ε-不敏感损失函数的平方,提出ε-不敏感的光滑支持向量回归机模型(ε-SSVR).本文为求ε-不敏感支持向量回归机的新光滑函数,运用插值函数和复合函数的方法,首先求正号函数的光滑逼近,然后将其复合成ε-不敏感损失函数平方的光滑函数,得到一类新的光滑函数.并从理论上证明该类光滑函数的逼近精度比以往的光滑函数高一个数量级.实验结果表明回归效果得到改善,从而为支持向量回归机提供一类新的光滑函数.