ε不敏感损失函数支持向量机分类性能研究

将原先用于支持向量回归的ε不敏感损失函数引入到支持向量分类中,提出ε不敏感损失函数支持向量分类算法(-εSVC).同标准支持向量分类方法(C-SVC)和最小二乘支持向量分类方法(LS-SVC)相比较,试验结果表明:当赋予参数ε一个足够大的接近于1的值时,-εSVC的分类正确率略低于C-SVC和LS-SVC,但是-εSVC的训练、测试和参数选择的速度要高于C-SVC和LS-SVC.特别是对于大规模数据集,这种优势将更加明显.另外,通过精确选择参数ε的值,-εSVC能够获得比C-SVC和LS-SVC更高的分类正确率,但是训练、测试和参数选择的速度却随着ε的减小而降低.

关于ε不敏感损失函数推广误差的界

本文研究了学习理论中推广误差的界的问题.利用ε不敏感损失函数的性质,分别获得了逼近误差和估计(样本)误差的界,并在特定的假设空间上得到了学习算法推广误差的界.

径向基函数神经网络快速算法及其应用

经典的径向基函数神经网络学习算法因其能逼近任意连续函数,因而应用广泛。但在实际应用中,当训练集有较大数据容量时,需要较高的计算代价,限制了其进一步应用。针对上述问题,文章通过引入ε不敏感损失函数和结构风险项,并借鉴核心集快速算法,探讨适合大样本快速训练的径向基函数神经网络学习算法。将该算法应用于人造数据集和UCI真实数据集,并与传统的径向基函数神经网络学习算法相比,发现所提算法在大规模数据集场景下,具有更好的适应性。

改进的基于子空间划分的模糊系统模型

针对模糊系统建模过程中实现结构风险最小化问题,提出改进的基于子空间划分的模糊系统模型(SPFS).使用偏最小二乘法(PLS)建立初始模型,有效地提取对系统解释性最强的信息.通过ε不敏感函数和子空间划分,达到模型的置信范围与经验风险的折中.改进的SPFS能保证模型的可解释性,并实现结构风险最小化.仿真计算证明了该模型的有效性.

PSO-ε-SVM的回归算法

回归支持向量机的ε不敏感损失函数的参数寻优是一个重要的问题,它与支持向量机的行为特性有紧密关系。本文给出了一种基于粒子群优化算法的、对ε不敏感损失函数的ε参数寻优的方法,仿真结果表明:采用基于粒子群优化算法的寻优方法寻找ε参数,需要重复训练回归支持向量机模型的次数明显小于格点搜索方法,节省了大量的时间并且能找到较优的ε值。

ε-支持向量回归机算法及其应用

针对现有传统的一些图像去噪方法难以获得清晰图像边缘的问题,提出了利用ε-SVR技术构建图像去噪滤波器的新方法。ε-支持向量回归机通过引入ε不敏感损失函数,可以实现具有较强鲁棒性的回归,而且回归估计是稀疏的,保留了SVM的所有优点。分析了ε-支持向量回归机理论算法及其在图像去噪中的应用,使用ε-支持向量回归机对图像进行滤波并且与最小值滤波、均值滤波和维纳滤波等常用的滤波方法相比较,还比较了SVM各种核函数对不同噪声的滤波效果和分析了不同阶数的Multi-nomial核的滤波效果。实验结果表明了ε-支持向量回归机能够有效地去除噪声,不但信噪比较高而且比较清晰,同时具有良好的稀疏性。

基于SVR的网络安全评价模型的建立与仿真

针对目前基于主观评价或基于神经网络的评价方法在网络安全评价模型中存在的不足,文中在建立网络安全评价指标体系的基础上,结合ε不敏感损失函数和支持向量机SVM,建立了一种基于SVR的网络安全评价模型。该模型能够对训练样本进行学习和训练,得到SVR适宜的设置参数。经过对校验样本的预测可发现,该模型具有较强的泛化能力,预测精度也较高。其性能远优于目前所知的主观评价和神经网络评价方法,能为相关网络安全评价模型的设计与建立提供参考。

一种具有迁移学习能力的RBF-NN算法及其应用

经典的径向基人工神经网络学习能逼近任意函数,因而应用广泛。但其存在的一个重要缺陷是,在已标签样本过少、不能反映数据集整体分布情况下,容易产生过拟合现象,从而导致泛化性能严重下降。针对上述问题,探讨具有迁移学习能力的径向基人工神经网络学习算法,该算法在引入不敏感损失函数和结构风险项的同时,学习源领域径向基函数的中心向量及核宽和源领域模型参数,通过充分学习历史源领域知识来弥补当前领域因已标签样本少而导致泛化能力下降的不足。将该算法应用于人造数据集和真实发酵数据集进行验证,和传统的RBF神经网络算法相比,所提算法在已标签样本少而存在数据缺失的场景下,具有更好的适应性。

基于ε-SVR算法的大地电磁测深资料去噪

消除噪声干扰对大地电磁测深资料的影响是大地电磁(MT)工作中的首要问题.基于结构风险最小化原则的支持向量机能够解决小样本情况下非线性函数拟合的通用性和推广性问题,是求复杂的非线性拟合函数的一种有效技术.本文首先介绍了ε-SVR(ε不敏感损失函数—支持向量机回归)的原理及SVR相关参数的选择,在此基础上,利用该算法对大地电磁测深实测资料进行回归处理,并与当前常用的去噪方法(Robust变换结合人工筛选)进行对比,结果表明ε-SVR算法可以较好地消除MT测深曲线所受噪声影响,提高工作效率.同时给原始数据加入10%噪声,并利用该算法对加噪后的数据进行回归处理,加噪前后拟合结果的绝对误差的均方差为9.454,相对误差的均方差为1.61%,证明该模型具有良好的泛化能力和稳健性.