L1正则化与pinball损失函数的极限学习机

极限学习机(extreme learning machine, ELM)由于其训练速度快、易于实现等优点,在回归领域得到了广泛的应用。然而,传统ELM的平方损失函数在异常值面前放大了异常值的影响,从而降低了性能。为了提高ELM的鲁棒性,在ELM中引入pinball损失函数。pinball损失函数与误差线性相关,与平方损失函数相比,可以减少异常值的影响。此外,L2范数正则化对于隐藏层节点缺乏稀疏性。相比之下,L1范数正则化可以改善模型的稀疏性。为了同时具有鲁棒性和稀疏性,提出了一种基于L1范数正则化和pinball损失函数的ELM模型,通过迭代重加权算法求解相应的优化问题。为了验证模型的鲁棒性和稀疏性,在6个真实数据集上进行实验。实验结果表明,提出的L1-PELM优于其他方法。特别是对于异常值比率较大的数据,L1-PELM不仅对异常值不敏感,而且保持了稀疏性。

基于pinball损失的结构模糊多分类支持向量机算法

针对多分类支持向量机(MSVM)对噪声较强的敏感性、对重采样数据的不稳定性以及泛化性能低等缺陷,将pinball损失函数、样本模糊隶属度以及样本结构信息引入到简化的多分类支持向量机(SimMSVM)算法中,构建了基于pinball损失的结构模糊多分类支持向量机算法Pin-SFSimMSVM。在人工数据集、UCI数据集以及添加不同比例噪声的UCI数据集上的实验结果显示:所提出的Pin-SFSimMSVM算法与SimMSVM算法相比,准确率均提升了0~5.25个百分点;所提出的算法不仅具有避免多类数据存在不可分区域和计算速度快的优点,而且具有对噪声较好的不敏感性以及对重采样数据的稳定性,同时考虑了不同数据样本在分类时扮演不同角色的事实以及数据中包含的重要先验知识,从而使分类器训练更准确。

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVOTWSVM)进行了比较,表明了提出方法的有效性.

基于pinball损失的结构模糊孪生支持向量机

孪生支持向量机通过求解较小的二次规划问题,提高了分类器的性能,然而,该方法主要利用了类间可分的特性,并使用hinge损失函数构建相应的模型,它们并未充分考虑不同类中数据的结构信息以及不同样本对分类的影响,导致该方法对噪声具有较强的敏感性以及重取样的不稳定性.为了进一步提高孪生支持向量机的性能,基于pinball损失函数,将数据集中不同类的结构信息以及不同样本的作用引入到孪生支持向量机中,获得了基于pinball损失的结构模糊孪生支持向量机模型,从理论上导出了基于pinball损失的结构模糊孪生支持向量机算法pin-sftsvm,通过选取人工生成数据集与UCI标准数据集,对pin-sftsvm算法进行了实验,并与tbsvm、s-tsvm和pin-tsvm算法进行了性能比较,表明了提出算法的有效性.

一种改进的带有Pinball损失的一般双子支持向量机

针对于二分类问题,提出一种改进的带有Pinball损失的一般双子支持向量机,实现了结构风险最小化原则.数值实验表明所提算法相比于其他算法具有一定的优越性,并验证了所提算法对交叉数据集和含有噪声的数据集的可行性和有效性.

一种改进的鲁棒模糊孪生支持向量机算法

针对模糊孪生支持向量机算法(FTSVM)对噪声仍然敏感,容易过拟合以及不能有效区分支持向量和离群值等问题,提出了一种改进的鲁棒模糊孪生支持向量机算法(IRFTSVM)。将改进的k近邻隶属度函数和基于类内超平面的隶属度函数结合,构造了一种新的混合隶属度函数;在FTSVM算法的目标函数中引入正则化项和额外的约束条件,实现了结构风险最小化,避免了逆矩阵运算,且非线性问题可以像经典的SVM算法一样直接从线性问题扩展而来;将铰链损失函数替换为pinball损失函数,以此降低对噪声的敏感性。此外,在UCI数据集和人工数据集上对该算法进行评估,并与SVM、TWSVM、FTSVM、PTSVM和TBSVM五个算法进行比较。实验结果表明,该算法的分类结果是令人满意的。

面向大规模噪声数据的软性核凸包支持向量机

现有的面向大规模数据分类的支持向量机(support vector machine,SVM)对噪声样本敏感,针对这一问题,通过定义软性核凸包和引入pinball损失函数,提出了一种新的软性核凸包支持向量机(soft kernel convex hull support vector machine for large scale noisy datasets,SCH-SVM).SCH-SVM首先定义了软性核凸包的概念,然后选择出能代表样本在核空间几何轮廓的软性核凸包向量,再将其对应的原始空间样本作为训练样本并基于pinball损失函数来寻找两类软性核凸包之间的最大分位数距离.相关理论和实验结果亦证明了所提分类器在训练时间,抗噪能力和支持向量数上的有效性.

即插即用能量组织日前负荷概率预测方法

随着对利用新能源的迫切需求,分布式能源将以“能量细胞”的形式分布在用户侧,并具有即插即用的特点。受到利益的驱动或稳定性的要求,“能量细胞”将组成形态各异的“能量组织”,而新形成的“能量组织”则存在历史数据较少的问题。针对“能量组织”中小样本日前负荷概率预测问题,提出基于pinball损失函数的深度长短时记忆(long short-term memory,LSTM)网络概率预测方法。为解决小样本下深度LSTM网络的过拟合问题,采用自底向上的层次聚类方法进行数据增强,并针对各个分位点进行并行预测。实验结果表明,所提方法能够获得较高的可靠性以及锐度较好的置信区间,可以为日前调度提供合理依据。

无界意义下的在线变化分位数回归算法(英文)

本文研究了基于核方法下的在线变化损失函数的回归算法.利用迭代和比较原则,得到了算法的收敛速度,并将该结果推广到了更一般的输出空间.

一种抗噪的钢印打码字符识别方法

针对总间隔支持向量机对噪声敏感的问题,引入pinball损失函数,提出基于pinball损失函数的总间隔支持向量机。同时提出噪声环境下的钢印打码字符识别方法,首先对钢印图像的字体进行预处理,然后使用基于pinball损失函数的总间隔支持向量机对图像特征进行分类。实验结果分析表明本文提出的基于pinball损失函数的总间隔支持向量机可以较好地应用于噪声环境下的钢印打码字符识别,在分类效果和ROC曲线指标上具有令人满意的效果。

非对称ν-无核二次曲面支持向量回归机

针对回归问题提出了非对称ν-无核二次曲面支持向量回归机。通过引入Pinball损失函数,使得位于ε带上方和下方的样本点具有不同的惩罚,从而得到更优的回归函数。进一步从理论上分析了参数p和ν控制ε带上方和下方错误样本点数目的上界。当p=0.5时,该方法就退化成了对称ν-无核二次曲面支持向量回归机,此时也证明了参数ν可控制支持向量的个数。事实上,该算法不需要使用核函数,从而避免了核参数的选择且不损失决策函数的可解释性。数值实验部分展示了该算法具有更好的拟合性能且耗时较少,也分析了参数p不会增加计算成本。