基于Vapnik-Chervonenkis泛化界的极限学习机模型复杂性控制

模型复杂性是决定学习机器泛化性能的关键因素,对其进行合理的控制是模型选择的重要原则.极限学习机(extreme learning machine,ELM)作为一种新的机器学习算法,表现出了优越的学习性能.但对于如何在ELM的模型选择过程中合理地度量和控制其模型复杂性这一基本问题,目前尚欠缺系统的研究.本文讨论了基于Vapnik-Chervonenkis(VC)泛化界的ELM模型复杂性控制方法(记作VM),并与其他4种经典模型选择方法进行了系统的比较研究.在人工和实际数据集上的实验表明,与其他4种经典方法相比,VM具有更优的模型选择性能:能选出同时具有最低模型复杂性和最低(或近似最低)实际预测风险的ELM模型.此外,本文也为VC维理论的实际应用价值研究提供了一个新的例证.

泛化界正则项:理解权重衰减正则形式的统一视角

经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重要.然而,WD的具体形式仅仅是在优化过程中不断缩小所学习的模型参数,这很难与提升泛化能力这个概念直接地联系起来,尤其是对于多层深度网络而言.本文首先从计算学习理论(learning theory)中的鲁棒性(robustness)与泛化性(generalization)之间的量化关系出发,推导出了一个统一的泛化界正则项(Generalization Bound Regularizer,GBR)来理解WD的作用.本文证明了优化WD项(作为损失目标函数的一部分)本质上是在优化GBR的上界,而GBR则与模型的泛化能力有着理论上的直接关联.对于单层线性系统,本文可以直接推导出该上界;对于多层深度神经网络,该上界可以通过几个不等式的松弛来获得.本文通过引入均等范数约束(Equivalent Norm Constraint,ENC)即保证上述不等式的取等条件来进一步压缩GBR与其上界之间的距离,从而获得具有更好泛化能力的网络模型,该模型的识别性能在大型ImageNet数据集上得到了全面的验证.

泛化误差界指导的鉴别字典学习

在提高字典鉴别能力的过程中,最大间隔字典学习忽视了利用重新获得的数据构建分类器的泛化性能,不仅与最大间隔原理有关,还与包含数据的最小包含球(MEB)半径有关。针对这一事实,提出泛化误差界指导的鉴别字典学习算法GEBGDL。首先,利用支持向量机(SVM)的泛化误差上界理论对支持向量引导的字典学习算法(SVGDL)的鉴别条件进行改进;然后,利用SVM大间隔分类原理和MEB半径作为鉴别约束项,促使不同类编码向量间的间隔最大化,并减小包含所有编码向量的MEB半径;最后,为了更充分考虑分类器的泛化性能,采用交替优化策略分别更新字典、编码系数和分类器,进而获得编码向量相对间隔更大的分类器,从而促使字典更好地学习,提升字典鉴别能力。在USPS手写数字数据集,Extended Yale B、AR、ORL三个人脸集, Caltech101、COIL20、COIL100物体数据集中进行实验,讨论了超参数和数据维度对识别率的影响。实验结果表明,在七个图像数据集中,多数情况下所提算法的识别率优于类标签一致K奇异值分解(LC-KSVD)、局部特征和类标嵌入约束字典学习(LCLE-DL)算法、Fisher鉴别字典学习(FDDL)和SVGDL等算法;且在七个数据集中,该算法也取得了比基于稀疏表示的分类(SRC)、基于协作表示的分类(CRC)和SVM更高的识别率。

人脸特征选择中的SVM泛化误差估计

为了研究在人脸特征选择中用支持向量机(SVM)泛化误差界作特征选择判据的有效性问题,结合过滤(Filter)和封装(Wrapper)模型构造了人脸特征选择及识别的新框架,将小波变换(WT)和核主元分析(KPCA)作为Filter模型,最小化SVM的VC维(VC)留一法(LOO)误差界及支持向量span误差界作为Wrapper模型的特征选择判据;通过递归特征排除法(RFE)在UMIST人脸图像库上进行人脸特征选择及识别实验。实验结果表明:判据为VC维的LOO误差界和支持向量span误差界时,特征维数可以分别降低到80和70,而分类识别率仍然能达到94%以上,表明本文所提出的特征选择判据和特征搜索策略是解决人脸特征选择问题的一种有效方法。

半径间隔界驱动卷积神经网络模型的图像识别

基于支持向量机(SVM)的卷积神经网络(CNN)模型结合了大间隔原理,在图像识别中表现出了优异的泛化性能。然而,该方法忽视了一个关键:SVM的泛化性能不仅取决于不同类之间的间隔,还与所有样本的最小包含球(MEB)的半径有关。针对这一事实,文章提出一种基于半径间隔界(RMB)驱动的CNN模型的图像特征提取和识别的方法。与传统CNN模型相比,该模型采用基于SVM泛化误差界的策略来指导CNN深度模型学习和相应分类器构建,不仅考虑了不同类别之间的间隔,还考虑了MEB的半径。该模型能提高深度卷积模型的泛化能力而不会额外增加网络的复杂度,还能够应用于不同的深度模型中而不受限于某一特定的网络结构。在多个数据集上的实验结果表明,相比于基于Sofmax损失的CNN模型、基于中心损失的CNN模型以及基于SVM的CNN模型,该模型能够提取到鉴别性更强的图像特征,取得更高的识别率。

基于支持向量机泛化误差界的多核学习方法

基于支持向量机(SVM)泛化误差界,提出了一种精确且有效的多核学习方法.首先,应用SVM泛化误差界推导多核学习优化形式,并给出求解其目标函数微分的计算公式.然后,设计高效的迭代算法来求解该优化问题.最后,分析了算法的时间复杂度,并基于Rademacher复杂度给出了算法的泛化误差界,该泛化界在基核个数很大时依然有效.在标准数据集上的实验表明,相对于一致组合方法以及当前流行的单核和多核学习方法,所提出的方法具有较高的准确率.

Rademacher复杂度在统计学习理论中的研究:综述

假设空间复杂性是统计学习理论中用于分析学习模型泛化能力的关键因素.与数据无关的复杂度不同,Rademacher复杂度是与数据分布相关的,因而通常能得到比传统复杂度更紧致的泛化界表达.近年来,Rademacher复杂度在统计学习理论泛化能力分析的应用发展中起到了重要的作用.鉴于其重要性,本文梳理了各种形式的Rademacher复杂度及其与传统复杂度之间的关联性,并探讨了基于Rademacher复杂度进行学习模型泛化能力分析的基本技巧.考虑样本数据的独立同分布和非独立同分布两种产生环境,总结并分析了Rademacher复杂度在泛化能力分析方面的研究现状.展望了当前Rademacher复杂度在非监督框架与非序列环境等方面研究的不足,及其进一步应用与发展.

面向回归任务的数值型标签噪声过滤算法

回归任务中的数值型标签噪声可能误导模型训练,进而弱化模型泛化能力.作为一种常用的标签噪声处理技术,噪声过滤通过去除误标记样本来降低噪声水平,但无法保证过滤后模型能够获得更好的泛化表现.一些过滤算法过于关注噪声水平,以至于大量无噪样本也被去除.尽管已有样本过滤框架能够平衡样本去除量和噪声水平,但其形式过于复杂不利于直观理解和实际应用.根据无噪回归任务中的学习理论提出了面向数值型标签噪声数据的泛化误差界,从而明确了影响模型泛化能力的关键数据因素(数据量和噪声水平).在此基础上提出一种可解释的噪声过滤框架,其目标是以较小的样本去除代价最大程度地降低噪声水平.针对噪声估计问题,从理论上分析了噪声与覆盖区间关键指标(中心和半径)之间的变化趋势,进而构建了相对噪声估计方法.此方法与所提框架结合形成了相对噪声过滤(relative noise filtering,RNF)算法.在标准数据集和年龄估计数据上均验证了算法的有效性.实验结果表明:该算法能够适应各类噪声数据,显著提升模型泛化能力.在年龄估计数据上RNF算法检测出一些标签噪声数据,有效提升了数据质量和模型预测性能.

粗糙集预测算法的稳定性分析

粗糙集预测旨在从决策信息系统中学习规则从而预测新样本的标签.文中利用置信度刻画规则的可信程度,从而设计基于粗糙集的置信度预测算法,称为置信度算法.该算法可以对新样本分配与其匹配之后置信度最高的标签.泛化误差作为衡量算法有效性的指标之一,对其界的估计一直是构造学习模型的基础.利用算法稳定性概念刻画了置信度算法的泛化界,结果表明泛化能力由样本个数以及稳定性参数决定:样本数目越大,规则数目越多且稳定性参数越小;泛化误差界越小,经验误差越逼近泛化误差.