泛化误差界指导的鉴别字典学习

在提高字典鉴别能力的过程中,最大间隔字典学习忽视了利用重新获得的数据构建分类器的泛化性能,不仅与最大间隔原理有关,还与包含数据的最小包含球(MEB)半径有关。针对这一事实,提出泛化误差界指导的鉴别字典学习算法GEBGDL。首先,利用支持向量机(SVM)的泛化误差上界理论对支持向量引导的字典学习算法(SVGDL)的鉴别条件进行改进;然后,利用SVM大间隔分类原理和MEB半径作为鉴别约束项,促使不同类编码向量间的间隔最大化,并减小包含所有编码向量的MEB半径;最后,为了更充分考虑分类器的泛化性能,采用交替优化策略分别更新字典、编码系数和分类器,进而获得编码向量相对间隔更大的分类器,从而促使字典更好地学习,提升字典鉴别能力。在USPS手写数字数据集,Extended Yale B、AR、ORL三个人脸集, Caltech101、COIL20、COIL100物体数据集中进行实验,讨论了超参数和数据维度对识别率的影响。实验结果表明,在七个图像数据集中,多数情况下所提算法的识别率优于类标签一致K奇异值分解(LC-KSVD)、局部特征和类标嵌入约束字典学习(LCLE-DL)算法、Fisher鉴别字典学习(FDDL)和SVGDL等算法;且在七个数据集中,该算法也取得了比基于稀疏表示的分类(SRC)、基于协作表示的分类(CRC)和SVM更高的识别率。

基于支持向量机泛化误差界的多核学习方法

基于支持向量机(SVM)泛化误差界,提出了一种精确且有效的多核学习方法.首先,应用SVM泛化误差界推导多核学习优化形式,并给出求解其目标函数微分的计算公式.然后,设计高效的迭代算法来求解该优化问题.最后,分析了算法的时间复杂度,并基于Rademacher复杂度给出了算法的泛化误差界,该泛化界在基核个数很大时依然有效.在标准数据集上的实验表明,相对于一致组合方法以及当前流行的单核和多核学习方法,所提出的方法具有较高的准确率.

人脸特征选择中的SVM泛化误差估计

为了研究在人脸特征选择中用支持向量机(SVM)泛化误差界作特征选择判据的有效性问题,结合过滤(Filter)和封装(Wrapper)模型构造了人脸特征选择及识别的新框架,将小波变换(WT)和核主元分析(KPCA)作为Filter模型,最小化SVM的VC维(VC)留一法(LOO)误差界及支持向量span误差界作为Wrapper模型的特征选择判据;通过递归特征排除法(RFE)在UMIST人脸图像库上进行人脸特征选择及识别实验。实验结果表明:判据为VC维的LOO误差界和支持向量span误差界时,特征维数可以分别降低到80和70,而分类识别率仍然能达到94%以上,表明本文所提出的特征选择判据和特征搜索策略是解决人脸特征选择问题的一种有效方法。

半径间隔界驱动卷积神经网络模型的图像识别

基于支持向量机(SVM)的卷积神经网络(CNN)模型结合了大间隔原理,在图像识别中表现出了优异的泛化性能。然而,该方法忽视了一个关键:SVM的泛化性能不仅取决于不同类之间的间隔,还与所有样本的最小包含球(MEB)的半径有关。针对这一事实,文章提出一种基于半径间隔界(RMB)驱动的CNN模型的图像特征提取和识别的方法。与传统CNN模型相比,该模型采用基于SVM泛化误差界的策略来指导CNN深度模型学习和相应分类器构建,不仅考虑了不同类别之间的间隔,还考虑了MEB的半径。该模型能提高深度卷积模型的泛化能力而不会额外增加网络的复杂度,还能够应用于不同的深度模型中而不受限于某一特定的网络结构。在多个数据集上的实验结果表明,相比于基于Sofmax损失的CNN模型、基于中心损失的CNN模型以及基于SVM的CNN模型,该模型能够提取到鉴别性更强的图像特征,取得更高的识别率。

面向回归任务的数值型标签噪声过滤算法

回归任务中的数值型标签噪声可能误导模型训练,进而弱化模型泛化能力.作为一种常用的标签噪声处理技术,噪声过滤通过去除误标记样本来降低噪声水平,但无法保证过滤后模型能够获得更好的泛化表现.一些过滤算法过于关注噪声水平,以至于大量无噪样本也被去除.尽管已有样本过滤框架能够平衡样本去除量和噪声水平,但其形式过于复杂不利于直观理解和实际应用.根据无噪回归任务中的学习理论提出了面向数值型标签噪声数据的泛化误差界,从而明确了影响模型泛化能力的关键数据因素(数据量和噪声水平).在此基础上提出一种可解释的噪声过滤框架,其目标是以较小的样本去除代价最大程度地降低噪声水平.针对噪声估计问题,从理论上分析了噪声与覆盖区间关键指标(中心和半径)之间的变化趋势,进而构建了相对噪声估计方法.此方法与所提框架结合形成了相对噪声过滤(relative noise filtering,RNF)算法.在标准数据集和年龄估计数据上均验证了算法的有效性.实验结果表明:该算法能够适应各类噪声数据,显著提升模型泛化能力.在年龄估计数据上RNF算法检测出一些标签噪声数据,有效提升了数据质量和模型预测性能.