基于矩阵模式的最小类内散度支持向量机

基于最小类内散度支持向量机(MCSVMs)提出一种新的矩阵模式的最小类内散度支持向量机(MCSVMsmatrix).同时为了更好地解决非线性分类问题,将Mercer核函数引入到MCSVMsmatrix方法中,并提出基于矩阵模式的非线性支持向量机:Ker-MCSVMsmatrix.上述两种方法不但继承了MCSVMs的优点,而且由于将矩阵模式的类内散度矩阵引入到支持向量机中,从而在理论上可以较好地解决了MCSVMs方法在处理小样本高维数据集时类内散度矩阵奇异性问题,同时降低了求解类内散度矩阵及其逆矩阵和权重矢量的时间、空间复杂度.因此,在一定程度上提高了分类精度.实验结果也表明MCSVMsmatrix、Ker-MCSVMsmatrix具有上述优势.

基于最小类内方差的伪三维残差网络

作为一种提取视频时空特征的深度学习方法,伪三维残差网络(pseudo-3D residual net,P3D ResNet)利用SVM目标函数来驱动深度网络学习,这样该方法继承了SVM的不足——仅考虑了不同类别间的间隔,忽略了同类样本数据的分布信息。针对该问题,提出了基于最小类内方差的伪三维残差网络方法,不仅体现了大间隔原理,同时又利用了样本数据的分布信息。该方法首先使用P3D ResNet提取的特征向量计算类内散度矩阵;然后利用该矩阵构建了新的目标函数;最后通过新构建的目标函数来驱动P3D ResNet的学习。将该方法应用到行为识别领域,多个数据集上的实验结果表明,相比于传统的P3D ResNet,所提出的方法获得了更高的识别准确率,体现出了更好的泛化性能。

基于缓变特征学习的判别有序回归

有序回归是一种重要的机器学习范式,其目标是针对输出离散且有序的数据建立一个回归器以预测相应有序输出或离散类标。尽管现有的有序回归方法通过利用此类先验有序信息获得了比一般方法更优的性能。但是,并没有考虑缓变学习准则与有序回归的结合。本文通过缓变学习准则对每个样本类构建多个类内时间序列计算缓变类内散度矩阵,然后在有序约束条件的基础上根据线性判别准则寻找最佳投影进行有序映射,提出一种新的基于缓变特征学习的判别有序回归方法(Slow Feature Learning Discriminant for Ordinal Regression,SFLDOR)。通过在8个标准有序回归数据集上的对比实验表明,本算法在回归和分类性能上均优于使用普通类内散度矩阵的算法。

基于二维有监督测地线判别投影的戴眼镜人脸识别

针对戴眼镜人脸识别问题,提出了二维有监督测地线判别投影(2D Supervised Geodes-ic Discriminant Projection,2DSGDP)方法。该方法在扩充虚拟样本库的基础上,分析戴眼镜人脸图像和不戴眼镜人脸图像,及戴不同眼镜人脸图像的差异,提取判别特征用于识别。该特征同时考虑类内类间差异,寻找一种在最大化类间散度矩阵的同时最小化类内散度投影矩阵,使得属于同一类的数据投影后距离近,不同类的数据投影后距离远,降维投影后的类别特征得以保持。在FERET人脸库和CAS-PEAL人脸库上分别进行了实验,实验结果表明,该方法相比较其他方法更能提高戴眼镜人脸的识别率。

MCVSVM驱动卷积神经网络模型的图像识别

针对支持向量机(SVM)驱动的积神经网络(CNN)模忽视特征的空间分布信息对模型泛化性能的不足,提出一种最小类内方差支持向量机(MCVSVM)驱动的CNN模型来处理图像识别任务。得益于MCVSVM中类内散度矩阵的引入,提出的CNN模型不仅考虑异类图像特征间的间隔,同时能够利用特征空间中特征向量的分布信息对CNN进行微调。在五个大规模数据集上的实验结果表明,相对于SVM驱动的CNN模型,MCVSVM驱动的CNN在实验数据集上的Top-1识别准确率最大提高4.44%。MCVSVM驱动的CNN具有更强的泛化能力以及更高的识别准确率。