稀疏近似最近特征空间嵌入标签传播

针对现有的基于图的半监督学习(graph-based semi-supervised learning,简称GSSL)方法存在模型参数敏感和数据空间判别信息不充分等问题,受最近特征空间嵌入和数据稀疏表示思想的启发,提出一种稀疏近似最近特征空间嵌入标签传播算法SANFSP(sparse approximated nearest feature space embedding label propagation).SANFSP首先利用特征空间嵌入投影点来稀疏表示原始数据;然后,度量原始数据和稀疏近似最近特征空间嵌入投影间的相似性;进而提出稀疏近似最近特征空间嵌入正则化项;最后,基于传统GSSL方法的标签传播算法,实现数据标签的平滑传播.同时,还将SANFSP算法简单拓展到out-of-sample学习.SANFSP算法在人造和实际数据集(如人脸识别、可视物件识别以及手写数字分类等)上取得了有效的实验结果.

基于非线性距离和夹角组合的最近特征空间嵌入方法

最近特征空间嵌入NFSE方法在训练过程中选取最近特征空间时采用传统的欧氏距离度量会导致类内离散度和类间离散度变化同步;测试时,最近邻规则也使用欧氏距离度量,而高维空间样本间直线距离具有趋同性。这些都会降低识别率,为解决此问题,提出了基于非线性距离和夹角组合的最近特征空间嵌入方法。在训练阶段,该方法使用非线性距离度量选取最近特征空间,使类内离散度的变化速度远小于类间离散度的变化速度,从而使转换空间中同类样本距离更小,不同类样本距离更大。在匹配阶段,使用结合夹角度量的最近邻分类器,充分利用样本相似性与样本夹角的关系,更适合高维空间中样本分类。仿真实验表明,基于非线性距离和夹角组合的最近特征空间嵌入方法的性能总体上优于对比算法。

非线性距离的最近邻特征空间嵌入改进方法

最近邻特征空间嵌入(nearest feature space embedding,NFSE)方法选取最近邻特征空间时使用欧氏距离度量,导致样本的类内离散度和类间离散度同步变化,无法准确反映样本在高维空间的分布;选取每个样本最近邻特征空间都要遍历所有类,导致训练时间长。针对以上问题,提出非线性距离的最近邻特征空间嵌入改进方法(nearest feature space embedding method based on nonlinear distance metric,NDNFSE),引入非线性距离公式选取最近邻特征空间,并使用结合夹角度量的最近邻分类器,提高了识别率;仅在样本的近邻类中选取最近邻特征空间,有效减少了训练时间。实验表明,NDNFSE的训练时间明显低于NFSE,识别率总体高于各对比算法。

稀疏特征空间嵌入正则化:鲁棒的半监督学习框架

在机器学习领域,半监督学习作为一种有力工具吸引了越来越多的关注,其利用少量带标签数据和大量无标签数据进行有效学习,其中基于图的半监督学习方法因其优雅的数学形式和良好的学习性能而引起更广泛的研究.针对现有基于图的半监督学习方法所存在的模型参数敏感和数据判别信息不充分等问题,提出一种稀疏特征空间嵌入正则化(Sparse Feature Space embedding Regularization,SFSR)半监督学习框架,其主要思想为:首先分别将原始数据嵌入到线性特征空间,然后利用特征空间嵌入投影点集来稀疏重构原始数据,随后在由原始数据线性张成的标签空间通过保留这种稀疏表示关系来构建一个Laplacian正则化项,或称SFSR,最后提出一个鲁棒的基于SFSR的半监督学习框架,在几个实际基准数据库上的综合实验结果证实了所提框架的鲁棒有效性.