人脸识别中适合于小样本情况下的监督化拉普拉斯判别分析

提取有效特征对高维数据的模式分类起着关键的作用.无监督判别投影,通过最大化非局部散度和局部散度之比,在数据降维和特征提取上表现出较好的性能,但是它是一种非监督学习算法,并且存在小样本问题.针对这些问题,提出了监督化拉普拉斯判别分析,算法在考虑非局部散度和局部散度时考虑了样本的类别信息;通过丢弃总体拉普拉斯散度矩阵的零空间,并将类内拉普拉斯散度矩阵投影到总体拉普拉斯散度矩阵的主空间中,然后在该空间中进行特征问题的求解,从而避免了小样本问题.通过理论分析,该算法没有任何判别信息损失,同时在计算上效率也较高.在人脸识别上的实验验证了算法的正确性和有效性.

拉普拉斯最大最小判别分析及应用

提出了一种新的有监督降维方法:拉普拉斯最大最小判别分析(Laplacian MinMax Discriminant Analysis,LMMDA).LMMDA通过样本空间中成对点之间的距离定义类内和类间散度矩阵,并通过最小化类内散度、最大化类间散度以求得最优投影矩阵.在LMMDA最优子空间中,类内样本更为紧致,类间样本更为松弛.样本集的结构信息包含在类内、类间的Laplacian矩阵,并可以对最优投影子空间加以控制.在多个数据集上的实验证明了该算法的有效性.

拉普拉斯阶梯网络

阶梯网络不仅是一种基于深度学习的特征提取器,而且能够应用于半监督学习中.深度学习在实现了复杂函数逼近的同时,也缓解了多层神经网络易陷入局部最小化的问题.传统的自编码、玻尔兹曼机等方法易忽略高维数据的低维流形结构信息,使用这些方法往往会获得无意义的特征表示,这些特征不能有效地嵌入到后续的预测或识别任务中.从流形学习的角度出发,提出一种基于阶梯网络的深度表示学习方法,即拉普拉斯阶梯网络LLN(Laplacian ladder network).拉普拉斯阶梯网络在训练的过程中不仅对每一编码层嵌入噪声并进行重构,而且在各重构层引入图拉普拉斯约束,将流形结构嵌入到多层特征学习中,以提高特征提取的鲁棒性和判别性.在有限的有标签数据情况下,拉普拉斯阶梯网络将监督学习损失和非监督损失融合到了统一的框架进行半监督学习.在标准手写数据数据集MNIST和物体识别数据集CIFAR-10上进行了实验,结果表明,相对于阶梯网络和其他半监督方法,拉普拉斯阶梯网络都得到了更好的分类效果,是一种有效的半监督学习算法.

一种基于正则化判别分析的迁移学习算法

针对大多数基于实例的迁移学习方法容易产生分布参数估计困难和泛化效果差的问题,提出一种正则化判别迁移学习算法。依据判别分析和半监督学习理论,采用核方法和正则化方法,研究了基于正则化的高斯核半监督判别分析方法,以构造修正嵌入空间的方式进行样本迁移。一方面,在映射空间中筛选样本可克服估计分布参数的困难;另一方面,引入伪标记数据和定义距离函数可避免过拟合问题。文本和非文本数据集上的实验结果验证了所提算法能够有效提高迁移的正确率及学习模型的泛化能力。

自适应正则化核二维判别分析

传统的半监督降维技术中,在原特征空间中定义流形正则化项,但其构造无助于接下来的分类任务.针对此问题,文中提出一种自适应正则化核二维判别分析算法.首先每个图像矩阵经奇异值分解为两个正交矩阵与一个对角矩阵的乘积,通过两个核函数将两个正交矩阵列向量从原始非线性空间映射到一个高维特征空间.然后在低维特征空间中定义自适应正则化项,并将其与二维矩阵非线性方法整合于单个目标函数中,通过交替优化技术,在两个核子空间提取判别特征.最后在两个人脸数据集上的实验表明,文中算法在分类精度上获得较大提升.

基于Laplacian正则化最小二乘的半监督SAR目标识别

提出了一种基于核主成分分析(kernel principal component analysis,简称KPCA)和拉普拉斯正则化最小二乘(Laplacian regularized least squares,简称LapRLS)的合成孔径雷达(synthetic aperture radar,简称SAR)目标识别方法.KPCA特征提取方法不仅能够提取目标主要特征,而且有效地降低了特征维数.Laplacian正则化最小二乘分类是一种半监督学习方法,将训练集样本作为有标识样本,测试集样本作为无标识样本,在学习过程中将测试集样本包含进来以获得更高的识别率.在MSTAR实测SAR地面目标数据上进行实验,结果表明,该方法具有较高的识别率,并对目标角度间隔具有鲁棒性.与模板匹配法、支撑矢量机以及正则化最小二乘监督学习方法相比,具有更高的SAR目标识别正确率.此外,还通过实验分析了不同情况下有标识样本数目对目标识别性能的影响.

半监督正则化学习

研究半监督线性维数约减算法.与传统监督维数约减算法不同的是,半监督算法使用辅助信息和大量的无标号样本来达到更好的推广性能.在半监督框架下,本文的目标是学习一个光滑、有判别力的子空间.明确地说,使用cannot-link成对约束来最大化不同类样本之间的距离,使用must-link成对约束来最小化相同类样本之间的距离;同时使用无标号样本的几何结构和投影向量的特征结构作为正则化项来引导维数约减过程.并且,所提出算法能容易处理样本外问题.实验结果验证了新算法的有效性.

一种基于流形正则化的半监督指纹定位算法

针对传统指纹定位算法采集带标签训练数据成本高的问题,本文提出了一种基于流形正则化的半监督指纹定位算法。首先以流形假设为依据,利用批量输入的带标签数据与无标签数据之间的相似度构建图拉普拉斯算子;然后与极限学习机算法相结合,通过随机特征映射建立隐含层;最后在流形正则化框架下,求解隐含层和输出层之间的权值矩阵,从而建立位置估计模型。仿真结果表明,与INN、SVR、ELM 3种算法相比,该算法的训练和测试时间相对较短,且在带标签训练数据稀疏的前提下仍能保持较高的准确率与稳定性。

一种基于局部学习的自然图像景物提取方法

引入一种按邻点对的相似性权值计算次数来归类Laplacian的思想,并从理论上证明了包含多次相似性权值计算的Laplacian构造比只计算一次或两次相似性权值的Laplacian构造更能精细地刻画数据局部几何结构.据此提出了一种新的更能胜任自然图像景物提取任务的Laplacian构造方法.该方法通过任意一对相邻像素在不同局部邻域内建立一个线性学习模型来重构不同的相似性权值.结合用户提供的部分前、背景标记约束,导出求解景物提取的半监督二次优化目标函数.当考虑通过对前、背景抽样来估计未知像素的颜色值时,优化目标可以迭代求解.更有意义的是,该迭代方法可以成功地将原来构造的其他Laplacian推广应用于只提供稀疏指示条带的景物提取问题中.理论分析与实验结果均证实,所构造的Laplacian能够更充分地表达图像像素间的内在结构,能以更精细的方式约束传播前、背景的成分比例而不仅仅是标号,从而获得更优的景物提取效果.