面向相交多流形聚类的标签传播算法

经典的流形学习算法假设样本数据位于高维单流形上,但在现实生活中的真实数据通常位于高维多流形上,且这些数据往往相互交叠,导致流形学习算法效果不佳。传统的标签传播算法通过相似性矩阵构建连接矩阵,实现良好分离数据的聚类,但不能有效聚类相互交叠的多流形数据。针对该问题,提出一种面向相交多流形的标签传播算法LPAMMC。采用局部主成分分析算法确定相交多流形数据的相交区域,并基于混合概率主成分分析(MPPCA)模型和多流形的拓扑结构划分相互交叠的子流形,构建“must-link”和“cannot-link”聚类约束,通过约束构建适合相交多流形数据的传播矩阵,实现标签传播算法。LPAMMC算法通过MPPCA模型和多流形拓扑结构划分出子流形,提高相交多流形数据的聚类精度,且MPPCA模型仅用于多流形数据的相交区域,降低了计算复杂度。实验结果表明,LPAMMC算法不仅具有标签传播算法速度快的特点,且能有效聚类相交多流形数据。在Two spirals数据集上的聚类精度、标准互信息和调整兰德系数取得了与SMMC算法相同的性能,运行时间缩短86.7个百分点。

多流形数据的结构分析研究

在大数据的时代,面对着大量的多流形数据,对多流形数据的结构分析进行研究是十分有必要的。为了提高对多流形数据的分析能力,在已有的聚类技术基础上,结合流形学习的方法和谱聚类的方法,发展出了谱多流形聚类方法。而在研究多流形数据的结构以及谱多流形聚类的基础上,又提出了稀疏谱聚类方法来进一步改进对多流形数据的结构分析研究。

基于非参数核密度估计和改进谱多流形聚类的负荷曲线分类研究

针对高维负荷曲线的聚类问题,提出一种基于改进谱多流形聚类的负荷曲线聚类方法,该方法包括典型日负荷曲线提取、负荷曲线聚类和聚类效果评价3个步骤。首先提取用户负荷特性指标,结合非参数核密度估计方法计算提取用户典型日负荷曲线。在改进谱多流形聚类算法中,引入时间翘曲距离度量曲线相似性,并用高斯核函数计算局部相似性,基于此构建相似性矩阵并聚类。聚类后采用多种聚类有效性指标,从聚类效果、算法稳定性和运算时间3个角度对聚类结果和算法性能进行评价。采用某地区若干用户的负荷数据作为算例样本进行聚类分析,验证了所提出的典型日负荷曲线提取方法和改进谱多流形聚类算法的合理性和优越性。

一种基于多流形局部线性嵌入算法的故障诊断方法

故障类别的多样性往往导致原始样本数据在特征空间中呈间断性分布,针对传统k近邻的邻域构建方法难以保证数据集几何结构完整性的问题,提出一种新的非线性最小二乘约束-局部线性嵌入算法。通过非负线性最小二乘约束搜索边界点,并结合第一主成分直线寻找其邻域样本点,重新构造关于边界点的邻域图,用经典的局部线性嵌入算法机理发现数据内在分布和几何结构,根据得到的低维嵌入采用KNN分类器进行故障模式识别;仿真数据分析与试验验证结果表明该算法高度保持了原始数据的几何拓扑结构,增强了低维嵌入的有效性,提高了故障识别精度。

视频人脸识别中判别性联合多流形分析

将基于视频的人脸识别转换为图像集识别问题,并提出两种流形来表示每个图像集:一种是类间流形,表示每个图像集的平均脸信息;另一种是类内流形,表示每个图像集的所有原始图像的信息.类间流形针对图像集之间的区别提取整体判别信息,作用是选出几个与待识别图像集较为相似的候选图像集.类内流形则考虑图像集内各原始图像之间的关系,负责从候选图像集中找出最为相似的一个.不同于现有的非线性流形方法中每幅图像对应流形中的一个点,采用分片技术学习两种流形的投影矩阵,每个分片对应流形中的一个点,所学到的特征更具有判别性,进而使流形边界更加清晰,同时解决了传统非线性流形方法中的角度偏差和不充分采样问题.还提出了与分片技术相匹配的流形之间的距离度量方法.最后在几个广为研究的数据集上进行了实验,结果表明:新方法的识别准确率高,尤其适用于不受控环境下的视频识别,而且不受视频段长短的影响.

基于半监督稀疏多流形嵌入的高光谱影像分类

提出了一种半监督稀疏多流形嵌入方法,并应用于高光谱影像分类.该方法充分利用少量标记和大量无标记样本,采用稀疏表示方法得到样本的稀疏系数,并选取来自同一流形的点作为近邻点,然后构建相似图来表征多流形结构,得到样本在每个流形上低维鉴别特征,增加来自同一流形的数据点聚集性,进而提升分类性能.本文方法在PaviaU和Salinas两个高光谱数据集上的总体分类准确度分别达到84.91%和89.74%,相较于其他方法明显提高了地物分类性能.

基于ISOMAP的一种多流形学习算法

提出了M-ISOMAP算法,该算法通过求被间断流形间的最短欧氏距离对应的数据点并将这些数据点设置为互为邻域点,然后用经典ISOMAP算法找到嵌入结果.实验结果验证了该算法不仅保持数据集的拓扑结果,而且没有导致数据高度扭曲,适合可视化要求.

一种基于局部线性嵌入的多流形学习算法

针对局部线性嵌入算法在处理多流形数据时失效问题,提出一种新的基于局部线性嵌入的多流形学习算法.采用cam分布寻找数据点的近邻,避免了近邻选取方向的缺失;同时在获取重建权值矩阵的过程中引入一个正则项约束,从而降低了算法对噪声的敏感度.通过对分布在不同流形上的高维数据实验后发现改进算法具有很好的降维效果.为了进一步验证算法的有效性,将改进后的算法对COIL-20数据库进行图像检索,结果表明该算法不仅有较好的降维效果而且在多类别多形状流形学习中有很好的实用价值.

基于等维度独立多流形的DC-ISOMAP算法

流形学习已经成为机器学习与数据挖掘领域中一个重要的研究课题.目前的流形学习算法都假设所研究的高维数据存在于同一个流形上,并不能支持或者应用于大量存在的采样于多流形上的高维数据.针对等维度的独立多流形DC-ISOMAP算法,首先通过从采样密集点开始扩展切空间的方法将多流形准确分解为单个流形,并逐个计算其低维嵌入,然后基于各子流形间的内部位置关系将其低维嵌入组合起来,得到最终的嵌入结果.实验结果表明,该算法在人造数据和实际的人脸图像数据上都能有效地计算出高维数据的低维嵌入结果.

四维时空兴趣点提取结合多流形判别分析的人体动作识别

针对人体动作识别方法较差的稳定性和视角选择的局限性问题,提出了四维时空兴趣点提取结合多流形判别分析(MMDA)的人体动作识别方法.首先,将每个动作通过三维空间体和四维时空兴趣点投影到任意视角;然后,构建运动历史图像和非运动历史图像,并使用类增强主成分分析进行降维;最后,将降维后的矩阵构建为多流形,计算测试图像流形与各个训练图像流形之间的距离,利用最近邻分类器完成识别.在IXMAS数据集上的实验结果表明,相比其他几种动作识别方法,提出的方法取得了更高的识别率,且对任意视角都具有较好的鲁棒性.

面向高光谱遥感影像分类的监督多流形鉴别嵌入方法

流形学习方法可以发现嵌入于高维观测数据中的低维流形结构,但是传统的流形学习算法都是假设所有数据位于单一流形上,忽略了高维数据中不同的子集可能存在不同的流形.针对上述问题,本文提出一种监督多流形鉴别嵌入的维数约简方法,并应用于高光谱遥感影像分类.该方法首先利用样本数据的类别标签进行多子流形划分,在此基础上采用图嵌入理论构造流形内图和流形间图,然后通过最小化流形内距离同时最大化流形间距离以增强类内数据聚集性和类间数据分散性,提取低维鉴别特征,改善地物分类性能.在University of Pavia(PaviaU)和Kennedy Space Center(KSC)高光谱数据集上的实验表明,相较于其他单流形算法和多流形算法,该方法取得了更高的分类精度,在随机选取2%训练样本时,其总体分类精度分别达到88.04%和84.53%,有效提升了地物分类性能.

基于等距映射的监督多流形学习算法

目前的监督多流形学习算法大多数都根据数据的类别标记对彼此间的距离进行调整,能较好实现多流形的分类,但难以成功展现各流形的内在几何结构,泛化能力也较差,因此文中提出一种基于等距映射的监督多流形学习算法.该算法采用适合于多流形的最短路径算法,得到在多流形下依然能正确逼近相应测地距离的最短路径距离,并采用Sammon映射以更好地保持短距离,最终可成功展现各流形的内在几何结构.此外,该算法根据邻近局部切空间的相似性可准确判定新数据点所在的流形,从而具有较强的泛化能力.该算法的有效性可通过实验结果得以证实.

余弦度量的多流形最大间距鉴别保持嵌入

针对LMMDE算法存在的缺陷,提出了余弦度量的多流形最大间距鉴别保持嵌入算法(Multi-manifold Maximal Margin Discriminant Preserving Embedding based on Cosine M easure,CM M M M DPE).该算法首先利用多流形思想将原始样本集中的每个样本分成若干个局部小块样本,形成一个多流形的样本空间.在为流形内的每个局部小块样本确定类间邻域和类内邻域时,采用余弦距离代替欧式距离的度量方式.定义了加权的类间邻域散布矩阵和类内散布矩阵,来描述整个多流形空间中样本之间的相似度,通过相应的准则函数为每个样本流形找到最优投影矩阵,对每个样本流形降维到更低维流形空间中,最后通过计算测试样本流形与训练样本流形的距离来判定测试样本的类别归属.通过在多个人脸库上的实验,验证了本文方法的有效性.

多流形的非监督线性差分投影算法

针对非监督线性差分投影(unsupervised linear differential projection,ULDP)在特征提取过程中存在的不足,提出了基于多流形的非监督线性差分投影(multi-manifold unsupervised linear differential projection,MULDP)算法,并将其应用于人脸识别中。MULDP首先构造出多流形局部近邻图和多流形最大全局方差,然后通过多目标最优化问题求解出嵌入在高维空间的低维流形。这种映射不仅能表示全局结构,还能表示局部结构。该算法可以得到嵌入在高维空间的低维流形,更好地实现了局部与全局结构信息的有效保持。在ORL、Yale及AR人脸库上的实验结果验证了所提算法的优越性。

基于虚拟样本图像集的多流形鉴别学习算法

为了丰富训练样本的类内变化信息,提出了基于通用训练样本集的虚拟样本生成方法。为了利用生成的虚拟样本中的类内变化信息有效地完成单样本人脸识别任务,提出了基于虚拟样本图像集的多流形鉴别学习算法。该算法将每类仅有的单个训练样本图像和该类的虚拟样本图像划分为互不重叠的局部块并构建流形,然后为每个流形学习一个投影矩阵,使得相同流形内的局部块在投影后的低维特征空间间隔最小化,不同流形中的局部块在投影后的低维特征空间中间隔最大化。实验结果表明,所提算法能够准确地预测测试样本中的类内变化,是一种有效的单样本人脸识别算法。

基于边界检测的多流形学习算法

已知流形学习算法都假设数据分布于一个单流形,而现实中大部分数据都分布在多流形上,因此限制算法的实际应用.基于此种情况,文中提出基于边界检测的多流形学习算法,通过检测流形的边界处理分布于多流形的数据,并且可以较好地保持流形内、流形间的测地距离.算法首先检测流形边界,再分别降维处理各流形,最后将各低维坐标重置于一个全局坐标系中.在人工数据集和真实数据集上的对比实验表明文中算法的可行性和有效性.

数据的多流形结构分析与研究

结合现实中数据表现出复杂的多流形特点,对多流形假设下的学习算法进行了研究。利用多种聚类算法对不同类型的数据进行聚类分析,得出每种数据类型下的最优聚类方法。仿真结果表明,采用规范化切割谱聚类方法可将独立子空间高维数据成功分类;SSC算法对线性子空间聚类效果表现最佳;引入LLE的Ncut聚类算法和SMMC算法对于非线性数据的多流形聚类具有较好的效果;SSC算法和SMR算法对高维子空间聚类问题表现出较好的适用性。

用于多流形分类的核等距映射算法

核等距映射(Kernel ISOMAP)算法具有较好的泛化性能,但不能直接用于多流形的分类。在多流形下,准确判定新数据点所在的流形是其获得良好泛化性能的基础,因此,提出了能够用于多流形分类的核等距映射算法。该算法根据同一流形上邻近局部切空间的相似性能够准确判定新数据点所在的流形,并对目前核等距映射算法中新数据点低维表示的计算过程进行了简化,从而具有良好的泛化性能。实验结果证实,该算法具有较高的分类准确率。

HOG和多流形判别分析相融合的人脸识别

为了提高人脸的识别率,提出一种方向梯度直方图和多流形判别分析相融合的人脸识别算法。将一幅图像划分为多个子块图像块,并采用方向梯度直方图算法对每一个小块进行处理;采用多流形判别分析提取特征,并采用最小二乘支持向量机建立分类器对人脸进行分类和识别;在Yale和AR人脸库进行仿真实验。实验结果表明,相对于传统人脸别算法,该算法不仅提高了人脸识别率和识别速度,并且对光照和姿态变化具有较强的鲁棒性。

一种面向高维相交多流形的识别算法D-MPPCA

流形学习已经成为机器学习与数据挖掘领域的一个重要的研究课题.经典的流形学习算法总假设所研究的高维数据存在于同一个单流形上,然而现实世界中的数据往往位于不同的流形且交叉重叠.当前的流形学习算法并不能有效应用于这种高维多流形数据.基于MPPCA模型提出一种面向相交多流形数据的识别算法D-MPPCA.该算法首先通过动态邻域算法计算出每个样本点的近邻关系和切空间,然后通过MPPCA模型将相交多流形数据分解成若干"不相交块",最后通过切空间扩展分解和识别多流形数据.实验结果表明,该算法能有效地应用于人工数据和实际的高维图像数据,相较于其他算法极大的提高了子流形识别精度.