基于局部与全局保持的半监督维数约减方法

在很多机器学习和数据挖掘任务中,仅仅利用边信息(side-information)并不能得到最好的半监督学习(semi-supervised learning)效果,因此,提出一种基于局部与全局保持的半监督维数约减(local and global preserving based semi-supervised dimensionality reduction,简称LGSSDR)方法.该算法不仅能够保持正、负约束信息而且能够保持数据集所在低维流形的全局以及局部信息.另外,该算法能够计算出变换矩阵并较容易地处理未见样本.实验结果验证了该算法的有效性.

基于局域主方向重构的适应性非线性维数约减

现有的主要非线性维数约减算法,如SIE和Isomap等,其邻域参数的设定是全局性的。仿真表明,对于局域流形结构差异较大的数据集,全局一致的邻域参数可能无法获得合理的嵌入结果。为此给出基于局域主方向重构的适应性邻域选择算法。算法首先为每个参考点选择一个邻域集,使各邻域集近似处于局域主线性子空间,并计算各邻域集的基向量集;再由基向量集对各邻域点的线性拟合误差判定该邻域点与主线性子空间的偏离程度,删除偏离较大的点。仿真表明,基于局域主方向重构的适应性邻域选择可有效处理局域流形结构差异较大的数据集;且相对于已有的适应性邻域选择算法,可以更好屏蔽靠近参考点的孤立噪声点及较大的空间曲率导致的虚假连通性。

基于自组织的鲁棒非线性维数约减算法

现有的非线性维数约减算法需要求解大尺度特征值问题 由于特征值问题至少二次的计算复杂性 ,这类算法在大样本集上的应用较受限制 此外 ,现有算法的全局优化机制对于噪声较为敏感 ,且需要考虑“病态矩阵”的计算精度问题 提出时间复杂性为O (NlogN)的自组织非线性维数约减算法SIE SIE的主要计算过程是局域的 ,可提高算法抗噪性、回避病态矩阵的计算精度问题 仿真表明 ,对于无噪数据和含噪数据 。

加权成对约束半监督局部维数约减算法

考虑到已有的半监督维数约减方法在利用边信息时将所有边信息等同,不能充分挖掘边所含信息,提出加权成对约束半监督局部维数约减算法(WSLDR)。通过构建近邻图对边信息进行扩充,使边信息数量有所增加。另外,根据边所含信息量的不同构建边的权系数矩阵。将边信息融入近邻图对其进行修正,对修正后的近邻图和加权的成对约束寻找最优投影。算法不仅保持了数据的内在局部几何结构,而且使得类内数据分布更加紧密,类间数据分布更加分散。在UCI数据集上的实验结果验证了该算法的有效性。

基于局部重构与全局保持的半监督维数约减算法

针对基于局部与全局保持的半监督维数约减算法(LGSSDR)对邻域参数选择比较敏感以及对邻域图边权值设定不够准确的问题,提出一种基于局部重构与全局保持的半监督维数约减算法(LRGPSSDR)。该算法通过最小化局部重构误差来确定邻域图的边权值,在保持数据集局部结构的同时能够保持其全局结构。在Extended YaleB和CMU PIE标准人脸库上的实验结果表明LRGPSSDR算法的分类性能要优于其它半监督维数约减算法。

用于带边信息人脸数据的半监督维数约减算法

提出了一种基于测地线距离的半监督维数约减算法,并将其用于带边信息的人脸数据的维数约减,此算法可以充分利用边信息和数据点之间的测地线距离,从而在保留边信息的同时保留更为真实的数据拓扑结构信息。在人脸数据库上的实验结果表明,本文所提出的算法对数据降维后用于分类时可取得比其他算法更高的准确率,且对创建的KNN图中的参数K最具鲁棒性。

边信息传播修正的半监督维数约减方法

现有基于边信息的半监督维数约减算法大都是直接将保留边信息和数据拓扑结构的目标函数相加,因此数据拓扑结构中的错误连接不会因已知的边信息而得到修正.提出通过边信息传播及修正机制将边信息融入到数据拓扑结构图中的方法,从而在保留边信息的同时保留更为真实的数据拓扑结构信息.实验结果表明本文所提出的算法较之其它算法,对数据降维后用于分类时可取得较高的准确率,且算法对创建的KNN图中的参数K最具鲁棒性.

非线性维数约减算法在文档聚类中的应用

提出一种非线性维数约减算法——自组织等距嵌入实现高维文档数据的压缩,并在文档聚类实验中,与经典的线性维数约减算法—隐含语义索引进行了比较研究。实验结果表明,在复杂度显著低于LSI算法的同时,SIE算法取得了优于LSI算法的性能,且高于基准性能。

用于癌症分类的随机子空间半监督维数约减(英文)

精确的癌症分类对于癌症的成功诊断和治疗是必不可少的.半监督维数约减算法在干净的数据集上表现得很好,然而当面临噪声时,当前的大部分算法所构造的邻域结构是拓扑不稳定的.为了克服这一问题,文中提出了一种基于随机子空间的半监督维数约减算法(RSSSDR),将随机子空间与半监督维数约减算法结合起来.在数据集的不同随机子空间上,该算法首先设计多个不同的子图,然后将这些子图联合起来构成一个混合图并在其上进行维数约减.该算法通过最小化局部重构误差来确定邻域图的边权值,在保持癌症数据集局部结构的同时能够保持其全局结构.在公共癌症数据集上的实验结果表明,RSSSDR算法具有较高的分类准确率和较好的参数鲁棒性.

一种高性能改进型半监督维数约减算法

针对局部重构和全局保持的半监督维数约减算法在对类内、类间关系进行处理时忽略了数据的局部性的缺点,以及增强的半监督局部Fisher判别分析算法在保持数据流形结构时忽略了数据流形结构局部性的缺点,提出一种改进型的半监督维数约减算法.该算法通过一种改进的热核权重来表示样本间距离的重要性,以此使得处于同一类簇的类内、类间关系更加得到重视,可以优先减少或加大处于同一类簇的类内或类间距离;此外在保持数据流形结构时,采用局部线性嵌入算法的思想,即要求低维空间里每个点的邻域线性重构关系和该点在高维空间里的邻域重构关系类似,并将数据流形结构的局部性考虑进去.实验结果表明,该算法在COIL20,Extended YaleB与CMU PIE等标准库上的分类性能比其他半监督维数约减算法更具优势.

基于判别回归与局部判别分析的维数约简算法

线性判别回归分类算法没有考虑到类内距离和类间距离,为此提出一种基于线性判别回归与局部判别分析的维数约简算法(LDRFDR),同时利用类内和类间重构误差、以及类内和局部类间距离获得投影矩阵。其物理含义是为各个类尽量寻找相互之间离得最远的线性子空间,其中类内距离与类间距离还考虑数据的局部性,避免最大化相离太远的类间样本对优化目标造成影响。实验结果表明,LDRFDR算法的维数约简性能优于其它半监督维数约减算法。

高维数据离群点检测的局部线性嵌入方法

由于高维空间中数据点比较稀疏,用传统方法来检测高维空间中的离群点不能达到预期效果。提出了一种基于局部线性嵌入的离群点检测方法(OLLE)。在OLLE降维方法中,建立了一种有效的粗糙集模型,使数据集的下近似中的点保持局部线性结构。同时构造两个权重,使所有样本点保持局部近邻结构,且保证在降维的过程中使离群点远离正常点。最后,在低维空间中,采用基于最小生成树的k-最近邻启发式方法来检测离群点。通过一系列的模拟实验,证明OLLE方法能达到很好的降维效果,并且在低维空间中可以有效地检测出离群点。

基于聚类融合算法的高维数据聚类的研究

本文对基于聚类融合算法的高维数据聚类方法进行了研究。首先介绍了聚类融合方法,然后提出改进的随机投影算法,并将其运用到聚类融合算法中。实验证明,该方法比传统的主成分高维数据约减方法得到的聚类结果更好,具有更好的鲁棒性。对于聚类融合中的关键问题——如何合并多个聚类才能最终得到最优的聚类结果问题,本文将其转换为图分割问题,这种方法在形成最终的聚类结果时允许同时考虑数据点之间的相似性及簇之间的相似性。实验表明这种方法能获得更好的效果。

一种改进的稀疏保持投影算法在高光谱数据降维中的应用

稀疏保持投影由于在低维空间中很好的保持了原空间中样本的稀疏表示关系,在高光谱数据的维数约减中取得了很好的效果,但是其中并没有引入任何的判别信息,并且,稀疏保持投影在计算图矩阵时的时间复杂度较高。针对以上两个问题,本文提出了一种改进的稀疏保持投影方法,利用聚类获取不精确的类标信息,并利用该类标信息引导稀疏图的构造,在增加判别能力的同时降低时间复杂度。该方法在两组常用的高光谱数据上进行了实验。实验结果表明改进策略可以一定程度上提高稀疏保持投影的性能,同时还可大大缩短算法的运行时间。

基于核函数的稳健线性嵌入方法

LLE算法是一种新的非监督学习方法,主要针对非线性降维问题。针对该算法存在的缺点,提出了一种基于核函数的稳健线性嵌入方法,该方法通过引进核函数来优化算法邻域点的求解;在特征空间中,修正权值矩阵W,进行降噪处理,经过推导,最终将实际的子空间计算归结为标准的特征值分解问题。采用最小近邻分类器估算识别率。在Yale人脸库以及AT&T人脸库的测试结果表明,在姿态、光照、表情、训练样本数目变化的情况下,改进的算法都具有较好的识别率。

半监督局部维数约减

在挖掘和分析高维数据任务中,有时只能获得有限的成对约束信息(must-link约束和cannot-link约束),由于缺乏数据类标号信息,监督维数约减方法常常不能得到满意的结果。在这种情况下,使用大量的无标号样本可以提高算法的性能。文中借助于成对约束信息和大量无标号样本,提出半监督局部维数约减方法(SLDR)。SLDR集成数据的局部信息和成对约束寻找一个最优投影,当数据被投影到低维空间时,不仅cannot-link约束中样本点对之间距离更远、must-link约束中样本点对之间距离更近,数据的内在几何信息还被保持。而且SLDR能推广为非线性方法,使之能够适应非线性数据的维数约减。在各种数据集上的实验结果充分验证了所提出算法的有效性。

基于PCA和LDA方法的肿瘤基因表达谱数据分类

目的基因芯片技术对医学临床诊断、治疗、药物开发和筛选等技术的发展具有革命性的影响。针对高维医学数据降维困难及基因表达谱样本数据少、维度高、噪声大的特点,维数约减十分必要。基于主成分分析(principal component analysis,PCA)和线性判别分析(1inear discriminant analysis,LDA)方法,有效解决了基因表达谱数据分类问题,并提高了识别率。方法分别引入PCA和LDA方法对基因表达谱数据进行降维,然后用K近邻(K-nearest neighbor,KNN)作为分类器对数据进行分类,并分别在乳腺癌和卵巢癌质谱数据上。结果在两类癌症质谱数据上应用PCA和LDA方法能够有效提取分类特征信息,并在保持较高分类正确率的前提下大幅度降低医学数据的维数。结论利用维数约减的方法对癌症基因表达谱数据进行分类,可辅助临床医生发现新的疾病特征,提高疾病诊断的正确率。

基于复数核的鲁棒最大间距准则算法

现有的最大间距准则(Maximum Margin Criterion,MMC)算法对噪声比较敏感,为了克服这一问题,本文提出了一种基于复数核的鲁棒最大间距准则算法(Robust Maximum Margin Criterion,RMMC)。首先通过鲁棒的复数核将样本映射到复数再生核Hilbert空间(Complex Reproducing Kernel Hilbert Spaces,CRKHS),然后在CRKHS空间内实施MMC算法。另外,本文也提出了一种求解RMMC的高效算法。实验表明,本文算法对于噪声图像有较好的鲁棒性,其识别率较高。

基于局部保序降维的SVDD故障检测方法

针对SVDD方法在训练阶段计算量大、训练时间久的问题,提出了基于局部保持投影支持向量数据描述(LPP-SVDD)的故障检测方法.结合LPP处理线性降维和SVDD在异常点检测的优势,使用LPP算法对原始数据进行维数约减,对降维后的数据采用SVDD算法建立监控模型,在最大程度保留数据局部结构特性的同时达到数据维数约减的目的,从而降低SVDD的计算量,缩短建模及检测时间.通过数值例子和半导体工艺过程进行仿真研究,对比LPP、k NN、SVDD、LPP-SVDD方法,验证所提方法的性能.结果证实了LPP-SVDD不仅具有准确的检测能力,而且具有较高的检测效率.

基于增量切空间校准的自适应流式大数据学习算法

流形学习是为了寻找高维空间中观测数据的低维嵌入.作为一种有效的非线性维数约减方法,流形学习被广泛应用于数据挖掘、模式识别等机器学习领域.然而,对于样本外点学习、增量学习和在线学习等流形学习方法,面对流式大数据的学习算法时间效率较低.为此提出了一种新的基于增量切空间的自适应流式大数据学习算法(self-adaptive streaming big data learning algorithm based on incremental tangent space alignment,SLITSA),该算法采用增量PCA的思想,增量地构造子空间,能在线或增量地检测数据流中的内在低维流形结构,在迭代过程中构建新的切空间进行调准,保证了算法的收敛性并降低了重构误差.通过人工数据集以及真实数据集上的实验表明:该算法分类精度和时间效率优于其他学习算法,可推广到在线或流式大数据的应用当中.