稀疏张量局部线性鉴别分析

作为一种线性特征提取方法,线性鉴别分析(LDA)引起了广泛的注意。在LDA的基础上,研究者做了很多的研究工作,许多基于LDA的方法被提出。然而,LDA固有的一些问题并没有被这些改进方法很好地解决。LDA的主要缺点包括三点:一是对野点数据和噪声敏感;二是它仅仅保持了数据的全局结构,而忽略了数据的局部鉴别信息;三是传统的向量化形式破坏了数据之间的空间结构。对此,提出一种新的稀疏张量鉴别分析(STDA)方法。首先,K近邻图被构造,以保留数据的局部鉴别信息。其次,对投影矩阵施加L2,1约束,使所得到的方法对噪声比较鲁棒。最后,数据直接以张量的形式参加运算。所提出的方法在四个公共的图像库上进行了实验,实验结果表明了所提STDA方法的有效性。

Fisher线性鉴别分析的理论研究及其应用

Fisher线性鉴别分析已成为特征抽取的最为有效的方法之一 .但是在高维、小样本情况下如何抽取Fisher最优鉴别特征仍是一个困难的、至今没有彻底解决的问题 .文中引入压缩映射和同构映射的思想 ,从理论上巧妙地解决了高维、奇异情况下最优鉴别矢量集的求解问题 ,而且该方法求解最优鉴别矢量集的全过程只需要在一个低维的变换空间内进行 ,这与传统方法相比极大地降低了计算量 .在此理论基础上 ,进一步为高维、小样本情况下的最优鉴别分析方法建立了一个通用的算法框架 ,即先作K L变换 ,再用Fisher鉴别变换作二次特征抽取 .基于该算法框架 ,提出了组合线性鉴别法 ,该方法综合利用了F S鉴别和J Y鉴别的优点 ,同时消除了二者的弱点 .在ORL标准人脸库上的试验表明 ,组合鉴别法所抽取的特征在普通的最小距离分类器和最近邻分类器下均达到 97%的正确识别率 ,而且识别结果十分稳定 .

核零空间线性鉴别分析及其在人脸识别中的应用

零空间线性鉴别分析NLDA充分利用样本总类内离散度矩阵的零空间信息,能有效克服线性鉴别分析LDA的小样本问题.核方法通过非线性映射,将输入空间样本映射到高维特征空间,再在高维特征空间利用线性特征提取算法.因此,核方法属于非线性特征提取算法.文中结合LDA、NLDA和核方法的优点,引入了核零空间线性鉴别分析KNLDA,导出了KNLDA算法.该算法通过引入核函数,得到低维矩阵,有效避免了直接计算复杂的非线性映射函数,解决了高维类内离散度矩阵的维数灾难问题.同时,将KNLDA算法应用于人脸识别.基于ORL人脸数据库以及ORL与Yale混合人脸数据库的实验结果表明了KNLDA算法的有效性.

基于PCA和LDA统一化原理的增强型线性鉴别分析准则

主分量分析(PCA)和线性鉴别分析(LDA)是模式识别领域的使用最为广泛的两种特征抽取方法,而在图像识别中经常采用的是PCA+LDA方法来代替单纯的LDA。本文提出一种增强型线性鉴别准则(ELDA),将PCA的优点和LDA的优点充分地融合在一起,不仅解决了PCA过程中使用最小距离方法时识别精度相对低的缺点,而且解决了LDA过程中当类内散布矩阵奇异时投影向量的求解问题,也就是说可以使用该方法来替代PCA+LDA的两步骤方法。另外,该方法在识别精度上比PCA和LDA或PCA+LDA方法都有较大的提高,通过在ORL、Yale和NUST603人脸库上的实验验证了该算法的有效性。

基于列最近邻的线性鉴别分析方法及应用

人脸识别是模式识别中重要的研究内容,具有广泛的应用前景。为了进一步提高人脸识别中线性鉴别方法的鲁棒性,提出了一种基于列最近邻的线性鉴别方法(CBLDA)。CBLDA为每一类找到一个投影矩阵,使得人脸图像中的每一列经过投影矩阵投影后,能够更靠近类内列最近邻同时离类间列最近邻越远。当测试样本与经过其类别的投影矩阵投影后能够得到更有利于分类的结果。CBLDA类似于分块或者子图的方法,选择最近邻列作为分块的策略的主要优点:(1)列是图像的固有尺寸,会随分辨率的变化而变化,因此不需要决定分块的大小;(2)人脸具有对称性,对列求得类内列最近邻可以较好克服一些左右姿态和光照变化的影响,提高算法的鲁棒性。为了验证CBLDA的有效性,在ORL和FERET人脸数据库中与2D-LDA、2D-LPP和2D-LGEDA等二维算法进行了对比实验,结果表明CBLDA在识别率有大幅的提升,证明了算法的有效性。

一种多频带线性鉴别分析方法

线性鉴别分析(LDA)是模式识别领域广泛使用的一种特征抽取方法,而在图像识别中,由于小样本问题,经常采用的是PCA+LDA方法来代替单纯的LDA。提出了一种多频带线性鉴别分析方法(MBLDA),使LDA在完整的样本空间上进行,而且解决了小样本问题。MBLDA不仅避免了PCA过程带来的信息损失,而且提取的鉴别特征维数小,还提高了识别性能。该方法在识别精度上大幅度地超越了PCA和LDA或PCA+LDA,通过对ORL,NUST603人脸库的实验验证了该算法的有效性。

基于模糊集理论的二维线性鉴别分析新方法

二维线性鉴别分析(2DLDA)是一种直接基于矩阵的特征提取方法,跳过传统的基于Fisher鉴别准则的线性鉴别分析方法中必须先将二维矩阵转化成一维矢量的过程,有效地提高了特征提取速度且避免了小样本问题,其识别率优于传统的Fisherface方法。结合模糊集理论,提出了一种新的2DLDA算法———模糊2DLDA(F1DLDA)算法。首先采用FKNN算法得到相应的样本分布信息,并按其对最后得到的特征向量所作的贡献融入到特征抽取过程中,得到有效的样本特征向量集。实验表明,F2DLDA算法的性能优于传统的2DLDA算法和Fisherface方法。

基于遗传算法与线性鉴别的近红外光谱玉米品种鉴别研究

结合遗传算法与线性鉴别分析(LDA)提出了一种玉米品种的快速鉴别方法。该方法是一种基于近红外光谱的新方法,通过采集玉米种子(实验共37个种类)的近红外光谱数据,使用遗传算法进行特征光谱波段的选择,使用线性鉴别分析的方法提取光谱特征并分类。结果表明,遗传算法能有效地剔除光谱噪声波段,并提高LDA的泛化能力。同时,为简化运算,剔除了大量冗余数据,结合遗传算法选择的特征谱区,使参与鉴别的数据维数从2 075降到了233。对测试集1的300个样本的平均正确识别率与平均正确拒识率均达到99.30%,其中73.33%的玉米品种的正确识别率达到了100%;对测试集2(均为未参加训练品种的样本)的175个样本的平均正确拒识率达到99.65%。与常用的PCA等方法相比,运算时间更短,正确率更高。

一种基于线性鉴别分析的GIS局部放电模式识别

根据GIS设备绝缘缺陷放电形式和特点,设计了4种典型的GIS缺陷模型,构造了局部放电灰度谱图;针对GIS局部放电及其缺陷特点,提出一种基于局部放电图像的主分量分析-线性鉴别方法,即首先进行主分量分析,将数据从超高维空间降至低维空间,再提取统计不相关的最优鉴别矢量集,采用最小距离分类器进行模式识别,识别结果表明该方法对GIS各类模拟缺陷的正确识别率较高,效果良好.

小样本情况下Fisher线性鉴别分析的理论及其验证

线性鉴别分析是特征抽取中最为经典和广泛使用的方法之一。近几年,在小样本情况下如何抽取F isher最优鉴别特征一直是许多研究者关心的问题。本文应用投影变换和同构变换的原理,从理论上解决了小样本情况下最优鉴别矢量的求解问题,即最优鉴别矢量可在一个低维空间里求得;给出了特征抽取模型,并给出求解模型的PPCA+LDA算法;在ORL人脸库3种分辨率灰度图像上进行实验。实验结果表明,PPCA+LDA算法抽取的鉴别向量有较强的特征抽取能力,在普通的最小距离分类器下能达到较高的正确识别率,而且识别结果十分稳定。

一种基于核的快速非线性鉴别分析方法

基于"核技巧"提出的新的非线性鉴别分析方法在最小二乘意义上与基于核的Fisher鉴别分析方法等效,相应鉴别方向通过一个线性方程组得出,计算代价较小,相应分类实现极其简便.该方法的最大优点是,对训练数据进行筛选,可使构造鉴别矢量的"显著"训练模式数大大低于总训练模式数,从而使得测试集的分类非常高效;同时,设计出专门的优化算法以加速"显著"训练模式的选取.实验表明,这种非线性方法不仅具有明显的效率上的优势,且具有不低于基于核的Fisher鉴别分析方法的性能.

融合奇异值分解和线性鉴别分析的人脸识别算法

本文提出了奇异值分解(SVD)和线性鉴别分析(LDA)相结合的人脸识别算法。理论上,当两种数据或分类器具有一定的独立性或互补性时,数据融合或分类器融合才能改善识别率。SVD和LDA之间有着明显的互补之处,LDA在fisher准则下能最大限度地把不同的类别区分开来,但作为一种子空间方法,LDA敏感于位移、旋转等几何变换。而作为一种代数特征提取方法的SVD则具有位移、旋转不变性等优点。因此,将这两种方法相结合就有可能提高分类性能(好于单独的SVD方法和单独的LDA方法)。在ORL数据库上的实验表明,SVD和LDA相融合的识别方法的确提高了人脸识别率。

一种基于局部排序PCA的线性鉴别算法

主分量分析(Principal Component Analysis,PCA)是模式识别领域中一种重要的特征抽取方法,该方法通过K-L展开式来抽取样本的主要特征。基于此,提出一种拓展的PCA人脸识别方法,即分块排序PCA人脸识别方法(MSPCA)。分块排序PCA方法先对图像矩阵进行分块,对所有分块得到的子图像矩阵利用PCA方法求出矩阵的所有特征值所对应的特征向量并加以标识;然后找出这些所有的特征值中k个最大的特征值所对应的特征向量,用这些特征向量分别去抽取所属的子图像的特征;最后,在MSPCA的基础上,将抽取子图像所得到的特征矩阵合并,把这个合并后的特征矩阵作为新的样本进行PCA+LDA。与PCA和PCA+LDA方法相比,分块排序PCA由于使用子图像矩阵,可以避免使用奇异值分解理论,从而更加简便。在ORL人脸库上的实验结果表明,所提出的方法在识别性能上明显优于经典的PCA和PCA+LDA方法。

基于遗传规划和线性鉴别分析的故障特征提取模型及其应用

提出了一种基于遗传规划和线性鉴别分析的故障特征提取模型。该模型首先利用遗传规划从原始特征集中提取更能反映故障本质的复合特征,然后通过线性鉴别分析进行二次特征变换,消除特征之间的相关性以及压缩特征维数,得到对分类识别更有效、数目更少的特征。通过航空发动机滑油系统故障识别实验,表明经过遗传规划和线性鉴别分析提取的特征对故障具有更好的识别能力,并且对分类器具有很强的鲁棒性。

基于两空间线性鉴别分析的小样本人脸识别

指出了线性鉴别分析及其几种改进方法在处理小样本人脸识别问题时存在的不足,提出了一种基于两空间线性鉴别分析的小样本人脸识别方法。首先将样本投影到总体散布矩阵的非零空间中进行分析;进而将类内散布矩阵分成零空间和非零空间进行鉴别向量确定和鉴别特征提取,最后将得到的两种鉴别特征融合,从而使用最近邻法进行分类。实验结果表明,在进行小样本的人脸识别时,该方法的识别效果优于其他线性方法。

基于多尺度低频特征组合的线性鉴别分析

目前线性鉴别分析(LDA)方法是在原始图像上直接进行,抽取的是图像的全局特征,受光照、表情变化而引起的局部高频信息影响较大,忽视了更能反映图象本质的低频特征。为此提出先将图像进行多尺度划分,再提取划分后的每个子图像的低频部分,组合起来作为该图像的特征向量,最后根据这些特征向量再应用LDA方法进行鉴别分析。多尺度低频特征组合的向量反映了图像从局部到全局的全部低频特性,具有更有效的鉴别信息。在ORL和Yale人脸库上的实验结果显示,所提出的算法识别性能显著提高,鉴别能力更好。

一种改进Fisher准则的线性鉴别分析方法

目前线性鉴别分析以Fisher准则或是逐对类加权Fisher准则为依据,但前者不能限制离群类,后者计算量大,鉴于此,提出一种改进Fisher准则用于线性鉴别分析。回顾了Fisher准则和逐对类加权Fisher准则,指出其中问题产生的根本原因。提出类距离和类离群程度的定义,以类距离为依据判定各类离群程度,以类离群程度为参数赋予各类权值,重新计算总体类均值和类间离散度矩阵,以得到限制离群类、突出常规类的改进Fisher准则。这种改进Fisher准则计算简单,能有效限制离群类。

基于遗传编程的线性鉴别分析及其在故障诊断中的应用

针对线性鉴别分析在提取非线性特征时不能取得很好效果的问题,提出了基于遗传编程的线性鉴别分析方法。首先利用遗传编程对传统的时域指标进行特征提取,得到更能反映信号本质的复合指标,然后通过线性鉴别分析提取最佳特征向量,作为识别特征输入多类支持向量机,实现了对机器不同类型故障的识别。实验表明,经过基于遗传编程的线性鉴别分析提取的特征对轴承的故障具有很好的识别能力,进而提高了多类支持向量机的分类准确性。

基于向量组的Fisher线性鉴别分析方法

提出了一种基于向量组的Fisher线性鉴别分析方法。该方法先将原始的高维向量分割为低维的子向量组,再对向量组运用Fisher线性鉴别分析。这种处理方法,不但能够解决任意高维下的小样本问题,而且通过选择恰当的子向量维数,可以从向量中抽取出最有效的特征值。此外,基于向量组的Fisher线性鉴别分析是Fisher线性鉴别分析和二维Fisher线性鉴别分析的进一步推广。

新的非线性鉴别特征抽取方法及人脸识别

在非线性空间中采用新的最大散度差鉴别准则,提出了一种新的核最大散度差鉴别分析方法。该方法不仅有效地抽取了人脸图像的非线性鉴别特征,而且从根本上避免了以往核Fisher鉴别分析中训练样本总数较多时,通常存在的核散布矩阵奇异的问题,计算复杂度大大降低,识别速度有了明显的提高。在ORL人脸数据库上的实验结果验证了该算法的有效性。