基于核双子空间线性判别分析人脸识别方法

基于Fishers判别准则的LDA方法在人脸识别中处理高维数据时,通常会遇到欠采样的问题,且稳定性欠缺。本文提出的核双子线性判别分析方法(KDS-DA),通过对LDA、DS-LDA、KDS-DA的层层深入研究,在双子空间中,将核方法与线性判别分析(LDA)方法相结合。通过matlab软件编程实现,证明这种方法具有更好的判别性能。

基于子空间学习的快速自适应局部比值和判别分析

降维是处理高维数据的一项关键技术,其中线性判别分析及其变体算法均为有效的监督算法。然而大多数判别分析算法存在以下缺点:a)无法选择更具判别性的特征;b)忽略原始空间中噪声和冗余特征的干扰;c)更新邻接图的计算复杂度高。为了克服以上缺点,提出了基于子空间学习的快速自适应局部比值和判别分析算法。首先,提出了统一比值和准则及子空间学习的模型,以在子空间中探索数据的潜在结构,选择出更具判别信息的特征,避免受原始空间中噪声的影响;其次,采用基于锚点的策略构造邻接图来表征数据的局部结构,加速邻接图学习;然后,引入香农熵正则化,以避免平凡解;最后,在多个数据集上进行了对比实验,验证了算法的有效性。

基于递归零空间线性判别分析算法的蛋白质质谱数据特征选择

目的针对蛋白质质谱数据,采用一种新的基于特征选择的算法提取判别特征,提高癌症辅助诊断的准确率。方法将小波特征与递归零空间线性判别分析(LDA)特征选择算法相结合,首先对数据进行多分辨率的小波分解,提取样本细节特征;接着运用t-test进行筛选,初步降低数据的特征维数;然后递归调用零空间LDA算法,筛选出最具判别意义的蛋白位点;最后采用支持向量机(SVM)分类器估算算法性能。采用十折交叉验证进行测试。结果在公共数据卵巢癌OC-WCX2a上的分类率达到98.3%。在浙江省肿瘤医院提供的临床乳腺癌BC-WCX2a数据上分类率为91.45%,敏感性为97.2%。同时,该算法有效地降低了所选特征间的相关性。结论本算法可充分提取蛋白质质谱数据中的判别特征,从而更有利于癌症的辅助诊断。

基于互补子空间线性判别分析的人脸识别

基于随机子空间,提出了一种用于人脸识别的互补子空间线性判别分析方法.与Fisherface和零空间线性判别分析相比,该方法同时在主元子空间和零空间中进行判别分析,并在特征层融合这两个子空间的判别特征.根据最适宜的零空间状态构建随机子空间,随机子空间的融合在决策层进行.多个人脸数据库上的实验结果表明,本算法能够有效地解决线性判别分析中的小样本规模问题.

线性判别分析中两种空间信息嵌入方法之比较

由"没有免费午餐定理(NFL)"可知:只有充分利用了与问题相关的先验知识的学习器才会拥有好的学习性能,而常用的线性判别分析(LDA)在为图像提取判别特征时对图像向量化的处理导致了空间结构的破坏,以致结构信息未被利用,从而限制了学习性能的进一步提升。空间平滑的LDA(SLDA)通过对LDA目标的空间正则化弥补了此不足,同时图像欧氏距离(IMED)则通过空间平滑欧氏距离实现对空间结构的利用,而后将其用于LDA(IMEDA)。对这两种LDA间的内在联系进行了尝试探究:理论上证明了对于中心化样本,SLDA是IMEDA的特例;分析了算法的时间和空间复杂度;经验上通过Yale、AR和FERET人脸集比较了SLDA和IMEDA的识别性能和运行时间,同时分析了参数对模型性能的影响。

基于多子空间线性判别分析的特征提取与分类

为了解决高维小样本数据的分类中Fisherface思想判别分析方法的不足,在最大散度差准则的基础上,提出了利用多线性子空间技术对每类样本进行单独描述的方法,该方法能更准确地反映样本在类内类间的分布关系。在分类中不是以距离作为判别依据,而是按照贝叶斯决策规则得到的隶属置信度作为衡量标准。实验结果表明了该方法的有效性,和同类方法相比,有更高的识别率。

基于YCbCr颜色空间和Fisher判别分析的棉花图像分割研究

棉花的分割是采棉机器人研究的关键技术。本文分别在HSV、HIS和YCbCr颜色空间下,首先根据棉花的颜色信息与背景颜色信息的差距,对样本图像中的各个对象(棉絮、棉枝、土壤等)分类;其次根据分类结果分别提取各类在各颜色空间下的样本像素值;再根据类间离散度最大和类内离散度最小的准则计算出Fisher判别向量和各类的质心;最后按照像素值离各质心最近的准则进行图像分割。结果表明,在YCbCr颜色空间下产生的分割噪声最小,选取此颜色空间,采用贴标签的方法自适应去噪。实验仿真表明,本方法可有效避免阳光直射和阴影的干扰,对各种情况都能准确分割,分割准确率达90.44%。

基于遗传算法的线性判别分析方法

由于线性判别分析(Linear discriminant analysis,LDA)算法并不直接以训练误差作为目标函数,所以在Fisher准则不能代表最小训练误差情况下,LDA算法无法找到最优的分类子空间。本文针对这种情况,首先通过分析数据样本分布与LDA投影向量之间的关系,揭示了LDA投影向量与类间散布矩阵和类内散布矩阵特征值之间存在的关联,并以此提出一种基于遗传算法的LDA算法。该算法以子空间上的训练误差最小为目标,通过遗传算法调整LDA算法中类间矩阵特征值的大小,达到搜索最佳特征子空间的效果。通过模拟数据和真实数据的实验,表明这种方法的分类正确率比现有的线性子空间方法有明显提高。

基于零空间核判别分析的人脸识别

提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零空间核判别分析算法(null-space kernel discriminant analysis,NKDA)并将其应用于人脸识别.利用核函数将原始样本隐式地映射到高维特征空间后,采用一次瘦QR分解求核类内散布矩阵的零空间鉴别矢量集,最后再进行一次Cholesky分解求得具正交性的核空间鉴别矢量集.与NLDA相比,NKDA具有更好的识别性能且在大样本情况下也能应用.另外,基于NKDA,提出了增量NKDA算法,当增加新的训练样本时能正确地更新NKDA鉴别矢量集.在ORL库、Yale库和PIE子库上的实验结果表明了算法的有效性和效率,在有效降维的同时能进一步提高鉴别能力.

类依赖的线性判别分析

线性判别分析(LDA)是一种常用的特征提取方法,其目标是提取特征后样本的类间离散度和类内离散度的比值最大,即各类样本在特征空间中有最佳的可分离性.该方法利用同一个准则将所有类的样本投影到同一个特征空间中,忽略了各类样本分布特征的差异.本文提出类依赖的线性判别方法(Class-Specific LDA,CSLDA),对每一类样本寻找最优的投影矩阵,使得投影后能够更好地把该类样本与所有其他类的样本尽可能分开,并将该方法与经验核相结合,得到经验核空间中类依赖的线性判别分析.在人工数据集和UCI数据集上的实验结果表明,在输入空间和经验核空间里均有CSLDA特征提取后的识别率高于LDA.

基于对称线性判别分析算法的人脸识别

小样本问题的存在使得类内离散度矩阵为奇异阵,因此求解线性判别分析(LDA)算法的广义特征方程存在病态奇异问题。为解决此问题,在已有算法的基础上,引入镜像图像来扩大样本容量,并采用Sw零空间的方法求得Fisher准则函数的最优解。通过在ORL和Yale标准人脸库上的实验结果表明,人脸识别效果优于传统LDA方法、独立成分分析(ICA)方法以及二维对称主成分分析(2DSPCA)方法。

张量线性判别分析算法研究

针对传统线性判别分析中存在的小样本问题及对TensorLDA算法中两个投影矩阵不能同时计算、低维特征提取不充分的问题,文中研究并实现了张量子空间下的张量线性判别分析(TensorLDA)算法。并且提出了It-TensorLDA算法,即先用单位矩阵初始化,再利用优化准则求另一个投影矩阵,并进行多次迭代的改进方法。采用ORL数据库测试算法的性能,在ORL人脸数据库上It-TensorLDA比TensorLDA的平均识别率高1.88%,比Fisherfaces的平均识别率高3.03%。因此,文中算法有效避免了小样本问题,提高了人脸识别效果。

值域空间超球面上的判别分析

Fisher线性判别分析(LDA)是模式识别中使用最广泛的线性分析方法之一。然而,实际应用中,样本数量相对于样本空间的维数而言是很少的,即样本在高维空间中呈稀疏分布。LDA采用基于欧式距离的度量方法将会使判别向量趋向于较大的类间距离。从而,可能融合距离较近的类。我们用超球面模型表示数据在高维空间中的结构信息,提出一种值域空间中的超球面判别分析方法(RHDA)。RHDA方法将数据映射到其值域空间的单位超球面上;在值域空间超球面上计算各个子类的判别子空间;最后,计算测试样本与各个判别子空间中子类均值向量间的距离。RHDA将测试样本判别为第i类仅当测试样本与第i类的均值向量的距离最小。超球面判别分析采用单位超球面上数据的归一化向量来表示样本向量的结构信息,它主要针对于基于欧式距离的判别分析所引起的判别向量偏离问题。最后本文还提出了值域空间超球面核判别分析方法。超球面核判别分析方法为高维空间中对不同数据采用不同映射提供了可能。在不同数据库上的分类实验结果证实了RHDA相对于LDA及其相关推广算法的优良性。

基于值域空间中类零子空间分析的模式判别

本文提出了一种新的基于值域空间中类零子空间分析(CNSA)的模式判别方法。CNSA方法首先获取全体训练样本的值域空间,然后在值域空间中定义了各个子类的类零子空间(CNS)及其正交补空间。类零子空间及其正交补空间上都含有有效判别信息。CNS上的类内距离为零,第i类的样本到其中心的相对距离远小于到其他类的中心的距离。在对值域空间和新的CNS的性质进行分析的基础上,构造到各个类的特征空间的投影矩阵。通过计算待测样本到各特征子空间的距离,CNSA算法不但能够对属于已知模式的样本作分类判决,还能发现新模式类。在太赫兹时域光谱数据集和COIL100数据库上,将提出的CNSA算法与相关算法进行了实验比较,实验结果验证了本文CNSA算法的优越性。

I-VLDNS:一种改进的线性判别子空间模式识别算法

针对现有模式判别分析方法中普遍存在的子空间优化与"小样本"问题,首先剖析总体、类内以及类间三种散布矩阵的零空间的物理含义,深入阐释有效零空间与有效线性判别零空间核心原理;其次,研究始空间中总体、类间散布矩阵与有效零空间、有效值域空间上的总体、类间散布矩阵关于特征值与特征向量之间的关联关系,并且获取类内散布矩阵零空间、值域空间上关于Fisher线性判别率的关键结论;最后,基于有效线性判别零空间理论,设计出一种改进的线性判别子空间模式识别算法,即I-VLDNS。通过相关数据集模拟实验表明,I-VLDNS算法在模式识别分析性能、精确度以及鲁棒性上均得到进一步优化与提高。

求解大型稀疏线性系统的贪婪双子空间随机Kaczmarz方法

基于一种有效的从系数矩阵中选取两个工作行的贪婪概率准则,提出一类求解大型稀疏线性系统的贪婪双子空间随机Kaczmarz方法。理论证明该方法收敛到相容线性系统的最小范数解,而且该方法的理论收敛因子小于原始双子空间随机Kaczmarz方法的收敛因子。数值实验表明,该方法在求解性能方面较原始双子空间随机Kaczmarz方法更具优势。

基于判别回归与局部判别分析的维数约简算法

线性判别回归分类算法没有考虑到类内距离和类间距离,为此提出一种基于线性判别回归与局部判别分析的维数约简算法(LDRFDR),同时利用类内和类间重构误差、以及类内和局部类间距离获得投影矩阵。其物理含义是为各个类尽量寻找相互之间离得最远的线性子空间,其中类内距离与类间距离还考虑数据的局部性,避免最大化相离太远的类间样本对优化目标造成影响。实验结果表明,LDRFDR算法的维数约简性能优于其它半监督维数约减算法。

二维PCA非参数子空间分析的人脸识别算法

提出一种结合二维PCA(2DPCA)的二维非参数子空间分析(2DNSA)人脸识别算法。利用2DPCA对原始图像矩阵进行特征降维,以降维后的特征为训练样本,进行二维非参数判别分析,并综合考虑类边界样本对分类的影响,采用2DNSA实现更合理的特征提取。基于Yale、LARGE人脸数据库的实验结果表明,与(2D)2PCA、2DPCA、(2D)2LDA、2DLDA、2DPCA+2DLDA、2DNSA算法相比,该算法性能更优。

特征迁移中投影子空间的分析与构造

近年来,针对实际应用场景中可匹配的训练数据不足的问题,科研人员发展出了迁移学习的概念,希望通过提取源域数据的特征信息进行迁移,从而提升目标域的学习效果.本文根据迁移学习所处理的不同数据类型,构造了两种典型的模型:单类别投影基构造模型与监督多类别投影模型.由于子空间投影可以在一定程度上反映原始样本空间的特征性质.因此,本文应用线性判别分析的技巧以及最大均值差异的思想,分别构造了上述模型的求解算法并对相应的非线性核方法进行了推广.

基于线性判别分析的加权零空间算法及在人脸识别中的应用

线性判别分析(LDA)用于人脸识别时,存在因训练样本不足引起类内散布矩阵奇异的小样本问题.基于LDA的传统零空间方法首先去掉总体散布矩阵的零空间进行降维,可以避免小样本问题.提出了一种加权零空间特征提取方法,并对加权系数进行了讨论.在人脸数据库上的实验结果验证了其有效性.