基于多层自动编码机的Fisher判别分析

在常见的特征提取方法中,Fisher判别分析(Fisher Discriminant Analysis,FDA)只能提取线性特征,基于核的方法具有提取非线性特征的能力,但对核函数类型及其参数十分敏感.文中研究如何有效提取数据特征,提出了一种基于多层自动编码机(Stacked Auto Encoders,SAE)和Fisher标准的特征提取算法,该算法所使用的深度学习网络模型在训练过程中结合无监督特征提取SAE以及有监督的特征提取FDA.通过与多层自动编码机、极限学习机(Extreme Learning Machine,ELM)等模型提取的特征进行对比,在数据集Pendigits、mnist、ORL和AR上利用支持向量机对数据特征进行分类,结果表明:基于SAE的Fisher变换(FDA-SAE)在减少分类时间的同时还提高了分类结果准确率,特别是在小数据集AR上,当样本特征较少时效果非常明显.