基于核Fisher判别分析方法的非线性统计过程监控与故障诊断

化工过程中大量的生产数据反应了生产过程的内在变化和系统的运行状况,基于数据驱动的统计方法可以有效地对生产过程进行监控。对于复杂的化工和生化过程,其过程变量之间的相关关系往往具有很强的非线性特性,传统的线性统计过程监控方法显得无能为力。本文提出了基于核Fisher判别分析的非线性统计过程监控方法,首先利用非线性核函数将数据从原始空间映射到高维空间,在高维空间中利用线性的Fisher判别分析方法提取数据最优的Fisher特征矢量和判别矢量来实现过程监控与故障诊断,能有效地捕获过程变量之间的非线性关系,通过对流化催化裂化(FCCU)过程的仿真表明该方法的有效性。

基于核化原理的非线性典型相关判别分析

典型相关判别分析是将传统的典型相关分析应用于判别问题 ,它是一类重要的特征提取算法 ,但其本质上只能提取数据的线性特征 .应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法 .该文研究了如何将这一原理应用于典型相关判别分析 ,提出了基于核化原理的非线性典型相关判别分析 ,并且给出了求解该问题的一个自适应学习算法 .数值实验表明 ,基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效 .另外 ,该文从理论上证明 ,所提出的新方法与Fisher核判别分析等价 .

核分段逆回归集成线性判别分析用于质谱数据分类

针对高维小样本质谱数据在构造模型时易产生的过拟合现象、变量间的严重共线性、及结构与性质间的非线性关系,采用了核分段逆回归(KSIR)特征提取集成线性判别分析(LDA)新技术。首先以KSIR算法完成质谱数据的非线性特征提取,然后在由新特征矢量张成的低维空间构造样本类别的线性判别函数,负责各样本个体类别的判定。将KSIR-LDA方法应用于软饮料的质谱数据分类,结果表明:该方法不仅适应质谱数据与性质间的非线性关系,而且可以更少、解释能力更强的特征变量取得更高的分类精度,并能实现在低维特征空间对数据的解释及可视化。

脑机接口的广义核线性判别分析方法研究

针对脑机接口中脑电信号处理,提出了一种基于核方法和广义奇异值分解(GSVD)的广义核线性判别分析(GKLDA)方法,对两类脑电信号进行特征提取。首先在非线性核函数映射的核空间对样本做线性判别分析,针对"小样本采样问题",采用GSVD求解一种非线性空域滤波器。算法验证中,采用BCI竞赛一数据集、竞赛二数据集Ⅳ和竞赛三数据集ⅢB中S4b等3组公开数据,以及一组自行采集的想象左右手运动的数据,同时分别与核共空间模式(KCSP)、核线性判别分析(KDA)、广义判别分析(GDA)进行对比。分类器采用Fisher线性判别分析分类器。所提出的方法针对3组公开数据,正确率分别为93%、77%、80%,自行数据正确率为97%,且优于其他几种核方法。实验结果表明,GKLDA方法是脑机接口中一种新的有效的特征提取方法。

多重核线性判别分析及其权值优化

为了提高非线性分类精度,借鉴在支持向量机(SVM)框架下发展起来的多重核学习方法,针对基于核的线性判别分析(KLDA)构造多重核。进而,使用拉格朗日乘子法优化最大边缘准则(MMC),提出了多重核权值优化算法。在FERET和CMUPIE人脸图像库上的实验表明,与基于单个核的LDA相比,多重核线性判别分析能够达到更高的分类性能。

基于核双子空间线性判别分析人脸识别方法

基于Fishers判别准则的LDA方法在人脸识别中处理高维数据时,通常会遇到欠采样的问题,且稳定性欠缺。本文提出的核双子线性判别分析方法(KDS-DA),通过对LDA、DS-LDA、KDS-DA的层层深入研究,在双子空间中,将核方法与线性判别分析(LDA)方法相结合。通过matlab软件编程实现,证明这种方法具有更好的判别性能。

多特征的核线性判别分析推荐方法

为提高在非线性可分数据上的推荐质量,采用基于核函数的多特征线性判别分析建立推荐模型.基于多维特征数据,采用非线性映射转换到高维特征空间,通过构建基于核的映射函数,将特征映像转换为内积空间的特征子集,最终建立基于核函数的多特征线性判别分析的分类准则,对于用户喜好的物品进行分类判别并生成推荐.实验结果表明:在20%、40%、60%、80%的数据作为训练集,其余为测试集的实验条件下,随着推荐列表长度R的增加,推荐准确率呈现先升后降的趋势,在25≤R≤35区间内,能够取得最优的平均绝对误差0.34.所提方法与现有方法相比准确率平均提升18.01%,多样性平均提升42.29%,而所用时间开销仅增加6.21%.对历史偏好数据进行特征映射,有助于提高推荐准确率与多样性.

基于MCE准则的语音识别特征线性判别分析

提出了一种基于最小分类错误(Minimum classification error,MCE)准则的线性判别分析方法(Linear discriminant analysis,LDA),并将其应用到连续语音识别中的特征变换.该方法采用非参数核密度估计方法进行数据概率分布估计;根据得到的概率分布,在最小分类错误准则下,采用基于梯度下降的线性搜索算法求解判别分析变换矩阵.利用判别分析变换矩阵对相邻帧梅尔滤波器组输出拼接的超矢量变换降维,得到时频特征.实验结果表明,与传统的MFCC特征相比,经过本文判别分析提取的时频特征其识别准确率提高了1.41%,相比于HLDA(Heteroscedastic LDA)和近似成对经验正确率准则(Approximate pairwise empirical accuracy criterion,aPEAC)判别分析方法,识别准确率分别提高了1.14%和0.83%.

基于核半监督判别分析的高光谱影像特征提取

针对高光谱影像特征提取中地物类别训练样本获取代价较高的情况,在线性判别分析的基础上,结合核方法和半监督学习理论,提出了一种基于核半监督判别分析(KSDA)的高光谱影像特征提取方法。该方法同时利用少量已知类别和大量未知类别样本数据进行模型的学习和训练。通过OMIS高光谱影像数据实验表明:在少量已知类别训练样本的条件下,经KSDA特征提取的样本数据在特征空间中能更好地聚集成团,且类别之间的距离较大,增加了类别之间的可分性,得到了较高的分类精度;同时,提取的特征影像能够较好地区分各种地物类别。

基于零空间核判别分析的人脸识别

提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零空间核判别分析算法(null-space kernel discriminant analysis,NKDA)并将其应用于人脸识别.利用核函数将原始样本隐式地映射到高维特征空间后,采用一次瘦QR分解求核类内散布矩阵的零空间鉴别矢量集,最后再进行一次Cholesky分解求得具正交性的核空间鉴别矢量集.与NLDA相比,NKDA具有更好的识别性能且在大样本情况下也能应用.另外,基于NKDA,提出了增量NKDA算法,当增加新的训练样本时能正确地更新NKDA鉴别矢量集.在ORL库、Yale库和PIE子库上的实验结果表明了算法的有效性和效率,在有效降维的同时能进一步提高鉴别能力.

基于核主分量相关判别分析特征提取方法的目标HRRP识别

为有效提高雷达高分辨1维距离像目标识别系统的总体性能,需要对目标高分辨1维距离像进行特征提取,以得到具有最小信息损失、高可分性且低维度的目标特征,为实现该目的提出一种基于核主分量相关判别分析的特征提取算法。该算法基于目标高分辨1维距离像的统计特性,通过对核主分量分析中核函数的选择,实现对不同类型距离单元的特征提取。同时综合线性判别分析与典型相关分析理论构建新的准则函数,以实现特征空间中类内相关性与类间差异性最大化,同时减少目标特征中的冗余信息。利用实测数据进行实验,结果表明该方法提高了特征向量的可分性,降低了特征向量的维度,并且对该算法在不同强度杂波下的识别性能进行了分析,实验结果表明,该方法可以有效的提高目标高分辨1维距离像目标识别系统的总体性能。

类依赖的线性判别分析

线性判别分析(LDA)是一种常用的特征提取方法,其目标是提取特征后样本的类间离散度和类内离散度的比值最大,即各类样本在特征空间中有最佳的可分离性.该方法利用同一个准则将所有类的样本投影到同一个特征空间中,忽略了各类样本分布特征的差异.本文提出类依赖的线性判别方法(Class-Specific LDA,CSLDA),对每一类样本寻找最优的投影矩阵,使得投影后能够更好地把该类样本与所有其他类的样本尽可能分开,并将该方法与经验核相结合,得到经验核空间中类依赖的线性判别分析.在人工数据集和UCI数据集上的实验结果表明,在输入空间和经验核空间里均有CSLDA特征提取后的识别率高于LDA.

基于改进的核化聚类判别分析的故障识别

针对一类虽然满足线性判别分析算法(LDA)的三种假设,但仍然导致LDA失效的特殊故障模式,提出运用基于高斯核函数和核化离散差判别分析的一种核化聚类判别分析方法 (KSCDA),通过模拟12种不同样本,证明KSCDA能有效解决该问题,故障识别率最大提升从62.5%到100%。且KSCDA优于KSLDA。该问题的解决对实践有一定指导意义。

基于核线性判别分析的人脸个体差异识别算法

针对人脸特征的结构,提出了人脸个体差异识别算法.首先,通过QR分解和正交投影得到人脸中的个体差异特征;然后,利用核技术将描述人脸个体差异的特征数据投影到高维空间;最后,利用线性判别分析对高维空间中的数据进行分类识别.在FERET、PIE和AR数据库上进行仿真实验,验证了该算法的有效性和稳定性.

基于谱回归核判别分析的候机楼室内快速定位算法

针对机场候机楼客流量大、室内环境复杂多变的特点,提出了一种基于谱回归核判别分析(SRKDA)的室内定位算法。在离线阶段,采集已知位置的接收信号强度(RSS)数据,使用SRKDA算法提取原始位置指纹(OLF)的非线性特征生成新的特征指纹库;在线阶段,先使用SRKDA对待定位点的RSS数据进行处理,进而使用加权K最近邻(WKNN)算法进行位置估计。定位仿真实验中,在两个不同的定位场景中,所提算法在1. 5 m定位精度下的误差累积分布函数(CDF)和定位准确率分别达到91. 2%和88. 25%,相对于核主成分分析法(KPCA)+WKNN模型分别提高了16. 7个百分点和18. 64个百分点,相对于KDA+WKNN模型分别提高了3. 5个百分点和9. 07个百分点;在大量离线样本(大于1 100条)的情况下,该算法数据处理时间远小于KPCA和KDA。实验结果表明,所提算法能够提高室内定位精度,同时节省了数据处理时间,提高了定位效率。

LLE与核Fisher判别分析结合的人脸识别研究

针对人脸识别问题提出了将LLE与核Fisher相结合的识别方法 LLEKF,先应用LLE方法将样本和待测试的人脸图像集降低到一定维数,再利用核Fisher判别法通过选择合适的核函数,确定最优参数,对降维后的样本图像进行训练,并对降维后的人脸图像进行分类。实验证明,利用LLE低维嵌入后的数据能够更好地保持原人脸数据的非线性特征,并降低特征提取的时间,再经过核Fisher进行分类,明显提高了分类的效率。

最优的核判别分析用于雷达目标识别

特征提取是雷达目标识别研究中的重要问题,有效、稳健的特征是提高识别率的关键。核判别分析(KDA)是一种抽取非线性特征的有效方法,但它会因为奇异性问题而难以求解。基于子空间投影的思想,给出一种最优的核判别分析(OKDA)方法,用于对雷达目标的距离像进行特征提取,然后采用基于核的非线性分类器对所提取的特征进行分类,实现对雷达目标的识别。分别对仿真和实测距离像进行实验,结果表明该方法具有较好的识别效果。

针对人脸个体差异性的核线性判别分析

分析人脸特征结构,提出针对人脸个体差异性的核线性判别分析。首先,利用QR分解和正交投影提取出能够描述人脸个体差异的特征。然后,应用核技术将描述人脸个体差异的特征集投影到高维空间;最后,利用线性判别分析对高维空间中的数据进行分类识别,并在FERET、PIE和AR数据库上进行仿真实验。实验结果表明,本文算法与核线性判别分析、核主成分分析相比能够去除人脸的公共特征,从而提高了正确识别率和识别的稳定性。

基于核Fisher判别分析视频运动目标的分类

针对线性判别分析只能提取线性特征而不能描述非线性特征的缺点,采用将核函数和Fisher判别分析方法的可分性结合起来的核Fisher判别分析的方法对视频中的运动目标进行自动分类,运动目标包含人、汽车和宠物三类。该方法取得了较好的分类效果,且在查全率、查准率和F1-Measure获得了满意的性能。

极速非线性判别分析网络

由于线性判别分析仅是线性方法,难以有效应对非线性问题,而对其非线性化是解决这一问题的关键途径。非线性化判别方法主要包括神经网络和核化方法。神经网络判别分析方法虽然继承了神经网络所具有的自适应、分布存储、并行处理和非线性映射等优点,但也遗传了其训练速度慢且易陷入局部最小值缺点;而核线性判别分析方法虽能获得全局最优解析解,但因受制于隐节点数目(等于样本个数),当数据规模大时,计算成本变大。本文受随机映射启发,对神经网络判别分析方法进行极速化改造,实现了一种极速非线性判别分析方法,兼具神经网络的自适应性和全局最优解的快速性。最后在UCI真实数据集上的实验表明,极速非线性判别分析方法具有更优的分类性能。