基于半监督判别分析的领域自适应方法研究

为解决传统机器学习中训练集(源域)与测试集(目标域)数据分布不一致导致分类准确率较低的问题,提出一种基于半监督判别分析和CDMD的领域自适应算法(SDA-CDMD)。首先,使用半监督判别分析(SDA)进行数据降维,保留了映射到低维子空间中数据的几何结构信息。其次,提出一种衡量两个域之间分布差异的度量准则:跨域均值差异(Cross-Domain Mean Discrepancy,CDMD)。最后,将SDA与CDMD结合,将两个域投影到同一子空间中,减少两个域之间的分布差异。在手写数字图像和计算机视觉数据集上进行的大量实验结果表明,所提算法优于传统的领域自适应方法,验证了其有效性。

基于图嵌入概率半监督判别分析的故障辨识

针对现有旋转机械早期故障辨识方法在训练样本稀少条件下辨识性能极易衰退的关键问题,提出基于图嵌入概率半监督判别分析(Graph-implanted probability-based semi-supervised discriminant analysis,GIPSSDA)维数化简的早期故障辨识方法。该方法在训练样本稀少条件下用GIPSSDA将训练和待测样本的高维时、频域早期故障特征集化简为类区分性更好的低维特征矢量,提高了终端学习机优化证据理论K近邻分类器(Optimized evidence-theoretic k-nearest neighbor classifier,OET-KNNC)对早期故障的辨识精度。GIPSSDA集成了半监督邻接图嵌入技术,能同时利用待测样本的类判别信息和局部几何结构搜索分类的最优映射子空间,因此在训练样本非常稀少的情况下也能产生较好的分类效果。深沟球轴承早期故障辨识试验验证了该早期故障辨识方法的有效性和优越性。

基于流形距离的半监督判别分析

大量无类别标签的数据具有对分类有用的信息,有效地利用这些信息来提高分类精确度,是半监督分类研究的主要内容.提出了一种基于流形距离的半监督判别分析(semi-supervised discriminant analysis based on manifold distance,简称SSDA)算法,通过定义的流形距离,能够选择位于流形上的数据点的同类近邻点、异类近邻点以及全局近邻点,并依据流形距离定义数据点与其各近邻点之间的相似度,利用这种相似度度量构造算法的目标函数.通过在ORL,YALE人脸数据库上的实验表明,与现有算法相比,数据集通过该算法降维后,能够使基于距离的识别算法具有更高的分类精确度.同时,为了解决非线性降维问题,提出了Kernel SSDA,同样通过实验验证了算法的有效性.

基于核半监督判别分析的高光谱影像特征提取

针对高光谱影像特征提取中地物类别训练样本获取代价较高的情况,在线性判别分析的基础上,结合核方法和半监督学习理论,提出了一种基于核半监督判别分析(KSDA)的高光谱影像特征提取方法。该方法同时利用少量已知类别和大量未知类别样本数据进行模型的学习和训练。通过OMIS高光谱影像数据实验表明:在少量已知类别训练样本的条件下,经KSDA特征提取的样本数据在特征空间中能更好地聚集成团,且类别之间的距离较大,增加了类别之间的可分性,得到了较高的分类精度;同时,提取的特征影像能够较好地区分各种地物类别。

一种基于增量半监督判别分析的跟踪方法

在视频跟踪任务中,以上一帧跟踪到的目标位置为基础,在当前帧内相应位置周围生成若干候选区域样本进行分类,并从中获取待跟踪目标在当前帧中的位置和更新分类器,这是基于判别式方法的基本跟踪流程.对于每帧产生的大量未标记类别的候选区域样本,现有的基于子空间学习的跟踪方法大多忽略了这些样本内在的几何结构,而是直接向子空间投影,并在子空间内进行二分类,区分出其中的正类样本(前景)和负类样本(背景).在半监督判别分析方法的基础上,提出一种基于增量半监督判别分析的跟踪方法框架.首先,使用区域协方差特征描述子提取图像中不同区域的大量图像特征;然后,为保持这些特征间的几何结构,将它们映射至欧氏空间内进行处理;再将原始半监督判别分析方法扩展到增量形式,给出类内散度矩阵、类间散度矩阵和正则项的增量更新方法,并由此给出目标跟踪的流程框架;通过实验显示,该方法对于目标跟踪问题具有良好的实时性和鲁棒性.

基于半监督判别分析的语音情感识别(英文)

将基于多个嵌入图组合形式的半监督判别分析(SDA)以及核SDA(KSDA)应用于全监督的语音情感识别.在语音信号样本情感成分的预处理阶段,从样本语段中提取出多种特征及其统计参数,包括基音、过零率、能量、持续长度、共振峰和MFCC(Mel频率倒谱系数).在将样本特征送入分类器之前的维数约简阶段,使用经过参数优化的SDA或KSDA进行降维.Berlin语音情感数据库上的实验表明,在使用多类SVM分类器时的全监督语音情感识别中,SDA优于其他一些先进的基于谱图学习的维数约简算法,如LDA,LPP,MFA等,而KSDA通过核化的数据映射,能够取得比上述所有算法更好的识别效果.

基于正交半监督局部Fisher判别分析的故障诊断

针对有标记故障样本不足和故障特征集维数过高的问题,提出基于正交半监督局部Fisher判别分析(Orthogonal semi-supervised local Fisher discriminant analysis,OSELF)的故障诊断方法。所提出的OSELF能够充分地利用蕴含于无标记故障样本中的故障信息,避免了因有标记故障样本不足引起的过学习问题,同时采用正交迭代方式求解最优正交映射矩阵,克服现有方法无法得到正交映射矩阵的不足。正交映射矩阵的基矢量统计不相关,可有效地提高所得低维特征矢量的可辨识性。通过正交映射矩阵对故障样本集和新增样本进行维数约简,并将维数约简的结果输入粗糙优化k最近邻分类器(Coarse to fine k nearest neighbor classifier,CFKNNC)进行学习训练和故障识别。所提方法集成了OSELF在维数约简和CFKNNC在模式识别的优势,有效地提高了故障诊断的精度。通过齿轮箱故障模拟试验验证了该方法的有效性。

一种邻域自适应半监督局部Fisher判别分析算法

针对利用局部化思想解决多模数据的判别分析问题时,根据经验对局部邻域大小进行全局统一设定,无法体现局部几何结构差异性的不足,提出一种邻域自适应半监督局部Fisher判别分析(neighborhood adaptive semi-supervised local Fisher discriminant analysis,NA-SELF)算法。该算法在半监督局部Fisher判别分析算法的基础上,结合马氏距离和余弦相似度确定初始近邻数,并根据样本空间概率密度估计调整近邻数。通过人工数据集和五组UCI标准数据集对该算法的特征降维性能进行验证,并与典型的维数约简算法和采用传统K近邻方法的判别分析算法进行比较,实验结果表明该算法具备更高的有效性。

一种利用半监督Fisher判别分析检测推荐攻击的方法

协同推荐系统容易受到推荐攻击,为了检测该攻击,很多无监督、有监督及半监督检测方法被提出,其中,半监督检测方法的优势在于可以利用无标签用户概貌提升检测性能.然而,已有半监督检测方法的准确率较低,针对该问题,本文提出一种基于半监督Fisher判别分析(Semi-supervised Fisher Discriminant Analysis,SFDA)的推荐攻击检测方法RAD-SFDA来提升半监督检测方法的准确率.首先,利用Fisher判别分析(Fisher Discriminant Analysis,FDA)技术结合有标签用户概貌确定投影向量,在投影后的空间中最大化真实概貌和攻击概貌的离散度的同时最小化同类用户概貌间的离散度;然后,利用主元分析(Principal Components Analysis,PCA)技术从有标签和无标签用户概貌建立的数据集中提取全局结构;最后,综合上述由有标签用户概貌确定的判别结构和由所有用户概貌确定的全局结构确定最佳投影向量,在最终的投影空间中训练贝叶斯分类器检测推荐攻击.在MovieLens数据集上的实验结果表明,本文方法在保持较高召回率的前提下有效提升了准确率.

全局判别与局部稀疏保持HSI半监督特征提取

针对高光谱图像存在“维数灾难”的问题,提出一种全局判别与局部稀疏保持的高光谱图像半监督特征提取算法(GLSSFE)。该算法通过LDA算法的散度矩阵保存有类标样本的全局类内判别信息和全局类间判别信息,结合利用半监督PCA算法对有类标和无类标样本进行主成分分析,保存样本的全局结构;利用稀疏表示优化模型自适应揭示样本数据间的非线性结构,将局部类间判别权值和局部类内判别权值嵌入半监督LPP 算法保留样本数据的局部结构,从而最大化同类样本的相似性和异类样本的差异性。通过1-NN和SVM两个分类器分别对Indian Pines和Pavia University 两个公共高光谱图像数据集进行分类,验证所提特征提取方法的有效性。实验结果表明,该GLSSFE算法最高总体分类精度分别达到89.10%和92.09%,优于现有的特征提取算法,能有效地挖掘高光谱图像的全局特征和局部特征,极大地提升高光谱图像的地物分类效果。

基于谱技巧稀疏保持判别分析(英文)

稀疏保持判别分析(SPDA)是一种新型的基于图的半监督降维(SSDR)方法,近年来已被成功应用于解决诸多实际问题(如人脸识别).SPDA基于数据的稀疏重构关系建图,由于稀疏的特性,从而包含自然的判别信息.然而,在SPDA计算中涉及到稠密矩阵的特征分解从而导致在存储和记忆方面会耗费大量时间,为此,我们提出了一种新的SSDR算法-基于谱技巧稀疏保持判别分析(SSPDA),该方法将稀疏表示与谱技巧结合在一起.具体地,首先把投影函数的计算转化为一个回归类优化问题,然后借助岭回归技巧得到投影方向向量,从而有效的避免了稠密矩阵的特征分解问题.在两个单标号人脸数据上的实验结果表明了该算法的有效性.

小样本条件下的通信辐射源半监督特征提取

在通信辐射源信号有标签样本数量较小的情况下,同类通信辐射源个体信号特征提取困难且识别精度较低。对此,提出了一种小样本条件下的通信辐射源半监督特征提取方法。该方法对少量有标签通信辐射源信号样本以及大量无标签通信辐射源信号样本进行变分模态分解提取高维稳态信息熵,利用指数半监督判别分析法映射信息熵形成个体特征,并通过XGBoost进行通信辐射源个体识别来验证识别效果。实验表明,所提方法识别准确率达到85.33%,相比无监督特征提取方法运算时间降低了76.17%,证明其在同类通信辐射源不同个体识别中具有较好的性能。

基于样本类别确定度的半监督分类

在对遥感图像进行分类时,全监督算法往往需要足够的标记样本进行训练,然而标记的过程是耗时和昂贵的,相反收集大量的无标记样本是很容易的。为了在学习过程中能够有效利用未标记样本的信息,本文提出了基于样本类别确定度(CCS)的半监督分类算法。首先,利用多分类支持向量机(SVM)得到未标记样本属于各类别的确定度,有效地衡量了未标记样本类别可靠性;其次,对样本类别确定度进行预处理,提升利用未标记样本的安全性;最后,基于样本类别确定度设计了半监督线性判别分析(LDA)降维算法并对其进行核化,使得样本在降维后的子空间更具有可分性,并根据降维后的数据特点,采用最近邻分类器对新样本进行分类。利用真实的合成孔径雷达(SAR)图像进行测试,验证了在标记样本较少的情况下,本文算法在性能上优于全监督和其他半监督算法,并能够快速收敛。

半监督局部保持高光谱影像降维算法研究

由于高维特征空间通常会导致不适定问题,针对高光谱影像的统计模式识别是非常艰巨的任务。随着波段数目的增加,高光谱影像分析则面临Hughes现象等障碍,因此促进了降维方法的发展,它能够有效处理有限训练样本下的高维数据集情形。降维算法的目标是在保持原始数据主要本征信息的同时获取高维数据样本的低维表示。为了能够有效解决高光谱影像分析中的"维数灾难"问题,从而改进后续计算复杂度,我们引入一种半监督局部保持的降维算法。

面向高光谱图像分类的空谱半监督局部判别分析

针对传统的基于特征提取的高光谱图像分类算法大多只考虑光谱信息而忽略空间信息的问题,提出了一种基于空谱半监督局部判别分析(S3 ELD)和空谱最近邻(SSNN)分类器的高光谱图像分类算法。该算法结合高光谱图像的空间一致性,在利用标记样本的判别信息保持数据集可分性的基础上,定义空间近邻像元散度矩阵来保存像元的空间近邻结构,提出基于空谱距离的相似性度量并将其应用于局部流形结构的发现和SSNN的构建。S3 ELD算法不仅能揭示数据集的局部几何关系,而且增强了光谱域同类像元和空间域近邻像元在低维嵌入空间的聚集性。结合SSNN进行分类,进一步提升了分类精度。利用PaviaU和Salinas数据集进行的实验结果表明,S3 ELD算法的总体分类精度分别达到了92.51%和96.29%;与现有几种算法相比,该算法能更有效地提取出判别特征信息,并达到更高的分类精度。

一种极化SAR影像分类中的半监督降维方法

针对极化合成孔径雷达(SAR)应用中存在的特征冗余问题,结合线性判别分析(LDA)和局部线性嵌入(LLE)的思想,提出一种半监督降维算法:半监督局部判别分析(SLDA)。该算法首先基于LLE的局部保持特性建立正则项,以避免学习中的过拟合问题。然后,在标记样本集上进行正则化的判别分析,以增强算法的推广能力,同时保持所有样本点在原始空间的局部几何结构。利用RADARSAT-2和AIRSAR卫星获得的Flevoland地区的全极化SAR数据进行降维实验,结果表明SLDA提取的低维特征具有"类内紧聚,类间分离"的特性;进一步的分类实验结果表明,SLDA只需1‰~2‰的标记样本就能使分类精度达到90%左右,分类性能优于其他对比方法。

基于转子故障数据集的KSELF降维方法

针对故障诊断中呈现强非线性的故障数据集维数过高以及有标签故障样本不足的问题,引入核方法和半监督思想,提出了一种基于核半监督局部Fisher判别分析(kernel semi⁃supervised local Fisher discriminant analysis,简称KSELF)的降维方法。首先,通过核方法将原始故障数据集映射到高维特征空间中;其次,在高维空间中基于半监督局部Fisher判别分析得出投影转换矩阵;最后,用一双跨度转子实验台的故障特征数据集对所提出的方法进行了验证。所提出的KSELF降维方法能够有效捕捉数据的非线性信息,并能充分利用少量标签样本和大量无标签故障样本中的故障信息,避免了过学习问题。实验结果表明,KSELF方法相比实验中的其他方法,其降维能力稳定,能够获得更好的降维效果和更高的分类准确率。

基于特征迁移学习方法的跨库语音情感识别

在实际语音情感识别系统中,训练语音和测试语音往往来自不同的语料库,识别率下降显著。针对这一问题,该文提出一种有效的基于特征迁移学习的跨库语音情感识别方法。引入最大均值差异（maximum mean discrepancy,MMD）来描述不同数据库情感特征分布之间的相似度,并通过最大均值差异嵌入（maximum mean discrepancy embedding,MMDE）算法及特征降维算法来寻找二者之间的邻近低维特征空间,并在此低维空间中训练得到情感分类器用于情感识别。同时为了更好地保证情感信息的类别区分度,进一步引入半监督判别分析（semi-supervised discriminant analysis,SDA）方法用于特征降维。最后在2个经典语音情感数据库上对提出的方法进行实验评价,实验结果表明：提出的方法可以有效提高跨库条件下的语音情感识别率。