基于子空间学习的快速自适应局部比值和判别分析

降维是处理高维数据的一项关键技术,其中线性判别分析及其变体算法均为有效的监督算法。然而大多数判别分析算法存在以下缺点:a)无法选择更具判别性的特征;b)忽略原始空间中噪声和冗余特征的干扰;c)更新邻接图的计算复杂度高。为了克服以上缺点,提出了基于子空间学习的快速自适应局部比值和判别分析算法。首先,提出了统一比值和准则及子空间学习的模型,以在子空间中探索数据的潜在结构,选择出更具判别信息的特征,避免受原始空间中噪声的影响;其次,采用基于锚点的策略构造邻接图来表征数据的局部结构,加速邻接图学习;然后,引入香农熵正则化,以避免平凡解;最后,在多个数据集上进行了对比实验,验证了算法的有效性。

基于双向稀疏的多视图子空间学习算法

针对传统的多视图子空间学习方法很难找到一个有效的子空间维数并同时处理异常值,提出一种基于双向稀疏的多视图子空间学习方法。将通过矩阵分解得到的低维表示分解成两个矩阵,在第一个矩阵中加入l_(p,2)行稀疏范数来捕获相关数据之间没有冗余特征的良好共享特征,即数据的二次特征提取;为了同时识别离群点并减少其影响,在第二个矩阵中加入l_(p,2)列稀疏矩阵。进一步提出一种有效的求解算法,并分析了该算法的收敛性以及计算复杂度。在多个数据集上仿真结果表明,与传统的多视图无监督特征提取方法相比,该方法能够更加有效地解决子空间维数问题,并且对异常值情形具有较强的鲁棒性。

基于递推子空间学习的烟丝掺配工序电子皮带秤异常在线监测方法

为解决烟丝掺配工序中物料流量异常识别缓慢、电子皮带秤故障发现延后的问题,基于子空间学习方法提出了一种电子皮带秤异常在线监测的模型。首先,收集烟丝掺配工序中电子皮带秤采集到的物料流量数据;其次,根据收集到的历史数据建立基于重构约束的子空间学习模型,并计算出最优投影矩阵,利用递推回归模型实时更新投影矩阵;最后,根据子空间内数据点分布的位置信息判断电子皮带秤是否异常。验证结果表明,运用所建立的模型后数据误报率为4.00%,异常数据检测率为99.89%。基于递推子空间学习的烟丝掺配工序电子皮带秤异常在线监测方法可有效地识别电子皮带秤的异常情况,实现电子皮带秤故障的在线监测。

跨模态检索的鉴别子空间学习方法

许多现有的基于子空间学习的跨模态检索方法只集中于学习一个潜在的子空间,忽略了对鉴别性信息的充分利用,没有很好地保留语义结构信息。为了弥补这一不足,提出了一种跨模态检索的鉴别子空间学习方法(DSL),首先构建一个共享语义图来保留每个模态中的语义结构,随后引入希尔伯特-施密特独立性准则(HSIC)来保持样本的特征和语义相似度之间的一致性,最后构建角度重构方案。由此DSL可以弥补鉴别性数据使用不足的缺陷,更好地保留每个模态的语义结构信息。在两个常用的基准数据集上进行实验,结果表明上述方法相对于经典子空间学习方法更具有效性。

一种基于融合重构的子空间学习的零样本图像分类方法

图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.

基于低秩表示的鲁棒判别特征子空间学习模型

特征子空间学习是图像识别及分类任务的关键技术之一,传统的特征子空间学习模型面临两个主要的问题。一方面是如何使样本在投影到特征空间后有效地保持其局部结构和判别性。另一方面是当样本含噪时传统学习模型所发生的失效问题。针对上述两个问题,该文提出一种基于低秩表示(LRR)的判别特征子空间学习模型,该模型的主要贡献包括:通过低秩表示探究样本的局部结构,并利用表示系数作为样本在投影空间的相似性约束,使投影子空间能够更好地保持样本的局部近邻关系;为提高模型的抗噪能力,构造了一种利用低秩重构样本的判别特征学习约束项,同时增强模型的判别性和鲁棒性;设计了一种基于交替优化技术的迭代数值求解方案来保证算法的收敛性。该文在多个视觉数据集上进行分类任务的对比实验,实验结果表明所提算法在分类准确度和鲁棒性方面均优于传统特征学习方法。

基于子空间学习的图稀疏属性选择算法

针对处理高维度属性的大数据属性约减方法进行了研究,发现属性选择和子空间学习是属性约简的两种常见方法,其中属性选择具有很好的解释性,子空间学习的分类效果优于属性选择,而往往这两种方法是各自独立进行应用的。为此,综合这两种属性约简方法,设计出新的属性选择方法,即利用子空间学习的两种技术(即线性判别分析(LDA)和局部保持投影(LPP)),考虑数据的全局特性和局部特性,同时设置稀疏正则化因子实现属性选择。基于分类准确率、方差和变异系数等评价指标的实验结果表明,该算法相比其他算法,能更有效地选取判别属性,并能取得很好的分类效果。

基于多标签共享子空间学习和内核脊回归的空谱分类算法

针对高光谱图像维度高、地物间非线性可分造成的分类精度低等问题,提出一种基于多标签共享子空间和内核脊回归的空谱分类算法.该算法利用内核脊回归将地物相近像素在线性空间的不可分特征映射到高维空间中,实现分类特性在高维空间下的有效分离,以提高地物相近特性的区分精度;同时将高维样本数据映射到低维共享子空间中,在低维环境下以多类标为指导,引入低秩矩阵建立类别标签与共享空间的预测关系,挖掘多标签间的共同特性,提高融合利用多类别间的共同属性提高高光谱图像的分类精度;最后利用奇异值分解迭代法求解目标函数,一定程度上加速参数求解.在Indian Pines和Pavia University两组高光谱数据集上进行仿真实验,实验结果表明,与其他同类算法相比,在低样本比例下,本文算法在总体分类精度、平均分类精度和Kappa系数等评价指标上至少提高4.76%、4.24%和5.19%,与非内核化的算法相比,本文算法在基本不增加运行时间的情况下总体分类精度、平均分类精度和Kappa系数至少提高2.92%、2.8%和3.48%.

基于多种群子空间学习的粒子群优化算法

针对标准粒子群(particle swarm optimization,PSO)算法易陷入局部最优、进化后期收敛速度慢和收敛精度低的缺点,提出一种基于多种群子空间学习的粒子群优化算法(MSPSO)。算法将种群分成多个子群,除了传统的种群历史最优粒子和全局最优粒子,还引入分群最优粒子和混合粒子,该混合粒子随机选择各子群最优粒子的相关维度混合而成,增加种群多样性,防止算法陷入局部最优。在种群进化后期,算法对子群最优粒子进行子空间学习,帮助算法逃离局部最优,加快收敛速度。在固定评估次数的情况下,对8种经典的测试函数进行仿真实验,相比较经典知名算法如FIPS、HPSO-TVAC、DMS-PSO、CLPSO、APSO等,MSPSO算法不仅在低维和高维仿真实验中,在逃离局部最优、全局收敛速度和收敛精度上,具有绝对的优势。

鲁棒多视图协同完整鉴别子空间学习算法

为了有效地融合多视图信息并使有利于多视图完整子空间学习的视图主导多视图学习,提出了多视图协同完整子空间学习策略。进一步,为了使对象在潜在完整子空间中的完整特征表示具有更好的鉴别能力,将Fisher鉴别分析引入到了多视图完整子空间学习中。Fisher鉴别分析可以在最小化对象的完整特征表示的类内散度的同时最大化对象的完整特征表示的类间散度。将多视图协同完整空间学习策略和Fisher鉴别分析融合在一起,提出了鲁棒多视图协同完整鉴别子空间学习算法。实验结果表明,所提算法能够有效地融合多视图信息并挖掘鉴别信息,是一种有效的多视图完整子空间学习算法。

基于子空间学习和伪标签回归的无监督特征选择

信息技术的快速发展产生了大量无标签高维数据。为了能够更好地处理这些数据,提出了一种基于子空间学习和伪标签回归的无监督特征选择方法。首先,从矩阵分解的角度将子空间学习和特征选择结合在一个框架中,并且对特征选择矩阵施加L 2,1范数保证稀疏,在寻找原始数据空间低维表示的同时进行特征选择;其次,利用回归函数来学习特征子空间和伪标签之间的映射关系,利用伪标签和回归函数来指导无监督特征选择,以使选择出来的特征更具判别力;最后,通过引入图拉普拉斯来挖掘隐藏在样本空间和特征空间的局部结构信息。在六个公开的数据集上进行了实验,实验结果表明该方法要优于其他几种先进的无监督特征选择算法。

基于局部保持投影的鲁棒稀疏子空间学习

传统的子空间学习算法包含投影学习和分类两个过程,但是这两个过程分离,且对离群点较敏感,可能导致算法无法获得整体最优解。为此,提出了一种基于局部保持投影的鲁棒稀疏子空间学习算法。该算法将特征学习和分类模型相结合,使学习得到的子空间特征更具有判别性;利用L2,1范数的行稀疏性质,剔除冗余特征,同时在算法模型中考虑数据样本的局部关系来提高对离群点的鲁棒性;最后采用交替迭代方法来求解该模型。在不同数据集上的实验结果表明该算法具有较好的识别效果。

基于核保持嵌入的子空间学习

子空间学习是特征提取领域中的一个重要研究方向,其通过一种线性或非线性的变换将原始数据映射到低维子空间中,并在该子空间中尽可能地保留原始数据的几何结构和有用信息。子空间学习的性能提升主要取决于相似性关系的衡量方式和特征嵌入的图构建手段。文中针对子空间学习中的相似性度量与图构建两大问题进行研究,提出了一种基于核保持嵌入的子空间学习算法(Kernel-preserving Embedding based Subspace Learning, KESL),该算法通过自表示技术自适应地学习数据间的相似性信息和基于核保持的构图。首先针对传统降维方法无法挖掘高维非线性数据的内部结构问题,引入核函数并最小化样本的重构误差来约束最优的表示系数,以期挖掘出有利于分类的数据结构关系。然后,针对现有基于图的子空间学习方法大都只考虑类内样本相似性信息的问题,利用学习到的相似性矩阵分别构建类内和类间图,使得在投影子空间中同类样本的核保持关系得到加强,不同类样本间的核保持关系被进一步抑制。最后,通过核保持矩阵与图嵌入的联合优化,动态地求解出最优表示下的子空间投影。在多个数据集上的实验结果表明,所提算法在分类任务中的性能优于主流的子空间学习算法。

变工况下混合噪声字典和迁移子空间学习的滚动轴承故障诊断方法

滚动轴承在实际运行中受到复杂的工作环境影响,采集的振动信号无法满足独立同分布的条件。同时,振动信号混有大量的噪声和无关信息,直接影响诊断轴承故障的能力。因此,提出一种变工况下混合噪声字典和迁移子空间学习的滚动轴承故障诊断方法。首先,通过建立混合噪声字典学习模型,剔除无关信息分量对字典学习的干扰。然后,构建迁移子空间模型,将稀疏化的信号迁移到一个公共子空间中,通过联合分布适配方法和减少源域分类误差来降低两个域的分布差异。最后,通过交替方向乘子方法进行优化求解。实验结果表明,所提出的方法在复杂的可变工况下能够准确地识别滚动轴承故障类型。

一种基于子空间学习的图像标签推荐方法

以Flickr和Picasa为代表的社会化图像分享网站允许用户对图像使用标签进行标注,帮助用户更加方便高效地组织和检索图像资源。为了能使用户对所标注的图像提供高质量的标签,自动化图像标签推荐系统成了近年来的热门研究领域。以往的图像标签推荐系统在解决标签推荐冷启动问题上只是简单地利用标签频率信息或者图像的视觉特征相似性进行标签推荐,忽略了图像视觉内容和标签内容之间的关系,往往导致标签推荐结果不是特别理想。本文提出一种新的图像标签推荐方法,该方法利用矩阵分解算法从训练数据集中学习,得到一个图像视觉特征和标签内容语义共享的隐式子空间。对于一幅未打任何标签的新图像,可以利用训练得到的线性转换矩阵将其视觉特征向量映射到隐式子空间中,然后计算得到与各个标签的关联程度进行推荐。本文提出的方法在NUS-WIDE的数据集上进行验证,实验结果比现有代表性方法有大幅提高,表明了该方法的有效性。

基于潜子空间去噪的子空间学习图像分类方法

针对判别最小二乘回归(DLSR)对图像噪声鲁棒性不佳的问题,提出一种基于潜子空间去噪的子空间学习图像分类方法(DLSSL)。该方法在架构上不同于现有基于回归的分类方法,其在视觉空间与标签空间中引入一个潜在子空间,将传统的图像分类框架改进为两步,即先降噪后分类。该方法先通过欠完备自编码将数据的高阶特征提取到潜在空间,再利用此高阶特征进行回归分类,同时辅以组核范数约束控制类内样本间距离。潜在子空间的引入为算法框架带来了更多灵活性,缓解了视觉空间与标签空间中数据维度与特性的差异,使得欠完备自编码可以有效地对数据进行降噪,提升了分类算法的鲁棒性。在人脸、生物指纹、物体和深度特征数据集上设计了多组对比实验,实验结果表明,算法对于图像中的噪声具有较强的鲁棒性,获得的投影矩阵具有良好的判别性,相比现有图像分类算法,性能更好、普适性更强,能有效地运用于各种图像分类任务。

基于判别最小二乘回归的局部保留子空间学习算法

针对稀疏表示能够有效提取出相同类内部样本间和不同类之间的稀疏性,却具有高复杂度求解过程和存在丢失数据结构关键信息的缺点进行了研究,提出了判别最小二乘局部保持投影(DLSLPP)算法。DLSLPP算法利用最小二乘回归充分而完整地提取了数据之间的结构信息,同时利用最小二乘回归具有数值解的优势降低了算法的复杂度。此外,DLSLPP算法采用不同于传统算法的新型加权平均方式构造数据代表样本,增强了算法的判别能力。在四个图像分类数据集和四种算法上的对比实验表明DLSLPP算法能够达到十分优异的效果。

基于子空间学习刮板输送机减速器轴承变工况故障诊断

针对刮板输送机减速器轴承工况多变导致传统机器学习方法在解决变化工况问题中存在局限性,提出了一种基于子空间学习(Subspace Learning,简称SL)的刮板输送机减速器轴承变化工况故障诊断方法。该方法首先对原始信号进行基于快速傅里叶变换,从而获得信号的频谱能量,然后利用主成分分析法将原始信号频谱能量映射到高维空间,并获得训练数据和测试数据核能量子空间,然后将训练数据核能量子空间向测试数据核能量子空间对齐,并将训练数据向对齐的核能量子空间投影,最终利用支持向量机(Support Vector Machine,简称SVM)分类器训练对齐于测试数据空间的训练数据,并用于分类滚动轴承的故障类型。试验结果表明了该方法的有效性。

基于双重低秩分解的不完整多视图子空间学习

多视图数据在现实世界中应用广泛,各种视角和不同的传感器有助于更好的数据表示,然而,来自不同视图的数据具有较大的差异,尤其当多视图数据不完整时,可能导致训练效果较差甚至失败。为了解决该问题,本文提出了一个基于双重低秩分解的不完整多视图子空间学习算法。所提算法通过两方面来解决不完整多视图问题:一方面,基于双重低秩分解子空间框架,引入潜在因子来挖掘多视图数据中缺失的信息;另一方面,通过预先学习的多视图数据低维特征获得更好的鲁棒性,并以有监督的方式来指导双重低秩分解。实验结果证明,所提算法较之前的多视图子空间学习算法有明显优势;即使对于不完整的多视图数据,该算法也具有良好的分类性能。

基于特征融合及子空间学习的行人再识别

改进多核全监督子空间学习(multi-kernel fully-supervised subspace learning,MKFSL)行人再识别算法,以提高带标签样本的有限可用性。在特征提取时,串联融合局部最大概率(local maximal occurrence,LOMO)特征和高斯块的高斯区域(Gaussian region of Gaussian patch,GOG)描述符,以获得具有鲁棒性的特征;在度量学习时,采用全监督子空间学习方法,以获取判别式投影。在VIPeR和PRID450s两种数据集上的实验结果表明,改进算法比原算法的1级匹配率可分别提高1.7%和2.7%。