基于正规方程的L_(2,1)正则核极限学习机

为了降低核极限学习机的时间复杂度,提出一种基于正规方程的L_(2,1)正则核极限学习机。将L_(2,1)范数引入核极限学习机的目标函数中,利用正规方程法求解L_(2,1)正则核极限学习机的最优输出权值,从而避免模型的过拟合问题,同时提高分类性能。实验结果表明,与传统的核极限学习机相比,所提核极限学习机能够有效减少学习过程中的大量矩阵运算,具有更快的学习速度和更高的分类准确率。

基于l_(2,1)范数的图正则非负矩阵分解

为降低数据集中的噪声和异常值对算法的影响并考虑其内在的几何结构,文章给出一种基于L_(2,1)范数的图正则非负矩阵分解(_(2,1),GNMFL)方法,采用投影梯度法求解提出的模型。最后,在多个数据集上的实验结果验证了该算法的有效性。

基于流形学习与L_(2,1)范数的无监督多标签特征选择

针对现有的嵌入式多标签特征选择方法只能分析有标签样本,无法利用大量“廉价”的无标签样本信息的问题,提出一种基于流形学习与L_(2,1)范数的无监督多标签特征选择方法。该算法在L_(2,1)范数回归的基础上,用特征流形和数据相似矩阵约束特征权重矩阵和伪标签矩阵,从而达到特征选择的目的。实验结果表明,所提方法的各指标性能优于SCLS、MDMR等特征选择方法,充分体现所提算法的可行性。

基于L_(2,1)-范数距离的约束相似矩阵的聚类算法

为学得更好的相似矩阵,提出一种基于L_(2,1)-范数距离相似度矩阵的学习方法,给出相应的聚类算法(CSCA)。利用L_(2,1)-范数距离计算出相似度矩阵,对相似度矩阵施加平方的约束;通过约束相似度矩阵所构建的拉普拉斯矩阵,求出对应的特征向量空间;利用学得的相似度矩阵中的连通分量直接得到聚类结果。实验结果表明,该算法在人工数据集和真实数据集上的聚类结果大多优于其它聚类算法,验证了所提聚类算法的有效性。

基于■2,1范数和神经网络的非线性特征选择方法

在基于■2,1范数的特征选择方法中,■2,1范数可以使选择的特征具有组间稀疏性和组内稀疏性,同时还可以去除特征数据中的异常值。然而,大多数基于■2,1范数的特征选择算法常通过线性方程求解,无法探究特征之间的非线性关系。因此,本文提出了一种基于■2,1范数的非线性特征选择方法,将■2,1范数与神经网络相结合。一方面,该方法利用神经网络的非线性特性对■2,1范数进行求解。另一方面,该方法利用■2,1范数实现基于神经网络框架的特征选择。最后,本文将该方法与当前流行的特征选择方法在八个公开数据集进行了对比,实验结果验证了该方法具有一定的优越性。

基于Frobenius和L_(2,1)范数的多输出宽度学习系统

宽度学习系统(broad learning system,BLS)因其特征提取能力强、计算效率高而被广泛应用于众多领域.然而,目前BLS主要用于单输出回归,当BLS存在多个输出时,BLS无法有效发掘多个输出权重之间的相关性,会导致模型预测性能的下降.鉴于此,通过Frobenius和L_(2,1)矩阵范数的联合约束,提出多输出宽度学习系统(multi-output broad learning system,MOBLS).首先,在原有BLS的基础上构建新的目标函数,将L2损失函数替换为L_(2,1)形式,L_(2)正则化项替换为Frobenius和L_(2,1)两项;然后,利用交替方向乘子法(alternating direction method of multipliers,ADMM)对新目标函数BLS的输出权重优化求解.利用11个公共数据集和1个实际过程数据集验证了所提系统的有效性.

用于人脸情感识别的低冗余稀疏性集成剪枝

为降低噪声和异常值对集成剪枝的影响,并鲁棒性地选择更稀疏的基分类器子集,从而提升人脸情感识别的性能,提出了一种具有依赖分数的鲁棒性稀疏低冗余集成剪枝方法用于人脸情感识别。首先,该方法将样本实例的预测结果视为基分类器特征,分别利用互信息和熵来评估成对基分类器之间的依赖性和它们之间的优先级。其次,将优先级依赖关系添加到基于回归的目标方程中实现冗余基分类器的修剪,此目标方程使用l_(2,1)范数来增加分类器子集的鲁棒性从而提升算法的泛化性能。然后,将内积正则化项引入到目标方程中,通过计算分类器特征系数向量内积的绝对值的和去选择稀疏和低冗余的基分类器。最后,使用大多数投票法对选择的基分类器子集进行集成从而得到最终的识别结果。结果表明:本文提出的方法在FER2013、JAFFE、CK+和KDEF 4个公共人脸情感数据集上的识别准确率,比所有基分类器进行集成得到的准确率分别高3.29%、10.39%、1.76%和4.89%,表明该方法可以选择出识别效果更好、冗余度更低的分类器子集,提高集成剪枝的泛化能力。

基于稀疏一致图分解的鲁棒多视图聚类算法

由于数据形式日益复杂,陆续涌现了大量多视图聚类算法。但现有方法存在计算复杂度较高、需要额外的后续处理步骤、构造的相似图非最优等缺点。基于此,首先提出一种基于稀疏一致图分解的单视图聚类算法,然后将其扩展为多视图聚类算法,考虑不同视图对最终结果的贡献不同,对每个视图分配适当的权重,同时利用L_(2.1)范数,得到性能更优的一致图,在一致图基础上学习非负表示矩阵,经交替迭代得到聚类结果。最后在多个数据集上进行比较实验,验证了该算法的有效性。

基于组稀疏联合学习的影像遗传学数据关联分析

影像遗传学的发展很大程度上促进精神类疾病的研究,其主要是分析并挖掘多模态数据以找出与疾病相关的致病机制,但是此类数据的特征之间通常呈现出群组相关或者多个特征相关的特性,传统的方法很难找出具有相关性的疾病机制,易出现过稀疏的问题。针对上述问题,本文引入可以实现组内稀疏和组间平滑的正则化项l_(1,2)范数,并将其与可以实现组间稀疏和组内平滑的l_(2,1)范数联合共同惩罚典型相关分析,通过优化数据之间的相关性实现具有相关性的群组特征和组内特征之间的两模态数据集的特征选择。仿真实验结果表明,本文方法在较准确地估计出2组数据之间的相关系数的同时可选择出具有相关性的组间特征和组内特征;在真实的精神分裂症数据集上,本文方法可找出更多的与精神分裂症相关的易感基因和风险脑区。

基于增量式鲁棒非负矩阵分解的短文本在线聚类

对社会化媒体产生的大量短文本进行聚类分析具有重要的应用价值,但短文本往往具有噪音数据多、增长迅速且数据量大的特点,导致现有相关算法难于有效处理.提出一种基于增量式鲁棒非负矩阵分解的短文本在线聚类算法STOCIRNMF.STOCIRNMF基于非负矩阵分解构建短文本聚类模型,通过l_(2,1)范数设计模型的优化求解目标函数提高鲁棒性,同时应用增量式迭代更新规则实现短文本的在线聚类.在搜狐新闻标题和微博短文本数据集上进行相关实验,结果表明STOCIRNMF不仅比现有代表性算法具有更好的聚类性能,而且能够有效对微博话题进行在线检测.

一种鲁棒稀疏表示的单样本人脸识别算法

稀疏表示在人脸识别问题上取得了非常优秀的识别结果,但在单样本条件下,算法性能下降严重。为提高单样本条件下稀疏表示的应用能力,提出一种鲁棒稀疏表示单样本人脸识别算法(RSR)。通过使用每张人脸图像创建一组位置图像来扩充每个对象训练样本,并利用L_(2,1)范数约束保证RSR算法选择正确对象的位置图像。在AR和extended Yale B人脸数据库上进行评测,实验结果表明RSR算法能够有效处理存在遮挡或光照变化的人脸图像,获得了较好的单样本人脸识别准确率,具有很强的鲁棒性。

核结构限制的低秩表示及其在流形聚类上的应用

针对很多计算机视觉问题中的数据往往具有混合多流形结构,提出一种流形聚类方法.通过对2,1范数采用一种特殊的迭代格式,将结构限制的低秩表示方法进行了核化,解决了其核化存在的技术难题.在Hopkins155和Caltech 256等数据集上的实验结果表明,核结构限制低秩表示是一个有效的流形聚类方法.

基于ε-邻域和拉普拉斯矩阵秩约束的谱聚类算法

为进一步扩充谱聚类算法的研究空间,提出一种基于ε-邻域和拉普拉斯矩阵秩约束的谱聚类算法。利用ε-邻域对亲和矩阵进行稀疏处理,再对拉普拉斯矩阵加上秩约束;以l2,1范数为正则项参数来调整模型,使得模型学习到更合理的数据结构;利用交替迭代优化算法对模型求解。最后,在4个数据集上与其他几种聚类算法进行对比,验证结果表明了ε-RSC算法的有效性和可行性。

基于鲁棒鉴别特征学习的图像特征提取算法

为了增强图像特征鉴别力和鲁棒性,获取图像紧致特征表达是关键。现有的图像特征学习方法大多采用最大化L_(2)范数的方式定义,导致其对噪声和异常值十分敏感。针对这个问题,提出了一种基于L_(2,1)范数的鲁棒鉴别特征学习算法。该算法在数据预处理中加入了类内聚拢操作,使得同类样本尽可能靠近,减小了类内异常样本以及强噪声样本的影响;此外,引入L_(2,1)范数重新定义了数据的类内和类间相关矩阵,使得模型更具鲁棒性,且提取的特征鉴别能力更强。实验结果显示,相比于现有的一些最新算法,提出的算法不仅具有较高分类准确率,同时还具有较快的收敛速率。这表明了提出算法所提取特征的图像特征具有较强的鉴别力和鲁棒性。

基于组稀疏的参数自适应学习UDP算法

传统UDP算法的参数选择是一个经典问题,至今仍没有一种有效的方法从根本上解决这个问题。针对复杂的参数选择,提出一种基于组稀疏的参数自适应学习UDP算法(SUDP)。使用组稀疏来描述样本点的几何结构,自适应地构造样本点的近邻图,避免传统UDP算法中使用K-NN算法带来的弊端。由于稀疏表示带有天然判别信息的优势,SUDP算法比传统的UDP算法有着更强的判别能力。在6个广泛使用的人脸数据集上进行的实验,实验结果表明了SUDP算法的有效性和稳定性。

特征自表达和图正则化的鲁棒无监督特征选择

为了在揭示数据全局结构的同时保留其局部结构,本文将特征自表达和图正则化统一到同一框架中,给出了一种新的无监督特征选择(unsupervised feature selection,UFS)模型与方法。模型使用特征自表达,用其余特征线性表示每一个特征,以保持特征的局部结构;用基于L_(2,1)范数的图正则化项,在保留数据的局部几何结构的同时可以降低噪声数据对特征选择的影响;除此之外,在权重矩阵上施加了低秩约束,保留数据的全局结构。在6个不同的公开数据集上的实验表明,所给算法明显优于其他5个对比算法,表明了所提出的UFS框架的有效性。

基于概率矩阵分解的不完整数据集特征选择方法

在机器学习理论与应用中,特征选择是降低高维数据特征维度的常用方法之一。传统的特征选择方法多数基于完整数据集,对实际应用中普遍存在缺失数据的情形研究较少。针对不完整数据中含有未被观察信息和存在异常值的特点,提出一种基于概率矩阵分解技术的鲁棒特征选择方法。使用基于分簇的概率矩阵分解模型对数据集中的缺失值进行近似估计,以有效测量相邻簇之间数据的相似性,缩小问题规模,同时降低填充误差。依据缺失数据值存在少量异常值的情形,利用基于l_(2,1)损失函数的方法进行特征选择,在此基础上给出不完整数据集的特征选择方法流程,并对其收敛性进行理论分析。该方法利用不完整数据集中的所有信息,有效应对不完整数据集中异常值带来的影响。实验结果表明,相比传统特征选择方法,该方法在合成数据集上选择更少的无关特征,可降低异常值带来的影响,在真实数据集上获得了较高的分类准确率,能够选择出更为准确的特征。

基于低秩约束的逆向联合稀疏跟踪算法

针对目标跟踪算法容易受到背景干扰的问题,提出一种基于低秩约束的逆向联合稀疏跟踪算法。该算法对目标模板和候选模板进行空间重叠分块,对目标模板施加低秩约束,降低杂乱背景的影响,再以候选模板构建视觉子字典联合稀疏表示候选模板。在粒子框架下采取三步打分法评价候选模板,并提出局部模板更新机制,以避免局部遮挡引起的跟踪漂移。实验结果表明,该算法在旋转、快速运动、遮挡、尺度变化和背景散乱等情况下均取得较好的跟踪性能。

联合线性重构与非负稀疏表示的标记分布学习算法

针对标记分布学习涉及到样本的特征相关性信息及数据可能存在异常和噪声值的情况,结合样本的自我表示性质和样本与标记之间的相关性建立模型,提出联合线性重构与非负稀疏表示的标记分布学习算法(LRNSR-LDL)。首先用特征的自我表示属性,建立样本特征空间之间的线性关系,得到线性重构后的特征相似空间;然后利用特征和标记之间的相关性,通过非负稀疏矩阵分解将标记分布用特征相似空间表示,并分别用损失函数建立优化模型;最后引入l_(2,1)-范数约束,降低离群点的不良影响,同时增加模型的泛化能力。提出算法与现有的3种标记分布学习算法在6个真实数据集上进行对比实验,并分别用5种距离和相似性指标进行评价,最终的实验结果显示提出的LRNSR-LDL算法具有一定的优势。

结合流形学习与逻辑回归的多标签特征选择

对于多标签特征选择算法,通常假设数据与标签间呈现某种关系,以该关系为基础并通过正则项的约束可解决多标签特征选择问题,但该关系也可能是两种或多种关系的结合。为准确描述数据与标签间的关系并去除不相关的特征和冗余特征,基于logistic回归模型与标签流形结构提出多标签特征选择算法FSML。使用logistic回归模型的损失函数学习回归系数矩阵,利用标签流形结构学习数据特征的权重矩阵,通过L;-范数将系数矩阵和权重矩阵进行柔性结合,约束系数矩阵与权重矩阵的稀疏性并实现多标签特征选择。在经典多标签数据集上的实验结果表明,与CMLS、SCLS等特征选择算法相比,FSML算法在汉明损失、排名损失、1-错误率、覆盖率、平均精度等5个性能评价指标上表现良好,能更准确地描述数据与标签间的关系。