基于2,1范数的超图正则化非负矩阵分解

图学习的方法只考虑了样本间的关系,忽略了样本间的高维结构,基于欧氏距离的非负矩阵模型易受到噪声和异常值的影响。为解决以上问题,给出一种基于L2,1范数的超图正则化非负矩阵分解(L2,1HNMFL)方法,并给出了算法的更新规则。通过在COIL20和ORL经典数据集上与其他算法的比较验证了该算法的有效性。

基于L_(1/2)范数约束增量非负矩阵分解的SAR目标识别

增量非负矩阵分解(INMF)随目标样本增加逐渐更新分解模型,能够有效解决NMF算法的计算代价随样本增加而成倍增长的问题。然而INMF在使NMF具备增量学习能力的同时,并未考虑NMF分解矩阵的稀疏性对识别性能的提升作用。针对上述问题,提出基于L1/2范数约束的增量非负矩阵分解(L1/2-INMF)算法,并应用于SAR目标识别。L1/2-INMF采用L1/2范数实时约束增量过程中的NMF分解矩阵,能够在不增加计算复杂度的同时,提升识别性能。针对MSTAR数据集的仿真实验结果表明,提出的L1/2-INMF能够解决传统非负矩阵分解方法计算代价随样本增加而增加的问题。

L_(1)-L_(1/2)非负矩阵分解及算法

稀疏非负矩阵由于方便计算和存储的优点已被广泛关注.为了得到更稀疏的系数矩阵,在非负矩阵分解(NMF)模型上同时引入L_(1)和L_(1/2)正则项,提出一种新的稀疏NMF模型L_(1)-L_(1/2)-NMF,为快速求解L_(1)-L_(1/2)-NMF,提出梯度下降算法.进一步,基于交替非负最小二乘算法框架,利用KKT条件,提出块坐标下降算法.与梯度下降算法相比,块坐标下降算法得到的系数矩阵更稀疏.针对ORL、CBCL、Yale和Extended Yale 4个图像数据集的实验结果表明,块坐标下降算法和梯度下降算法得到的系数矩阵的稀疏性和相对误差优于其他稀疏NMF算法.

鲁棒结构正则化非负矩阵分解

现有的非负矩阵分解方法既忽略数据的非局部结构,又难以有效应对噪声和野值点。为了解决上述问题,提出一种新的用于聚类的鲁棒结构正则化非负矩阵分解算法。所提出的算法分别构建一个近邻图和一个最大熵图描述数据的局部结构和非局部结构,并使用L2,1范数代价函数尝试解决噪声问题,从而学习到鲁棒具有判别力的表征。给出一个最优的迭代算法求解两个非负因子,该优化算法的收敛性已被理论和实验证明。在七个图像数据集上的聚类实验结果表明,所提出的算法在无噪声和有噪声情况下聚类均优于其他主流方法。

基于Huber损失的非负矩阵分解算法

非负矩阵分解(Nonnegative Matrix Factorization)算法能为原始数据找到非负的、线性的矩阵表示且保留了数据的本质特征,已被成功应用于多个领域。经典的NMF算法及其变体算法大部分使用均方误差函数来度量重建误差,在许多任务中已经显示出其有效性,但它在处理含有噪声的数据时仍然面临一些困难。Huber损失函数对较小的残差执行的惩罚与均方误差损失函数相同,对较大的残差执行的惩罚是线性增长的,因此与均方误差损失函数相比,Huber损失函数具有更强的鲁棒性;已有研究证明L_(2,1)范数稀疏正则项在机器学习的分类和聚类模型中具有特征选择作用。结合两者的优点,文中提出了一种基于Huber损失函数且融入L_(2,1)范数正则项的非负矩阵分解聚类模型,并给出了基于投影梯度更新规则的优化过程。在多组数据集上将所提算法与经典的多种聚类算法进行对比,实验结果验证了所提算法的有效性。

两重稀疏约束的多标记社团分类算法

在多标记研究中,对于标记间相关性的利用已经越来越广泛,从而标记关系的展示就很有必要。相对以往的研究而言,由于多标记数据的高维特征,在训练过程中极为繁琐耗时,稀疏优化就尤为关键;同时标记相关性的内涵没有经过深入挖掘,因此如何更方便有效地进行多标记分类以及研究所有标记之间的相关性显得尤为必要。提出了一种基于两重稀疏约束的多标记社团分类算法,该算法首先将?_1/?_2正则化应用到多标记数据的稀疏表示过程,为后面的研究提供便利条件;其次在多标记关系基础上应用基于?_1范数正则化的社团发现算法,有效地对标记进行社团划分,直观展示出标记关系的内涵。实验证明该方法能够快速、准确地进行多标记分类,并且能够准确展示标记关系。