二维投影非负矩阵分解算法及其在人脸识别中的应用

建立在最小化非负矩阵分解损失函数上的人脸识别算法需同时计算基矩阵和系数矩阵,导致求解这类问题十分耗时.本文把非负属性引入二维主成分分析(2-dimensional principal component analysis,2DPCA)中,提出了一种新的二维投影非负矩阵分解(2-dimensional projective non-negative matrix factorization,2DPNMF)人脸识别算法.该算法在保持人脸图像的局部结构情况下,突破了最小化非负矩阵分解损失函数的约束,仅需计算投影矩阵(基矩阵),从而降低了计算复杂度.本文从理论上证明了所提出算法的收敛性,同时,使用了YALE、FERET和AR三个人脸库进行实验,结果表明2DPNMF不仅识别率高,而且速度优于非负矩阵分解和二维主成分分析.

二维非负矩阵分解在齿轮故障诊断中的应用

针对齿轮故障信号时频分布识别问题,提出采用二维非负矩阵分解技术提取时频分布矩阵特征参数的方法。采用S变换技术将齿轮故障信号变换至时频域,为克服传统的一维非负矩阵分解对矩阵向量化带来的维数过高和结构信息损失问题,提出采用二维非负矩阵分解技术直接对信号时频分布矩阵提取特征参数。对齿轮5种状态下信号时频分布矩阵的特征提取和分类结果表明,二维非负矩阵分解技术无论在计算效率还是分类精度上都明显优于一维非负矩阵分解技术。

二维局部非负矩阵分解的路网态势算法

针对路网态势评测算法存在限于断面、依赖单一指标等的不足,在解析测量指标和测量断面的相关性及局部非负矩阵分解(LNMF)算法的基础上,提出了二维局部非负矩阵分解2DLNMF算法,通过选择合适参数对路网数据进行降维处理,提取路网特征数据,从而实现路网态势评测.仿真结果表明,使用2D-LNMF算法路网态势评测结果更加准确,而在线评测准确性达到95.69%.

二维卷积非负矩阵分解的初值确定混合算法

为解决二维卷积非负矩阵分解算法存在初值敏感,且传统随机初始化确定的初始值容易使算法收敛到结果相对不好的局部最优值的问题,通过结合K均值聚类、奇异值分解和主成分分析方法,提出了一种适用于二维卷积非负矩阵分解初始值确定的混合算法.首先,利用K均值聚类方法得到聚类中心作为系数矩阵(H矩阵)的初始值,避开了传统初始化不确定系数矩阵带来的分解结果不唯一问题;其次,考虑到相比一维卷积非负矩阵分解算法,二维卷积非负矩阵分解算法的基矩阵(W矩阵)个数更多,利用奇异值分解和主成分分析方法交替产生基矩阵的初始值,克服了单个算法产生的初始化误差问题.在相同参数环境下将本文算法和现有初始化算法的分解收敛性能进行对比实验,结果表明本文算法相比其他同类算法具有更好的分解性能并具有更好的收敛性.进一步加入噪声进行实验,在白噪声为-1 dB～10 dB的不同信噪比环境下,本文算法均能快速实现信号的分离,对于噪声数据具有很强的鲁棒性.采用混合算法确定初值,更有利于实现二维卷积非负矩阵分解的实时性和高性能.

基于二维非负矩阵分解的1kb/s WI语音编码算法

本文针对波形内插(WI)语音编码模型和参数量化等技术进行了研究,并最终提出了一种基于二维非负矩阵分解的1kb/s波形内插(2DNMF-WI)语音编码算法.文中采用二维非负矩阵分解(2D-NMF)方法来分解语音特征波形(CW),该分解方法在行和列两个方向上同时压缩CW幅度谱矩阵的维数,使得CW幅度谱矩阵降维后得到的编码矩阵维数较小,易于量化.此外,在甚低速率语音编码中,由于没有足够的比特数来描述编码参数,往往很难得到高质量的合成语音.本算法采用两帧联合编码、帧间后向预测三级矢量量化、离散余弦变换(DCT)和分裂式矩阵量化等技术来降低编码速率和改善音质.非正式主观听觉测试显示,1kb/s 2DNMF-WI编码器合成语音的质量稍差于2kb/s的NMF-WI语音编码算法.

基于非负矩阵分解更新规则的部分可观察马尔可夫决策过程信念状态空间降维算法

针对求解部分可观察马尔可夫决策过程(POMDP)规划问题时遭遇的"维数诅咒",该文提出了一种基于非负矩阵分解(NMF)更新规则的POMDP信念状态空间降维算法,分两步实现低误差高维降维。第1步,利用POMDP的结构特性,将状态、观察和动作进行可分解表示,然后利用动态贝叶斯网络的条件独立对其转移函数进行分解压缩,并去除概率为零的取值,降低信念状态空间的稀疏性。第2步,采用信念状态空间值直接降维方法,使降维后求出的近似最优策略与原最优策略保持一致,使用NMF更新规则来更新信念状态空间,避免Krylov迭代,加快降维速度。该算法不仅保证降维前后值函数不发生改变,又保留了其分段线性凸特性。实验结果表明,该算法具有较低误差率和较高收敛性。

多图融合约束半非负矩阵分解的动作分割方法

基于聚类的无监督动作分割方法主要利用序列中相邻帧之间的结构相似性来提高动作分割的准确性。这在实现动作片段内部一致划分的同时给不同动作边界的准确分割带来隐患。为此提出了一种基于多图融合约束矩阵分解的动作分割方法。通过融合序列中的结构相似性和度量相似性信息构造多图融合约束项,融入到半非负矩阵分解中获得序列的低维表示,进而获得序列的k近邻图并利用图割的方法实现准确分割。在两类动作序列上的实验表明,所提方法在保持动作内部一致划分的同时能够准确划分动作边界,明显提升了分割准确性,时间效率也明显提升。

求解非负矩阵分解的交替非负最小二乘法的一种修正策略（英文）

本文研究了关于求解非负矩阵分解的交替非负最小二乘法的全局收敛性.利用一种修正策略保证了极限点的存在性,得到了极限点为非负矩阵分解问题的稳定点.此外,给出了推广的修正策略.数值实验结果表明上述修正策略是有效的.

基于正交约束的广义可分离非负矩阵分解算法

可分离非负矩阵分解(NMF)是通过抽取数据集中的部分样本或关键主题来表示整个数据集的一种特殊NMF方法。广义可分离非负矩阵分解(GSNMF)算法是由可分离NMF扩展的算法,可以同时得到数据集中的关键样本和关键主题两类特征,使分解结果更具有可解释性,但在处理某些数据集时由于选择方法存在的缺陷,GSNMF算法只能单独选择行或列的特征,从而失去可解释性的优点。为此,引入正交约束来修正GSNMF算法的选取结果,提出一种基于正交约束的广义可分离非负矩阵分解(OGSNMF)算法,利用非负特性及正交约束的特点,限制迭代过程中关于行和列的迭代矩阵,确保得到行和列的特征,并获取更加精确的分解结果。在此基础上,引入相对近似误差作为实验指标,结合分解结果的秩在行与列上的分配作为实验评判标准。实验结果表明,与原有算法相比,OGSNMF算法在处理数据集时,相对近似误差提高了1~3个百分点,说明在分解过程中损失的信息更少,确保能够获取到行和列的特征,得到更具有可解释性的分解结果。

非负矩阵低秩分解的交替二次规划算法

非负矩阵分解算法有多种,但都存在着各自的缺陷.在现有工作的基础上,将非负矩阵分解(NMF)模型转化为一组(两个)二次凸规划模型,利用二次凸规划有解的充分必要条件推导出迭代公式,进行交替迭代,可求出问题的解.得到的解不仅具有某种最优性、稀疏性,还避免了约束非线性规划求解的复杂过程和大量的计算.证明了迭代的收敛性,且收敛速度快于已知的方法,对于大规模数据模型尤能显示出其优越性.

一种基于加权非负矩阵分解的多维用户人格特质识别算法

随着社会媒体的普及,用户信息的爆炸式增长为深入理解在线用户行为提供了非常丰富的信息源.由于用户人格特质是用户行为的主要驱动力,人格特质的差异可能会对用户的在线行为产生一定的影响,因此,用户人格特质识别问题近年来受到了众多学者的关注.首先,基于用户网络结构信息和用户发布内容信息序列构建用户人格特质识别特征,并根据特征重要性为其分配权重.然后,以用户人格特质相关因子约束目标函数,从用户社会网络结构特征、语言学特征和情感特征三个维度利用非负矩阵分解方法识别社会网络中用户的五大人格特质.最后,在真实的数据集上验证了提出框架的有效性,并通过实验以更细的粒度进一步验证了用户人格特质之间相关性的存在,同时证明了特征权重和用户人格特质间的相关性在用户人格特质识别问题中的重要性.文中为社会网络中的多维用户人格特质识别问题提供了一种新思路.

基于非负矩阵分解最小二乘的多视角行人分类算法

针对不同视角的行人样本具有较大的类内差异性,造成多视角行人识别错误率较高的问题,提出一种基于非负矩阵分解最小二乘的多视角行人分类算法.采用非负矩阵分解的方法对多视角的行人样本图像进行子空间分解,提取基向量;引入协同表示的方法并在最小二乘约束下,对子空间进行稀疏表示获得稀疏分解系数;利用近邻子空间方法对分解系数进行分类.基于自行构建的多视角行人数据库进行对比实验,结果表明该算法的准确性和有效性优于其他方法.

基于非负矩阵分解的语音深层低维特征提取方法

作为一种基于深层神经网络提取的低维特征,瓶颈特征在连续语音识别中取得了很大的成功。然而训练瓶颈结构的深层神经网络时,瓶颈层的存在会降低网络输出层的帧准确率,进而反过来影响该特征的性能。针对这一问题,本文基于非负矩阵分解算法,提出一种利用不包含瓶颈层的深层神经网络提取低维特征的方法。该方法利用半非负矩阵分解和凸非负矩阵分解算法对隐含层权值矩阵分解得到基矩阵,将其作为新的特征层权值矩阵,然后在该层不设置偏移向量的情况下,通过数据前向传播提取新型特征。实验表明,该特征具有较为稳定的规律,且适用于不同的识别任务和网络结构。当使用训练数据充足的语料进行实验时,该特征表现出同瓶颈特征几乎相同的识别性能;而在低资源环境下,基于该特征识别系统的识别率明显优于深层神经网络混合识别系统和瓶颈特征识别系统。

基于改进对称二值非负矩阵分解的重叠社区发现方法

针对复杂网络社区结构具有重叠性的问题,目前已提出许多不同类型的解决方法,其中基于对称二值非负矩阵分解(SBNMF)的重叠社区发现方法是具有代表性的方法。然而,SBNMF在面对社区内部链接稀疏的网络时,其重叠社区发现性能低下,为此提出一种基于改进SBNMF(ISBNMF)的重叠社区发现方法。首先利用对称非负矩阵分解得到的因子矩阵构建社区内部链接稠密的新网络,然后再使用基于Frobenius范数的SBNMF模型对新网络的邻接矩阵进行分解,最后通过网格搜索法或梯度下降法得到可以显式指示节点的社区隶属关系的二值矩阵。在人工合成的和真实的网络数据集上进行大量实验,结果表明ISBNMF的社区发现性能优于SBNMF和其他代表性方法。

非负矩阵分解的分层最小二乘快速算法研究

非负矩阵分解是对于代价函数近似非线性优化问题,考虑均方误差值作为代价函数,通过对分层交替非负最小二乘算法的迭代运算量进行分析,对运算耗费大的矩阵运算提出利用限制更新的方法对分层交替非负最小二乘算法进行修改,达到加速收敛的目的。通过仿真,与原倍乘更新算法、投射梯度算法比较,验证算法的有效性和稳定性和高效性。

基于2维非负矩阵分解的时频图像压缩在柴油机故障诊断中的应用

针对1维非负矩阵分解技术对2维矩阵特征降维时,会产生数据量巨大、计算效率低下和丢失原始数据结构信息的问题,引入2维非负矩阵分解技术。通过S变换得到振动信号的时频图像,用1DNMF和2DNMF分别压缩时频图像,对压缩后的图像信息进行分类,对柴油机在8种状态下的振动信号进行采集,并采用最近邻分类器、朴素贝叶斯分类器和支持向量机分类器进行实验对比。结果表明,2维非负矩阵分解技术比原始的1维技术计算效率更高,故障诊断更精准。

不完全非负矩阵分解的加速算法

非负矩阵分解(NMF)已成为数据分析与处理的一种日益流行的方法.当数据矩阵不完全时,可用加权非负矩阵分解(WNMF)来分解矩阵.但是在WNMF算法中,对于给定的搜索方向,步长的选取一般来说不是最优的.本文研究了不完全非负矩阵分解(INMF)问题,提出了加速算法(AINMF).首先,将INMF问题转化为交替地求解两个非负最小二乘(NNLS)问题.对于每个NNLS问题,在搜索方向上采用精确的步长.接着,分析了NNLS问题的算法复杂度.最后,试验结果证实了AINMF优于WNMF.

具有普适性的改进非负矩阵分解图像特征提取方法

为提高图像特征提取的普适性,提出了一种基于改进非负矩阵分解(NMF)的图像特征提取方法。首先,考虑到提取的图像特征的实际意义,选用非负矩阵分解模型进行图像特征的降维处理;其次,为实现用较小数量系数来描述图像特征,将稀疏约束作为非负矩阵分解模型的正则项之一;然后,为使降维后优化得到的特征具有较好的类间区分性,将聚类属性作为非负矩阵分解的另一个正则项;最后,通过对模型的梯度下降优化求解,获得最优的特征基向量与图像特征向量。实验结果表明,针对3种图像数据库,所提的图像特征更有利于图像正确分类或识别,错误接受率(FAR)与错误拒绝率(FRR)分别可以降低到0.021与0.025。

基于线性投影结构的非负矩阵分解

非负矩阵分解(Non-negative matrix factorization,NMF)是一个近年来非常流行的非负数据处理方法,它常用于维数约减、特征提取和数据挖掘等.NMF定义中采用的数学模型基于非线性投影结构构造,这决定了NMF降维需借助计算量很大的迭代操作来实现.此外,由此模型提取的NMF特征常不稀疏,这与NMF的设计期望相差甚远.为一并解决上述两个问题,本文提出了一个新的模型—基于线性投影结构的NMF(Linear projection-based NMF,LPBNMF),并构造了一个单调的LPBNMF算法.从数学的角度看,LPBNMF可理解为实现NMF的一种特殊方式.LPBNMF降维通过线性变换来完成,它所采用的数学模型的自身结构特点决定了由其得到的特征一定非常稀疏.大量的比较实验表明,LPBNMF的降维效率显著高于NMF,LPBNMF特征明显比NMF特征更稀疏和局部化.最后,基于AR人脸数据库的实验揭示,LPBNMF特征比NMF、LDA以及PCA等特征更适合于用最近邻分类法处理有遮挡人脸识别问题.

基于Fisher判别分析的增量式非负矩阵分解算法

增量式非负矩阵分解算法是基于子空间降维技术的无监督增量学习方法.文中将Fisher判别分析思想引入增量式非负矩阵分解中,提出基于Fisher判别分析的增量式非负矩阵分解算法.首先,利用初始样本训练的先验信息,通过索引矩阵对新增系数矩阵进行初始化赋值.然后,将增量式非负矩阵分解算法的目标函数改进为批量式的增量学习算法,在此基础上施加类间散度最大和类内散度最小的约束.最后,采用乘性迭代的方法计算分解后的因子矩阵.在ORL、Yale B和PIE等3个不同规模人脸数据库上的实验验证文中算法的有效性.