基于Lorentz函数的稀疏约束RBM模型的算法研究

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种有效的特征提取算法,受视觉皮层稀疏表示的启发,人们试图将稀疏这一概念引入到RBM中,以期学习到原始数据的稀疏表示,提高其特征提取性能。将Lorentz函数引入到RBM中,作为RBM的稀疏约束正则项,构建基于Lorentz函数的稀疏约束RBM模型,将其称之为LRBM模型。对该模型的特征提取性能进行了可视化评价,同时对稀疏度和分类率进行了实验分析;最后将多个LRBM叠加,构造基于LRBM的深度置信网模型并分析该深度网络的性能。实验表明,LRBM模型有效地提取了数据集中的特征信息,在分类效果上较RBM平均提高了2%左右,增强了目标分类的可靠性。

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络(DBN)采用随机初始化受限玻尔兹曼机(RBM)的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器(SDAE)的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。

受限玻尔兹曼机的新混合稀疏惩罚机制

为解决受限玻尔兹曼机(RBM)在学习过程中出现的特征同质化问题,在RBM已有的稀疏模型基础上提出新的混合稀疏惩罚机制(HSPM).鉴于隐单元之间存在的统计相关性,该机制通过在RBM训练过程中引入交叉熵稀疏惩罚因子,实现对RBM的初步处理;按照基于RBM连接权值列相似性的自适应分组策略,构建稀疏组RBM,并按照稀疏组受限玻尔兹曼机(SGRBM)的形式继续进行隐单元稀疏化.实验结果表明:HSPM能够有效解决RBM特征同质化问题,在隐单元的稀疏程度上优于以往的稀疏惩罚因子,可以整体提高RBM的特征提取能力,并可以成功应用于深度玻尔兹曼机(DBM)的训练.

基于改进的稀疏深度信念网络的人脸识别方法

由于稀疏表示在人脸识别上的优异表现,大量的研究关注于在深度网络上结合稀疏编码。常用的稀疏深度信念网络限制所有的隐藏单元具有相同的稀疏水平,这不是诱导稀疏表示最自然的方式。针对这个问题,根据压缩感知理论改进原来的稀疏项,添加了一个tan-sigmoid正则项逼近稀疏表示的最优解L0范数。这种方法不限制隐藏单元拥有相同的激活率,每个隐藏单元可以根据不同的任务自动学习到不同的稀疏水平。在ORL、UMIST和FERET人脸库上的识别结果表明,提出的方法与经典的稀疏深度模型相比,获得了很好的特征表示和识别效果。

基于深度置信网络和多维信息融合的变压器故障诊断方法

为了综合多维度信息,快速准确判断变压器缺陷,同时解决多维度信息融合权重难以确定的问题,文中基于深度学习理论,采用稀疏受限玻尔兹曼机搭建了用于故障诊断的深度学习故障分类模型,结合大型变压器的多维度监测量,提出了一种基于深度置信网络和多维度信息融合的变压器故障诊断方法。该方法能够利用变压器海量的无标签多维监测数据作为学习样本,只需对少量带标签数据进行辅助优化,根据变压器实时在线多维监测数据,被训练后的模型能够对变压器本体状态做出准确的故障诊断。对某市220 kV主变进行诊断测试,结果表明,文中提出方法的故障诊断准确率较现有方法高约4%,验证了该方法的可行性和有效性。

稀疏受限玻尔兹曼机研究综述

人类的视觉系统采用稀疏编码方式来描述被感知的图像特征,而稀疏表示被认为是图像特征最合理而且有效的表示形式。由于受限玻尔兹曼机具有强大的无监督学习能力,所以它被用于深度学习中。将多个稀疏受限玻尔兹曼机堆叠起来,不仅可以模拟大脑的分层结构,还可以学习到图像更加抽象的特征信息。因此,采用受限玻尔兹曼机获得图像特征的稀疏表示在人工智能领域得到了广泛的关注。首先介绍了受限玻尔兹曼机的基础知识,紧接着阐述了稀疏化的原因,并描述了稀疏受限玻尔兹曼机的优点。然后,文章详细介绍了稀疏受限波尔兹曼机的国内外研究现状。最后总结了目前研究中存在的问题及将来的发展方向。

基于竞争学习的稀疏受限玻尔兹曼机机制

针对受限玻尔兹曼机(RBM)无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机(SRBM)难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机(DBM)的构建中。通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74%,平均稀疏度提高了5.6%,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中。

一种新的基于光滑L_0范数的受限玻尔兹曼机

受限玻尔兹曼机(Restricted Boltzmann machines,RBM)是一种有效的特征提取器,它是深度信念网络的基本组成模块。为了进一步提升RBM的数据表示性能,受人类大脑视觉稀疏表示启发,提出一种新的稀疏RBM,即SmoothRBM。它通过添加一个光滑L_0范数的正则项来直接约束隐层单元的总体激活概率,可以根据不同的学习任务学习到不同的稀疏水平。MNIST数据集上的相关实验表明,SmoothRBM模型与当前的一些优秀模型相比,可以更有效的提取数据集中的特征信息,学习到更稀疏和更具判别力的表示形式。