受限玻尔兹曼机的稀疏化特征学习

受限玻尔兹曼机(RBM)作为深度学习算法的一种基础模型被广泛应用,但传统RBM算法没有充分考虑数据的稀疏化特征学习,使得算法性能受数据集的稀疏性影响较大。提出一种RBM稀疏化特征学习方法(sRBM),通过归一化的输入数据均值确定数据集的稀疏系数,将稀疏系数大于阈值的稠密数据集自动转化为稀疏数据集,在不损失信息量的情况下实现输入数据的稀疏化。在手写字符数据集和自然图像数据集上的实验结果表明,sRBM通过输入数据稀疏化有效提升了RBM的稀疏化特征学习性能。

受限玻尔兹曼机的新混合稀疏惩罚机制

为解决受限玻尔兹曼机(RBM)在学习过程中出现的特征同质化问题,在RBM已有的稀疏模型基础上提出新的混合稀疏惩罚机制(HSPM).鉴于隐单元之间存在的统计相关性,该机制通过在RBM训练过程中引入交叉熵稀疏惩罚因子,实现对RBM的初步处理;按照基于RBM连接权值列相似性的自适应分组策略,构建稀疏组RBM,并按照稀疏组受限玻尔兹曼机(SGRBM)的形式继续进行隐单元稀疏化.实验结果表明:HSPM能够有效解决RBM特征同质化问题,在隐单元的稀疏程度上优于以往的稀疏惩罚因子,可以整体提高RBM的特征提取能力,并可以成功应用于深度玻尔兹曼机(DBM)的训练.

稀疏受限玻尔兹曼机研究综述

人类的视觉系统采用稀疏编码方式来描述被感知的图像特征,而稀疏表示被认为是图像特征最合理而且有效的表示形式。由于受限玻尔兹曼机具有强大的无监督学习能力,所以它被用于深度学习中。将多个稀疏受限玻尔兹曼机堆叠起来,不仅可以模拟大脑的分层结构,还可以学习到图像更加抽象的特征信息。因此,采用受限玻尔兹曼机获得图像特征的稀疏表示在人工智能领域得到了广泛的关注。首先介绍了受限玻尔兹曼机的基础知识,紧接着阐述了稀疏化的原因,并描述了稀疏受限玻尔兹曼机的优点。然后,文章详细介绍了稀疏受限波尔兹曼机的国内外研究现状。最后总结了目前研究中存在的问题及将来的发展方向。

基于竞争学习的稀疏受限玻尔兹曼机机制

针对受限玻尔兹曼机(RBM)无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机(SRBM)难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机(DBM)的构建中。通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74%,平均稀疏度提高了5.6%,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中。

利用社交关系的实值条件受限玻尔兹曼机协同过滤推荐算法

利用受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)解决推荐问题已成为一个很有意义的研究方向.目前用于推荐的RBM模型中使用的仅仅是用户评分数据,但用户评分数据存在着严重的数据稀疏性问题.随着互联网对人们生活的不断渗透,社交网络已经成为人们生活中不可缺少的一部分,利用社交网络中的好友信任关系,有助于缓解评分数据的稀疏性问题,提高推荐系统的性能.因此,该文首先提出基于实值的状态玻尔兹曼机(Real-Valued Conditional Restricted Boltzmann Machine,R_CRBM)模型,此模型不需要将评分数据转化为一个K维的0-1向量,并且R_CRBM模型在训练过程中使用了训练数据中潜在的评分/未评分信息;同时该文将最近信任好友关系应用到R_CRBM模型推荐过程中.在百度数据集和Epinions数据集上的实验结果表明R_CRBM模型和引入的最近信任好友关系均有助于提高推荐系统的预测精度;最后,针对大数据环境下,普通平台很难完成R_CRBM模型训练的问题,该文提出基于Spark的并行化方案,较好地解决了该问题.

一种提高受限玻尔兹曼机性能的反正切函数逼近L_0范数方法

受限玻尔兹曼机(RBMs)常常作为深度置信网络(DBN)的基本构成模块,通过训练几个RBM,DBN能够快速地被训练好以获得好的工作效果.为了获得更好的数据表示,受稀疏编码理论的启发,本文提出一种新的稀疏RBM,称为AtanRBM.与稀疏RBM(sparse RBM)不同的是,AtanRBM是添加一个arctan正则项(arctan函数逼近L_0范数)直接地约束隐含单元的概率密度空间来达到隐含单元稀疏的效果,而不是约束隐含单元的平均激活概率期望达到相同的较低稀疏水平.在MNIST数据集的实验表明,AtanRBM比当前相关的模型可以学到更稀疏和更具辨别力的表示形式或表示方法,进而由AtanRBM预训练的深层网络能够获得更好的分类效果.

一种新的基于光滑L_0范数的受限玻尔兹曼机

受限玻尔兹曼机(Restricted Boltzmann machines,RBM)是一种有效的特征提取器,它是深度信念网络的基本组成模块。为了进一步提升RBM的数据表示性能,受人类大脑视觉稀疏表示启发,提出一种新的稀疏RBM,即SmoothRBM。它通过添加一个光滑L_0范数的正则项来直接约束隐层单元的总体激活概率,可以根据不同的学习任务学习到不同的稀疏水平。MNIST数据集上的相关实验表明,SmoothRBM模型与当前的一些优秀模型相比,可以更有效的提取数据集中的特征信息,学习到更稀疏和更具判别力的表示形式。

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络(DBN)采用随机初始化受限玻尔兹曼机(RBM)的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器(SDAE)的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。

基于改进的稀疏深度信念网络的人脸识别方法

由于稀疏表示在人脸识别上的优异表现,大量的研究关注于在深度网络上结合稀疏编码。常用的稀疏深度信念网络限制所有的隐藏单元具有相同的稀疏水平,这不是诱导稀疏表示最自然的方式。针对这个问题,根据压缩感知理论改进原来的稀疏项,添加了一个tan-sigmoid正则项逼近稀疏表示的最优解L0范数。这种方法不限制隐藏单元拥有相同的激活率,每个隐藏单元可以根据不同的任务自动学习到不同的稀疏水平。在ORL、UMIST和FERET人脸库上的识别结果表明,提出的方法与经典的稀疏深度模型相比,获得了很好的特征表示和识别效果。

基于Lorentz函数的稀疏约束RBM模型的算法研究

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种有效的特征提取算法,受视觉皮层稀疏表示的启发,人们试图将稀疏这一概念引入到RBM中,以期学习到原始数据的稀疏表示,提高其特征提取性能。将Lorentz函数引入到RBM中,作为RBM的稀疏约束正则项,构建基于Lorentz函数的稀疏约束RBM模型,将其称之为LRBM模型。对该模型的特征提取性能进行了可视化评价,同时对稀疏度和分类率进行了实验分析;最后将多个LRBM叠加,构造基于LRBM的深度置信网模型并分析该深度网络的性能。实验表明,LRBM模型有效地提取了数据集中的特征信息,在分类效果上较RBM平均提高了2%左右,增强了目标分类的可靠性。

基于CRBMs-RVR的涡轴发动机输出功率衰退预测

针对涡轴发动机全寿命期内输出功率衰退预测问题,提出一种含多层连续受限玻尔兹曼机(CRBMs)深度特征提取的相关向量回归(RVR)功率预测方法。对发动机气路部件测量数据进行重构,利用CRBMs深度网络提取数据深层特征,将特征数据作为RVR模型的输入,实现对输出功率的预测,并对预测结果提供概率分布。以某型双转子涡轴发动机部件级模型为试验对象,模拟全寿命期内发动机气路部件性能退化,对输出功率进行衰退预测。试验结果表明:基于CRBMs-RVR的预测模型与传统的RVR预测模型相比,训练时间缩短30.2%,预测结果的均方根误差减小64.6%;与基于主成分分析(PCA)进行特征提取的PCA-RVR预测模型相比,预测结果均方根误差减小42.4%,验证了所提出的预测方法具有模型结构简单、预测精度高、可提供概率式输出的优点。

基于噪声检测修正和神经网络的稀疏数据推荐算法

协同过滤推荐算法对于含噪声稀疏数据集的推荐性能较弱,为此设计噪声检测修正和神经网络的稀疏数据top-k推荐算法。将用户和项目按评分分别分类为高分类、中等类和低分类,根据分类结果检测评分矩阵的奇异点,对奇异点做简单地修正处理。建立基于兴趣关系的受限玻尔兹曼机模型,将用户对项目的兴趣关系以及项目的次级信息作为条件受限玻尔兹曼机的输入,预测目标用户的top-k推荐列表。基于多个数据集的实验结果表明,该算法有效地提高稀疏数据的推荐性能,并且推荐列表的排序也较为准确。

基于深度置信网络和多维信息融合的变压器故障诊断方法

为了综合多维度信息,快速准确判断变压器缺陷,同时解决多维度信息融合权重难以确定的问题,文中基于深度学习理论,采用稀疏受限玻尔兹曼机搭建了用于故障诊断的深度学习故障分类模型,结合大型变压器的多维度监测量,提出了一种基于深度置信网络和多维度信息融合的变压器故障诊断方法。该方法能够利用变压器海量的无标签多维监测数据作为学习样本,只需对少量带标签数据进行辅助优化,根据变压器实时在线多维监测数据,被训练后的模型能够对变压器本体状态做出准确的故障诊断。对某市220 kV主变进行诊断测试,结果表明,文中提出方法的故障诊断准确率较现有方法高约4%,验证了该方法的可行性和有效性。

一种改进的深度置信网络在交通流预测中的应用

针对现有交通流预测方法忽视对交通流数据自身特征的有效利用以及不能模拟更复杂的数学运算,提出了一种改进深度置信网络(deep belief network,DBN)的交通流预测方法。该方法结合深度置信网络模型与softmax回归作为预测模型,利用连续受限玻尔兹曼机(continuous restricted Boltzmann machines,CRBM)处理输入特征向量,利用自适应学习步长(adaptive learning step,ALS)减少RBM训练网络模型时重建误差所需的时间,用改进的深度置信网络模型进行交通流特征学习,在网络顶层连接softmax回归模型进行流量预测。实验结果表明,在实际的交通流数据预测中,改进的DBN模型的预测准确率以及时间复杂度相比传统预测模型都得到了较好的改善。

改进深度置信网络在城市用水量预测中的应用

城市用水量的准确预测可以为供水管网智能调度、异常报警提供支持,便于及时发现漏损、排查及检修,具有极大的现实意义与经济利益。针对现有用水量预测方法忽视用水量数据自身特征及不能模拟更复杂的数学运算的问题,提出一种改进深度置信网络(DBN)的用水量预测方法。对有高斯分布的连续受限玻尔兹曼机(CRBM)引入稀疏正则项,解决特征同质化现象的同时也适用于用水量数据输入。实验结果表明,在实际用水量预测中,改进DBN模型相比传统神经网络和传统DBN预测模型,预测准确率得到了较大的提高。

基于深度学习编码模型的图像分类方法

针对矢量量化编码的量化误差严重,而稀疏编码只是一种浅层学习模型,容易导致视觉词典对图像特征缺乏选择性的问题,提出了一种基于深度学习特征编码模型的图像分类方法。首先,采用深度学习网络无监督的受限玻尔兹曼机(RBM)代替传统的K-Means聚类及稀疏编码等方法对SIFT特征库进行编码学习,生成视觉词典;其次,对RBM编码添加正则化项分解组合每个特征的稀疏表示,使得生成的视觉单词兼具稀疏性和选择性;然后,利用训练数据的类别标签信息有监督地自上而下对得到的初始视觉词典进行微调,得到图像深度学习表示向量,以此训练SVM分类器并完成图像分类。实验结果表明,本文方法能有效克服传统矢量量化编码及稀疏编码等方法的缺点,有效地提升图像分类性能。

基于Sparse Coding和DBN的敏感图像检测

敏感图像检测,即检测图片是否含有危害青少年健康成长的不良色情信息,对于净化网络环境有重要意义。该文分析了现有的敏感图像检测算法的性能,结合稀疏编码和深度信赖网络,提出了一种改进的敏感图像检测算法。该算法通过稀疏编码来提取特征,将图像切分成标准大小的小图块,然后将其基于字典稀疏表示。接着用max-pooling池化来整合特征,获得最终使用的特征向量。将得到的特征向量输入到DBN网络中进行训练,得到DBN模型。最后将待测图像的特征向量输入到DBN模型中获得分类结果。在文献[10]的数据集上的实验显示,该检测算法较原有算法有较大提升,在以总样本的90%作为训练集时,可获得9.29%的平均错误率。

稀疏交叉熵粗糙集DDRBM-DNNS高校科研能力评估

针对高校科研水平深度学习网络训练评价中存在评价特征同质化现象,造成评估结果精度不高的问题,提出稀疏交叉熵粗糙集双向受限制深度玻尔兹曼机(DDRBM-DNNS)高校科研能力评估方法.首先,考虑采用受限制玻尔兹曼机(RBM)和稀疏交叉熵惩罚参数对深度学习网络进行改进,实现深度学习网络特征训练同质化现象的削弱;同时,针对输入数据的预处理问题,考虑基于粗糙集的前置预处理方式实现,在维持数据输入信息完整前提下,实现输入样本数据的有效归约,进而实现样本处理量的简化,有利于深度学习网络收敛过程的提速;最后,利用所提算法对高校科研水平进行评价,实验数据显示,所提评价模型具备更高的评估精度和更快运算效率.