基于深度玻尔兹曼机的工业机器人齿轮箱故障诊断

在多转速、多载荷的复杂工况下,针对工业机器人齿轮箱的故障信号难以准确识别的问题,提出一种基于深度玻尔兹曼机(deep boltzmann machine,DBM)的故障诊断方法。采用小波包变换(wavelet packet transform,WPT)提取每种故障状态下的原始振动信号的统计特征,将其作为DBM模型的输入,DBM以一种无监督的方式进行预训练,对提取的统计特征进行深度挖掘,得到更抽象的重构故障特征向量,经过Softmax分类器实现故障诊断结果的输出。实验将该方法应用于六自由度工业机器人齿轮箱的故障诊断中,并与目前主流的决策分类方法进行对比分析,结果表明:在单一工况和复杂工况下,采用DBM对工业机器人齿轮箱进行故障诊断分别取得了94%和92.176%的平均识别率,具有更高的准确性和鲁棒性。

基于深度玻尔兹曼机的遥感影像变化检测方法

变化检测在卫片执法工作中具有重要作用,结合人工智能的变化检测方法通常能够适应遥感卫星对地表的短周期重复观测,及时发现地表变化。高分辨率遥感影像蕴含丰富的地物信息,为了更精确地提取其中的地物变化信息,提出了一种基于深度玻尔兹曼机(Deep Boltzmann Machine,DBM)的自监督训练变化检测方法。该方法通过贪婪学习算法学习双时相影像的深层特征,将融合影像光谱和纹理变化的标记作为监督样本输入模型反向微调学习参数,进而提高地物变化信息的提取能力。测试变化检测数据集CD_Data_GZ的实验结果表明,所提方法检测总体准确率达90%,召回率超过60%。经过对照实验分析,该方法对2期遥感影像中变化地物的边缘敏感,能够更为全面地检测各种地表变化,而非只关注个类变化;其检测结果整体优于其他方法,验证了该方法对双时相遥感影像变化检测的有效性和适用性,同时为多光谱遥感影像变化检测流程化应用提供了一种新的方案。

利用深度玻尔兹曼机与典型相关分析的自动图像标注算法

提出一种基于深度玻尔兹曼机与典型相关分析的自动图像标注算法(DBM-CCA)。该算法利用深度玻尔兹曼机实现图像与文本的低层次特征向稀疏高层次抽象概念的转变,并通过典型相关分析建立子空间映射关系以实现标注词汇的生成。首先在深度玻尔兹曼机提取图像与文本高层特征过程中,选用伯努利分布和高斯分布分别拟合标注词汇和图像特征,然后在图像与标注词汇高层特征形成的典型变量空间内计算待标注图像与训练集图像的马氏距离并据此加权计算得到高层标注词汇特征,最后由平均场估计生成图像标注词汇。实验结果表明,所提算法对图像的标注准确率改善较好,与经典的基于监督的多类标签方法和多重伯努利相关模型相比,在Corel5K实验中平均查准率和查全查准均率分别提高了10%和5%。

基于集成深度玻尔兹曼机和最小二乘支持向量回归的燃烧过程NO_x预测算法

通过研究燃烧过程中的火焰自由基图像与NO_x排放之间的关系,提出了集成深度玻尔兹曼机和最小二乘支持向量回归的NO_x预测算法.首先采用深度玻尔兹曼机对4类火焰自由基图像(OH*、CN*、CH*和C*_2)进行自动图像特征学习,然后用最小二乘支持向量回归来拟合图像特征与NO_x排放量之间的关系,进而对NO_x排放量进行预测.结果表明:NO_x排放预测值与NO_x排放参考值具有一致性;与已有的基于图像的NO_x预测算法相比,所提方法在预测精度方面具有明显的优势.

基于深度玻尔兹曼机的文本特征提取研究

鉴于深度学习模型在进行知识推理相关研究时提取抽象概念的优势,在目前对文本特征提取性能较好的浅层结构RSM的基础上构建以RSM为特征抽取器的深度玻尔兹曼机模型.通过新模型的能量函数和网络连接关系,对模型组成单元的后验概率进行推导,并结合新的交叉熵稀疏惩罚因子,给出模型的详细学习算法.经20-newgroups文档集上测试证明,经过交叉熵稀疏惩罚因子影响后的新模型提取出的特征在对文本表征上性能较好,相比于浅层模型RSM,其分类准确度更高,概念更加抽象,在处理大规模文本分析上具有良好的可行性.

条件深度玻尔兹曼机人脸图像分割模型

传统的图像分割方法仅考虑图像的颜色、纹理、位置等底层数据特征,对复杂的人脸图像无法达到理想的分割效果.针对此问题,提出一种基于条件深度玻尔兹曼机的人脸图像分割模型,该模型能够通过深度玻尔兹曼机模型提取类别空间的结构相关性,从而发现复杂输出类别间的关系,为人脸图像分割提供形状先验信息,进而提高图像分割的准确性.文中使用Part Labels人脸数据集进行实验验证,结果表明与传统的逻辑回归、条件随机场、条件受限玻尔兹曼机模型相比,由于本文提出的模型考虑了输出空间结构的高阶相关性,所以能够取得更好的分割效果.

结合滤波和深度玻尔兹曼机重构的指纹增强

指纹图像增强,是自动指纹识别系统中的重要环节.为弥补传统指纹图像增强算法的缺陷,提出一种指纹图像增强算法.在指纹块质量分级机制和复合窗口策略下,指纹图像首先在频域被具有方向选择性的方向高斯带通滤波器滤波增强;随后,二值增强指纹中的误增强区域在空域被具有方向选择性的深度玻尔兹曼机(DBM)重构.提出的方法结合了传统指纹增强算法与深度学习算法的优点,拥有很强的容错能力,能够完成对低质量指纹图像的有效增强.为了验证提出算法的性能,在公开的指纹数据库 FVC2004 上进行了大量实验,实验结果表明,相比于传统的指纹增强算法,提出的方法具有很强的鲁棒性,对高质量和低质量指纹均有不俗的增强表现.

一种基于深度玻尔兹曼机的半监督典型相关分析算法

从模式分类的角度出发,针对典型相关分析(canonical correlation analysis,CCA)算法不适应于高层次关联的缺陷,提出了改进算法。将深度学习理论与典型相关分析算法相结合,基于深度玻尔兹曼机理论提出了一种半监督典型相关分析算法。通过深度玻尔兹曼机提取出样本的显层特征与隐层特征,结合已标注样本的监督信息,构造出最有效的鉴别特征。依据ORL、Yale和AR人脸数据库进行仿真实验,实验结果表明:本文算法与其他的方法相比,具有更好的识别效果。

基于复合优化的深度玻尔兹曼机的路牌文字图像识别算法

为提高自然场景中路牌文字图像的识别率,提出一种复合优化的深度玻尔兹曼机文字识别算法。算法以提高目标概率分布的逼近程度为目的,采用两种抽样初始化方法:灰度初始化抽样与二值初始化抽样,构造受限玻尔兹曼机,并由两种初始化方法的受限玻尔兹曼机交叠构成深度玻尔兹曼机。文中提出复合共轭梯度法改进深度玻尔兹曼机的微调算法。实验结果表明,使用文中获取的路牌文字数据,所提算法能够对路牌文字实现较理想的识别效果。与原深度玻尔兹曼机相比,识别率取得有效提高。

基于深度玻尔兹曼机的乐器分类问题研究

应用传统浅层模型处理乐器分类任务存在非线性拟合能力较差的问题,使分类准确率得不到有效保证,有必要引入深度学习方法来提升复杂任务的非线性建模能力。将深度玻尔兹曼机作为特征提取器提取表达能力更强的数据特征,分别以SVM与softmax分类器作为深度神经网络的顶层设置形成DBM+SVM组合模型与DBM+softmax组合模型,引入平均场理论和动量项因子优化网络训练过程。将上述两组模型及单一SVM分类器在五类乐器音频数据上进行对比实验,两种深度学习组合模型的分类准确率分别达到89.29%和87.5%,与传统浅层分类方法SVM的73.21%的准确率相比优势明显。实验结果表明深度玻尔兹曼机在乐器分类领域的应用颇具前景。

深度玻尔兹曼机在图像融合中的应用

针对可见光与红外图像融合时出现的特征信息提取不足等问题,提出了一种基于非下采样剪切波变换(NSST)与深度玻尔兹曼机(DBM)的可见光与红外图像融合方法。首先,利用DBM实现红外图像的最优能量分割以提取其中的显著红外目标;其次,将分割得到的显著目标区域与背景区域分别投影至源图像,获得相关映射图;最后,使用NSST分别对可见光图像与红外投影图像进行多尺度、多方向稀疏分解,对源图像的一系列子图像进行融合,并采取NSST反变换重构获得最终融合图像。仿真实验结果表明:与现有的3种经典方法相比,本文方法在信息熵方面高于轮廓波变换法约4.1%,在平均梯度方面高于NSST法约1.0%,在互信息方面高于NSCT法约3.8%。获得的融合图像具有较高的对比度和丰富的细节信息。

基于深度玻尔兹曼机的图像多特征融合

针对在图像分类中使用单一特征难以对图像描述全面的问题,借鉴于不同的图像特征之间存在较强的互补性的情况,结合深度学习模型,提出了一种基于深度玻尔兹曼机的图像多特征融合机制。图像特征采用常用的局部特征描述子SIFT和全局颜色特征HSV直方图,通过不同的受限玻尔兹曼机模型分别对其提取中间层特征,以在其基础上构建深度玻尔兹曼机,并给出了模型详细的训练方法,实现两种图像特征的无监督融合。经Corel图像库实验证明:运用此模型对图像不同特征的融合是可行的,并且经过融合后产生的新特征吸收了单一特征对于图像分类的优势,在图像分类上其效果比单一特征的效果高于10%以上。

改进卷积玻尔兹曼机的图像特征深度提取

针对卷积深度和信念网络存在计算复杂度高和训练缓慢的问题,提出卷积深度玻尔兹曼机用于图像特征提取.针对卷积受限玻尔兹曼机进行改进,提出最大化图像中间区域概率的训练目标函数,并引入性能较好的交叉熵稀疏惩罚因子和dropout训练方法.设计卷积深度玻尔兹曼机结构,提出均值聚合机制,将聚合层内点的值定义为block中各点激活概率均值,对层间关联进行简化,将聚合层内各面直接叠加以供高层CRBM提取特征.通过在MNIST手写数字识别集上的实验结果证明,采用新模型提取的图像特征分类准确率提高0.5%、训练时间减少50%,且达到了目前MNIST数据集的最佳水平.

基于深度玻尔兹曼机的蛋白质相互作用预测

本文针对传统蛋白质相互作用预测模型预测精度不够高的问题,提出一种改进的深度玻尔兹曼机(DBM)模型以更精确地预测蛋白质的相互作用。首先,将多尺度特征组提取和自协方差编码方法结合编码序列特征,并利用DBM自动筛选有效特征。同时,为了避免采用sigmoid或tanh激活函数在深度网络中出现过饱和的问题,本文采用Re LU改进的深度玻尔兹曼机(RBM),使网络具备稀疏性,从而避免模型过拟合,加快收敛速度。在酵母菌PPIs数据集上,本文算法达到了92.27%的准确率,优于传统的方法。

基于权值不确定性的玻尔兹曼机算法

受限制的玻尔兹曼机(RBM)是一种无向图模型.基于RBM的深度学习模型包括深度置信网(DBN)和深度玻尔兹曼机(DBM)等.在神经网络和RBM的训练过程中,过拟合问题是一个比较常见的问题.针对神经网络的训练,权值随机变量(weight random variables)、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先,改变RBM模型中的训练参数,使用随机变量代替传统的实值变量,构建了基于随机权值的受限的波尔兹曼机(weight uncertainty RBM,简称WRBM),接下来,在WRBM基础上构建了相应的深度模型:Weight uncertainty Deep Belief Network(WDBN)和Weight uncertainty Deep Boltzmann Machine(WDBM),并且通过实验验证了WDBN和WDBM的有效性.最后,为了更好地建模输入图像,引入基于条件高斯分布的RBM模型,构建了基于spike-and-slab RBM(ssRBM)的深度模型,并通过实验验证了模型的有效性.

基于深度卷积限制玻尔兹曼机的步态识别

传统的步态识别方法难以得到有效的步态特征,而深度学习方法可以通过学习自动获得特征,然而现有的深度学习模型用于步态识别时存在一些问题。深度卷积神经网络训练速度快,但训练精度较低;深度置信网络模型精度较高,但模型收敛速度较慢。针对这两种模型的特点,提出一种两者平衡的算法模型,即深度卷积限制玻尔兹曼机。将卷积神经网络中权值共享、提取图像局部特征等方面的优势融入深度玻尔兹曼机模型中,提高训练精度,减少参数数量。所提算法在CASIA步态数据库上的实验结果验证了该算法在步态识别问题上的有效性和可行性。

基于深度受限玻尔兹曼机的个性化推荐算法

为了提高个性化推荐系统性能,提出了一种基于深度受限玻尔兹曼机的个性化推荐方法。首先通过提取推荐系统的用户和资源特征构建多层受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络,从而形成深度受限玻尔兹曼机个性化推荐模型;其次通过可视和隐藏层的边缘概率分布求解待推荐训练样本的最大似然度;然后结合对比散度(Contrast divergence,CD)重构来获得RBM主要参数更新方式,并通过可视和隐藏层的正反向更新,来获得稳定的RBM结构;最后利用计算用户资源评分值实现个性化推荐。实验结果表明,在训练样本稀疏度合理范围内,与常用个性化推荐算法比较,所提方法通过合理控制RBM深度和设置合适的隐藏层节点数,能够获得更优的均方根误差(Root mean squared error,RMSE)性能。

随机受限玻尔兹曼机组设计

为提高受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)数据学习能力和抑制训练的特征同质化问题,提出一种随机受限玻尔兹曼机组(Random-RBM Group,R-RBMG)设计.对观测数据进行随机维度组合,在随机维度组合的基础上构建子RBM群组并实施训练,随后依据神经网络的层数选择模型特征组合方式,针对浅层结构设置为均值组合方式,针对深层模型设置为隐单元叠加方式.理论分析表明,随着组内模型数目的增加,R-RBMG所要学习的训练目标将逐渐接近于标准RBM的训练目标,并且能够有效减少特征同质化带来的影响;实验结果表明,与衰落机制相比,R-RBMG能够有效提高RBM的特征学习能力,应用所组建的浅层结构和深层结构特征,将MNIST(Mixed National Institute of Standards and Technology)数据库实验的分类准确率分别提高了2%和0.4%.

基于深度形状先验的高分辨率SAR飞机目标重建

目标重建是合成孔径雷达图像分析中的重要研究内容。该文提出了一种新的基于深度形状先验的高分辨率合成孔径雷达图像飞机目标重建方法。该方法分为两个阶段,在形状先验建模阶段,利用产生式的深度玻尔兹曼机模型进行深度形状先验建模;在目标重建阶段,提出了一种新的目标重建框架,该框架将深度形状先验作为约束融入重建过程中。为了解决目标旋转问题,该文提出了一种新的姿态估计方法获取目标的候选姿态,避免了姿态的穷举搜索。除此之外,该文构造了融合散射区域项和形状先验项的能量函数,并利用迭代优化算法进行函数优化,从而获取目标重建结果。该文提出的方法框架是首次利用深度形状先验在高分辨率合成孔径雷达图像中实现复杂目标的重建。在Terra SAR-X数据集上的实验结果表明,该文提出的方法具有较高的重建精度和鲁棒性。

深度学习研究综述

鉴于深度学习在学术界和工业界的重要性,依据数据流向对目前有代表性的深度学习算法进行归纳和总结,综述了不同类型深度网络的结构及特点.首先介绍了深度学习的概念;然后根据深度学习算法的结构特征,概述了前馈深度网络、反馈深度网络和双向深度网络3类主流深度学习算法的网络结构和训练方法;最后介绍了深度学习算法在不同数据处理中的最新应用现状及其发展趋势.可以看到:深度学习在不同应用领域都取得了明显的优势,但仍存在需要进一步探索的问题,如无标记数据的特征学习、网络模型规模与训练速度精度之间的权衡、与其他方法的融合等.