受限玻尔兹曼机研究综述

概率图模型是目前机器学习研究的热点,基于概率图模型构造的生成模型已广泛应用于图像和语音处理等领域。受限玻尔兹曼机(restricted Boltzmann machines,简称RBMs)是一种概率无向图,在建模数据分布方面有重要的研究价值,RBMs既可以结合卷积算子构造深度判别模型,为深度网络提供统计力学的理论支持,也可以结合有向图构建生成模型,提供具有多峰分布的先验信息。主要综述了以RBMs为基础的概率图模型的相关研究。首先介绍了基于RBMs的机器学习模型的基本概念和训练算法,并讨论了基于极大似然估计的各训练算法的联系,比较了各算法的log似然损失;其次,综述了RBMs模型最新的研究进展,包括在目标函数中引入对抗损失和W距离,并构造基于RBMs先验的变分自编码模型(variational autoencoders,简称VAEs)、基于对抗损失的RBMs模型,并讨论了各实值RBMs模型之间的联系和区别;最后,综述了以RBMs为基础的模型在深度学习中的应用,并讨论了神经网络和RBMs模型在研究中存在的问题及未来的研究方向。

基于深度置信网络的管网泄漏故障诊断方法研究

针对当前管网系统数据量大不利于传统模型方法诊断故障的问题,设计了1种基于深度置信网络的管网故障诊断算法。首先,对管网数据结构以及管网系统运行状态进行分析,选取管网主要数据作为故障诊断网络的输入,确定相应运行状态作为诊断网络输出;其次,设计了基于多个受限制玻尔兹曼机与Softmax分类器级联的深度置信网络,并且利用对比散度算法和BP算法对模型进行预训练与调优,使模型参数达到全局最优;最后,通过实验测试确定所设计的深度置信网络的训练迭代次数与网络层数,使算法诊断准确率达到最优。研究结果表明:提出的基于深度置信网络的管网故障诊断算法对管网故障诊断可以达到良好的诊断结果,泄漏预测准确率在验证集样本上可达96.87%,在管网泄漏检测方面,相较于传统基于模型的方法优势明显。

DBN在中文文本分类中的应用

为提高中文文本的分类效果,提出基于深度置信网络的中文文本分类模型,分别以文本的TF-IDF和LSI特征作为输入,利用深度置信网络强大的特征学习能力获取深层次特征,提高最终的分类效果。实验结果表明,LSI特征更适合作为深度置信网络文本分类模型的输入,相比SVM等浅层模型,深度置信网络在中文文本分类任务中更加有效,经过合理的训练和参数设置可以取得比SVM模型更好的分类效果,分类准确率提高了3.4%。