基于高斯受限玻尔兹曼机的非线性过程故障检测

针对非线性工业过程,提出了一种基于高斯受限玻尔兹曼机(GRBM)模型的故障检测方法.该方法从海量过程数据中提取出GRBM隐层特征信息,通过隐层特征再构建出重构数据,并依据重构误差在残差空间中构建检测统计量,形成了非线性过程故障检测算法.仿真结果表明,基于GRBM的故障检测方法不仅比传统的核主元分析(KPCA)方法具有更好的故障检出率,并且针对大数据量问题具有更强的处理能力.

基于LSTM-GRBM的云虚拟机异常检测

本文提出了一种对云虚拟机进行异常检测的模型LsGrbmAd.该模型首先通过长短期记忆网络(LSTM)捕获云虚拟机性能指标的时序特征,同时利用Dropout以防止数据过拟合;其次利用高斯玻尔兹曼机(GRBM)得出自由能;最后利用得出的自由能与训练阶段得到的参数基准模型进行对比,判断云虚拟机是否出现异常.实验表明该模型能够对云虚拟机进行异常检测,且准确率有较大的提升.

基于改进深度信念网络的旋转机械故障诊断研究

旋转机械装备轴承、齿轮箱等关键对象的健康状态监测正在步入大数据、智能化时代。传统的轴承故障诊断方法大多数依靠人工提取特征,需要依赖于复杂的信号处理方法以及丰富的专业经验积累,因此将改进的深度信念网络(Deep belief network,DBN)引入到故障诊断领域中:引入高斯-伯努利受限玻尔兹曼机模型(Gauss-Bernoulli Restricted Boltzmann Machine,GB-RBM)解决传统受限玻尔兹曼机输入向量受限于伯努利二值分布且对于非二项分布的数据重构拟合效果较差的问题;引入Dropout技术提高算法泛化能力并采用Adam优化器加快模型收敛速度以解决反向微调阶段随机梯度下降法收敛速度慢且容易陷入局部最优解的问题。试验结果表明,相较于传统深度信念网络,提出的GBRBM-DBN模型收敛速度更快、分类效果更好。

用于Android手机活动识别的深度重构模型

基于数据的流形假设,进行了Android手机的活动识别研究,提出了一种深度重构模型(DRMs),该模型无需基础几何的先验假设就能自动学习到当前类样本的复杂非线性曲面结构和几何特点。首先定义了一个深度重构模型(DRM)模板,通过高斯受限玻尔兹曼机(GRBMs)逐层贪婪训练以初始化DRM模板的权重。在训练阶段,根据每类样本分别微调初始化后的DRM模板便可得到特定类的DRM。在测试阶段,基于测试样本与特定类DRM的最小重构误差决策活动类别。实验证明,该方法对Android手机数据集的活动识别正确率高达99%。

一种自适应的高维离群点识别方法

针对传统的基于距离的离群点识别方法难以直接有效地应用于高维数据且识别效果受参数影响的问题,本文提出了一种自适应的高维离群点识别方法,该方法利用经遗传算法优化的高斯受限玻尔兹曼机将高维数据非线性地映射到低维空间,然后通过自适应的离群点识别方法在低维数据空间进行离群点识别。采用UCI高维数据和中药高维数据进行验证实验,实验结果表明自适应的高维离群点识别方法能自适应地、有效地识别出高维数据中的离群点。

基于改进对比散度的GRBM语音识别

对比散度作为训练受限波尔兹曼机模型的主流技术之一,在实验训练中具有较好的测试效果。通过结合指数平均数指标算法和并行回火的思想,提出一种改进对比散度的训练算法,包括模型参数的更新和样本数据的采样,并将改进后的训练算法应用于高斯伯努利受限玻尔兹曼机(GRBM)中训练语音识别模型参数。在TI-Digits数字语音训练和数字测试数据库上的实验结果表明,采用改进的对比散度训练的GRBM明显优于传统的模型训练算法,语音识别率能够达到80%左右,最高提升7%左右,而且应用改进算法训练的其他GRBM对比模型的语音识别率也都有所提高,具有较好的识别性能。

基于并行回火改进的GRBM的语音识别

为提高连续语音识别中的识别准确率,采用高斯伯努利受限玻尔兹曼机进行语音训练和识别。通过结合并行回火算法的思想,采样、交换不同的温度链下的重构数据,实现在全局范围内对整个分布进行采样,提出一种基于并行回火改进的高斯伯努利受限玻尔兹曼机(GRBM-PT)的建模方法。该方法通过对语音信号的连续数据进行预训练分析、建模,最后使用支持向量机作为语音识别的分类器。在TI-Digits数字语音训练和数字测试数据库上的实验结果表明,语音识别率能够达到83.14%,基于GRBM-PT模型下的语音识别率明显优于RBM,RBM-PT以及GRBM模型的性能。

一种改进DBSCAN特征聚类的学习者类画像方法

针对传统聚类算法在学习者群体划分时存在的问题,提出一种基于改进DBSCAN特征聚类的学习者类画像方法。首先,在分析学习者行为数据的基础上,采用改进的PCA-GRBM算法进行多维特征提取;然后充分利用同类学习者在答题过程中的相似性,在经典DBSCAN算法中引用以斯皮尔曼相关系数为度量的多重聚类步骤,提出改进的S-DBSCAN多重特征聚类算法;最后将其应用于学习者类画像的构建中,并对得到的学习者群体特点进行了分析。实验表明,提出的方法有效地提取了学习者类别特征,聚类结果取得了最小的戴维森堡丁指数,适合对学习者类进行画像研究。

基于集成深度学习的时间序列预测模型

基于高斯过程的条件受限玻尔兹曼机(GCRBM)时序模型可以很好的预测单一种类时序数据,但是该模型难以预测多类别的真实高维数据。针对这个问题,提出基于集成深度学习的时间序列预测模型,对多类时序对应训练多个深可信网络(deep belief networks,DBN)模型来学习低维特征,利用低维特征对应训练多个GCRBM时序模型。预测时序时先通过训练出的一组DBN模型对目标数据进行降维并通过重建误差识别类别,然后通过识别到的类别所对应的GCRBM模型预测目标数据的后期时序。在CASIA-A步态数据集上的试验结果表明:本方法能够准确识别出步态序列,而且预测结果能够模拟出真实的步态序列,证实了本模型的有效性。

一种集成卷积神经网络和深信网的步态识别与模拟方法

针对高斯过程的条件受限玻尔兹曼机(Gaussian-based conditional restricted Boltzmann machine,GCRBM)时序模型可以对单一种类的步态时序数据进行很好的预测,但对多类步态时序数据难以识别和预测的问题,提出一种集成卷积神经网络(convolutional neural network,CNN)和深信网(deep belief network,DBN)的步态识别与模拟方法。利用所有类步态数据训练多个不同结构的CNNs模型,利用多类数据训练多个DBNs模型学习低维特征,并通过低维特征训练多个GCRBMs模型。在步态识别与模拟时,CNNs分类器通过投票法确定步态数据的类别;通过识别到的类所对应的DBNs模型低维特征作为对应GCRBM s模型的输入预测目标数据的后期时序低维特征;利用DBNs重构阶段将后期时序低维特征模拟出步态图像。在CASIA系列步态数据集上的试验结果表明:与支持向量机(support vector machine,SVM)、集成DBN和CNN等方法相比,本研究方法的识别率有一定的提高,提出的模型能够根据步态时序预测结果模拟出真实的步态序列图像,证实了模型的有效性。

基于Dropout深度信念网络的棉和涤纶含量的近红外光谱检测

将近红外光谱技术与深度学习理论相结合,提出了一种基于Dropout深度信念网络(DBN)的棉涤混纺面料中各组分含量的快速检测方法。首先使用小波变换对原始光谱数据进行压缩处理,再构建以高斯受限玻尔兹曼机(GRBM)为核心的DBN模型,以保证输入数据信息的完整性;然后利用Dropout来防止模型过拟合,通过隐藏部分隐含层节点来减小节点之间的相互依赖,实现网络的稀疏化处理,提高了非线性建模和网络模型的泛化能力。实验结果表明:对于采用Dropout-DBN方法建立的棉涤混纺面料中各组分含量的分析模型,其棉、涤纶含量的预测集相关系数分别为0.9927和0.9903,预测集均方根误差分别为0.0792和0.0869。与其他建模方法相比,所建模型的精度和适应性显著提高,并有利于模型的传递与共享,提高了模型的智能化。