一类基于非线性PCA和深度置信网络的混合分类器及其在PM2.5浓度预测和影响因素诊断中的应用

传统的深度置信网络(Deep brief networks,DBN)在建立高维数据分类模型时,往往存在网络负荷大,运算复杂度高等问题.本文首先基于非线性PCA(NPCA)对高维样本数据进行降维,然后以提取到的非线性特征作为DBN的网络输入,构建了一类含非线性特征提取预处理机制的DBN分类器.并从信息熵理论的角度出发,证明了所提改进DBN分类器在网络结构和算法复杂度方面的优势.通过一个PM2.5浓度预测与影响因素诊断实例,验证了所提改进DBN在一类分类和影响因素诊断问题中的应用,并与传统的分类器进行对比,显示了所提方法在建模精度及收敛速度上的优势.

基于优化正交匹配追踪和深度置信网的声音识别

针对各种环境声音对声音事件识别的影响,提出一种基于优化的正交匹配追踪(OOMP)和深度置信网(DBN)的声音事件识别方法。首先,利用粒子群优化(PSO)算法优化OMP稀疏分解,在实现正交匹配追踪(OMP)的快速稀疏分解的同时,保留声音信号的主体部分,抑制噪声对声音信号的影响;接着,对重构声音信号提取Mel频率倒谱系数(MFCC)、OMP时-频特征和基音频率(Pitch)特征,组成OOMP的复合特征;最后,使用DBN对提取的OOMP特征进行特征学习,并对40种声音事件在不同环境不同信噪比下进行识别。实验结果表明,OOMP特征结合DBN的方法适用于各种环境声下的声音事件识别,而且能有效地识别各种环境下的声音事件,即使在信噪比(SNR)为0 d B的情况下,仍然能保持平均60%的识别率。

深度置信网络对孤立性肺结节良恶性的分类

针对肺部CT图像中孤立性肺结节(SPN)良恶性分类问题,寻求能够有效表示SPN图像的特征,通过适合的分类器实现对SPN良恶性的准确判别。由SPN图像的多分辨率直方图得到768维的特征空间,并将该类特征用于支持向量机(support vector machine,SVM)分类器进行训练,最后取得了令人满意的分类效果。结合深度学习领域中相关知识,将深度置信网络(deep belief network,DBN)用于SPN良恶性分类任务当中。将从肺部CT图像中分割出的SPN图像规整化作为DBN的输入,进行无监督训练;用带有良恶性类标的SPN图像对网络进行微调得到最终的DBN模型;用训练好的DBN模型在测试图像集上进行分类。在实验中选择肺结节患者480例,提取600个SPN图像作为实验数据。将新提出的DBN模型与基于纹理特征和多分辨率直方图特征的SVM模型进行对比,在不考虑医学象征的情况下,DBN模型的识别准确率高达86%,较SVM分类器的分类性能有了显著提升。

基于深度置信网络的语义相关度计算模型

语义相关度是问答系统等领域的关键技术之一,目前的相关度计算方法往往对语义因素考虑不全,造成计算结果的准确度不足。由受限玻尔兹曼机构造的深度置信网是一种深度学习模型,能模仿人类大脑抽象语义特征,由此提出了一种基于深度置信网络的语义相关度计算模型。首先,对组成模型的受限玻尔兹曼机进行介绍;然后,详细阐述了模型的构建及其训练和微调过程;最后,通过对比实验验证了提出的计算模型相对基准方法在评价指标上获得了更好的效果。

基于深度置信网的房屋价格预测模型研究

针对房屋价格不断变化的特点,介绍了一种基于大数据方法采用深度置信网络结构建立的房屋价格预测模型。该模型通过对影响房屋价格的多种因素与房屋价格关联深度的学习进行预测,可以辅助进行房屋价格变化预测的研究,其所用的数据是过去多年公开的房屋市场中已经成交的1 461套房屋的价格数据,并与机器学习领域中经典的偏最小二乘、人工神经网络、支持向量机模型的对比实验预测结果进行验证。结果表明,该模型在房屋价格预测上能够取得较准确的结果,能够有效进行房屋价格预测。

深度学习研究进展

深度学习(Deep Learning)是一个近几年备受关注的研究领域,在机器学习中起着重要的作用。如果说浅层学习是机器学习的一次浪潮,那么深度学习作为机器学习的一个新领域,将掀起机器学习的又一次浪潮。深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取,从而能够解释外部数据。首先介绍了深度学习的由来,分析了浅层学习存在的弊端;其次列举了深度学习的经典方法,主要以监督学习和无监督学习来展开介绍;然后对深度学习的最新研究进展及其应用进行了综述;最后总结了深度学习发展所面临的问题。

深度学习:开启大数据时代的钥匙

随着大数据时代的到来,基于深度学习技术的机器学习方法被用于有效地分析和处理这些数据。本文首先概述了深度学习技术的由来,对比了浅层结构与深度结构模型的差异,分析了深度结构模型在大数据应用中的优势;认为深度学习取得成功的条件是,大规模训练数据集的支撑、先进的硬件平台支持、新的优化技术的提出;基于计算机视觉应用,从有监督特征学习和无监督特征学习两个方面分别介绍了当前深度学习研究的现状和典型的深度结构模型的基本原理和主要应用;针对当前深度学习的发展现状,总结了深度学习研究存在的挑战和未来的研究方向。

深度学习在水利行业上的应用综述

作为机器学习的重要分支,深度学习在图像智能分析、语音识别等领域上表现出卓越的优势,在水利行业上也有着广泛的应用前景。阐述了深度学习的发展历程,介绍了深度学习中应用最为广泛的三种算法:卷积神经网络、深度置信网和堆叠自动编码器,结合现阶段深度学习在水利行业中的应用,分别从遥感影像分类、水质分析预测与水文预报三个方面给进行综述。最后针对深度学习在水利行业中应用存在的问题和未来趋势进行了分析与展望。

基于MLP-DBN模型的构造煤分布预测策略分析

构造煤分布情况对煤矿开采活动的安全具有重要意义,为了实现构造煤分布情况的准确预测,以构造煤层的地震属性信息特点为依据,提出了基于深度置信网和多层感知器的构造煤分布预测模型。实验结果显示,多层感知器—深度置信网模型在噪声数据集和无噪声数据集中的拟合度分别为0.965、0.996。与其他模型相比,多层感知器—深度置信网模型平均决定系数和平均解释方差得分分别为0.963、0.87,均高于其他模型;平均均方误差和平均均方根误差分别为0.006、0.078,均低于其他模型。上述结果表明,基于MLP-DBN的构造煤分布预测模型能更准确地对构造煤分布情况进行预测,预测结果与实际情况的拟合度更高,为煤层瓦斯的超前治理提供了有力支持。

深度学习在遥感影像分类中的研究进展

随着遥感技术和计算机技术的不断发展,传统的遥感影像分类方法已不能满足如今遥感影像分类的需求。近年来,随着深度学习方面研究成果的不断涌现,它给遥感影像的分类提供了一种新的思路和方法。首先概述了遥感影像分类的发展和深度学习的基本概念,然后重点介绍了基于深度置信网、卷积神经网络和栈式自动编码器等深度学习模型在遥感影像分类中的研究进展,最后提出了目前研究中存在的问题及遥感影像分类的发展趋势。

一种改进的BP神经网络在手写体识别上的应用

传统的浅层学习神经网络虽然结构简单,算法速度快,但错误率较高,且容易陷入局部最小。文中采用深度结构的深度置信网,优化基于传统BP神经网的初始值,以获得较好的检测结果,并利用Dropout技术改进BP网络隐层单元,获得较快的运算速度。实验证明,经过DBN和Dropout改善后的网络错误率有明显降低,并且算法实时性得到了一定改善。

基于提升小波和深度学习的掌纹识别

针对从少量样本中学习图像本质特征的关键问题,提出一种基于深度学习的二次特征提取的掌纹识别方法。采用提升小波与深度学习结合的思想,将掌纹图像首先进行提升小波变换,获取图像的局部细节信息作为深度置信网的输入,然后通过自顶向下的无监督的训练和自底向上的有监督训练,获得最优的网络参数,最后进行分类预测。实验对比传统算法(PCA,LBP)以及基于像素级的DBN算法,得到较高的识别率,将提升小波获取的初始特征经过深度学习二次特征提取可有效地获取较稳的掌纹识别特征,特别在样本较少的情况下,优势尤为显著。

基于深度学习的地空导弹发射区解算方法

针对传统发射区解算多项式拟合方法存在多项式函数难确定、函数分段范围难把握的问题,采用了BP神经网络(BPNN)实现数据整体拟合。当数据量大且复杂时,拓展神经网络的深度不能完整学习数据特征。针对该问题,引入了深度置信网(DBN)。在DBN仿真训练中,选用双隐层网络结构,随着隐单元数的增加,拟合性能有较明显提升。仿真结果表明,深度学习方法更适用于大数据环境下的深度神经网络架构,可应用于地空导弹发射区解算。

DBN网络在语音质量评估中的应用

针对传统的语音质量评估中主观MOS分与失真测度拟合形式过于简单,无法表现语音质量与失真距离之间复杂的听觉关系这一缺点,提出了一种基于深度置信网络的语音质量评估方法。该方法首先对语音样本进行预处理,之后提取Mel特征参数,利用深度置信网学习特征参数失真测度与主观MOS分之间的关系,从而完成语音质量的评估。实验结果表明,基于该算法的语音质量评估效果好于传统的评估算法与基于BP网络的评估算法。

一种基于DBN的高光谱遥感图像分类方法

高光谱遥感数据越来越普及并为人们广泛使用,基于高光谱数据的地面物体精确分类是高光谱遥感技术的核心应用之一。对高光谱数据进行提特征提取是进行地物分类的有效方法。深度学习是机器学习研究中的新领域,它多隐层的多层感知器结构使其能够学习到对数据有更本质的刻画的特征,在图像分类和可视化领域取得了更好的成绩。深度置信网(deep belief network,DBN)是深度学习网络中常见的模型。利用高光谱数据的高维特性,搭建基于DBN的高光谱图像分类模型,结合高光谱数据的空间结构对地物进行分类。实验表明,基于DBN的高光谱图像分类方法可以得到更好的分类效果。

基于权值不确定性的玻尔兹曼机算法

受限制的玻尔兹曼机(RBM)是一种无向图模型.基于RBM的深度学习模型包括深度置信网(DBN)和深度玻尔兹曼机(DBM)等.在神经网络和RBM的训练过程中,过拟合问题是一个比较常见的问题.针对神经网络的训练,权值随机变量(weight random variables)、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先,改变RBM模型中的训练参数,使用随机变量代替传统的实值变量,构建了基于随机权值的受限的波尔兹曼机(weight uncertainty RBM,简称WRBM),接下来,在WRBM基础上构建了相应的深度模型:Weight uncertainty Deep Belief Network(WDBN)和Weight uncertainty Deep Boltzmann Machine(WDBM),并且通过实验验证了WDBN和WDBM的有效性.最后,为了更好地建模输入图像,引入基于条件高斯分布的RBM模型,构建了基于spike-and-slab RBM(ssRBM)的深度模型,并通过实验验证了模型的有效性.

基于Q-Learning算法的建筑能耗预测

提出一种基于Q-learning算法的建筑能耗预测方法.通过将建筑能耗预测问题建模为一个标准的马尔科夫决策过程,利用深度置信网对建筑能耗进行状态建模,结合Q-learning算法,实现对建筑能耗的实时预测.通过美国巴尔的摩燃气和电力公司公开的建筑能耗数据进行测试实验,结果表明,基于本文所提出的模型,利用Qlearning算法可以实现对建筑能耗的有效预测,并在此基础上,基于深度置信网的Q-learning算法具有更高的预测精度.此外,实验部分还进一步验证了算法中相关参数对实验性能的影响.

DBN融合模型对脱机手写汉字识别

针对脱机手写汉字识别问题,提出一种新的分类器级联识别模型。新模型将修正的二次判别函数(modified quadratic discriminant function,MQDF)与深度置信网络(deep belief network,DBN)相融合,利用MQDF先进行识别并得出结果,同时计算一个该识别结果的可信度,通过这个可信度对识别结果进行判别,若可信度符合要求,则MQDF的识别结果可作为最终结果直接输出,否则再与DBN结合进行二次识别,得到最终的识别结果。实验结果表明,在ETL-9B手写汉字数据集上进行的脱机手写汉字识别任务中,使用MQDF与DBN融合模型,可以取得比单独使用MQDF和DBN更好的准确率。

优化正交匹配追踪和短时谱估计用于声音识别

声音事件识别时受到各种环境声的影响,采用优化正交匹配跟踪(Orthogonal Matching Pursuit,OMP)和短时谱估计对声音信号进行二次重构,能有效提高识别性能。采用粒子群算法(Particle Swarm Optimization,PSO)优化OMP稀疏分解作首次重构,保留声音信号的主体;采用短时谱估计对首次重构后的残余信号作声音增强处理,完成二次重构,去除非平稳噪声和提高重构声音信号的精度;对重构信号提取梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)特征、优化OMP时-频特征和基频(Pitch)特征,组成复合抗噪特征集OOMP;使用深度置信网络(Deep Belief Network,DBN)对OOMP特征进行学习,并对40种声音事件在不同环境不同信噪比下进行识别。实验结果表明,该方法在不同信噪比的各种环境声中平均识别率为70.44%,且在-5 dB的情况下仍然可以达到49.90%的识别率,从而说明所提方法能有效地识别各种环境下的声音事件。

基于WRF数值模式的DBN风速预测模型研究

为提高天气研究和预报(Weather Research and Forecasting,WRF)数值模式风速预报的准确度,引入深度置信网络(Deep Belief Nets,DBN),构建了基于WRF数值模型的DBN风速预测模型。利用WRF数值模式进行风速预报,将预报结果与70m高的测风塔实际数据作为网络的输入对深度信念网络进行逐层训练,在Matlab平台上建立DBN风速预测模型并进行仿真。经验证:基于WRF数值模式的DBN风速预测模型的相对均方根误差为11.03%,比支持向量机(Support Vector Machine,SVM)预测模型降低了4.41%。实验结果表明:该模型能很好地预测风速并且得到了较高的预测精度。