基于深度卷积限制玻尔兹曼机的步态识别

传统的步态识别方法难以得到有效的步态特征,而深度学习方法可以通过学习自动获得特征,然而现有的深度学习模型用于步态识别时存在一些问题。深度卷积神经网络训练速度快,但训练精度较低;深度置信网络模型精度较高,但模型收敛速度较慢。针对这两种模型的特点,提出一种两者平衡的算法模型,即深度卷积限制玻尔兹曼机。将卷积神经网络中权值共享、提取图像局部特征等方面的优势融入深度玻尔兹曼机模型中,提高训练精度,减少参数数量。所提算法在CASIA步态数据库上的实验结果验证了该算法在步态识别问题上的有效性和可行性。

改进卷积玻尔兹曼机的图像特征深度提取

针对卷积深度和信念网络存在计算复杂度高和训练缓慢的问题,提出卷积深度玻尔兹曼机用于图像特征提取.针对卷积受限玻尔兹曼机进行改进,提出最大化图像中间区域概率的训练目标函数,并引入性能较好的交叉熵稀疏惩罚因子和dropout训练方法.设计卷积深度玻尔兹曼机结构,提出均值聚合机制,将聚合层内点的值定义为block中各点激活概率均值,对层间关联进行简化,将聚合层内各面直接叠加以供高层CRBM提取特征.通过在MNIST手写数字识别集上的实验结果证明,采用新模型提取的图像特征分类准确率提高0.5%、训练时间减少50%,且达到了目前MNIST数据集的最佳水平.

基于快速持续对比散度的卷积受限玻尔兹曼机

受限玻尔兹曼机是深度学习中的重要模型,以其为基础的卷积受限玻尔兹曼机模型被广泛应用于图像处理与语音识别等领域,但其存在训练时间过长的问题。为此,使用快速持续对比散度(FPCD)算法对卷积受限玻尔兹曼机进行学习,从而提高模型的学习速度和分类精度。实验结果表明,与PCD,CD_1等算法相比,FPCD算法可有效提高卷积受限玻尔兹曼机的分类性能。

基于限制玻尔兹曼机的无极性标注情感分类研究

已有的网络评论情感分类算法都需要手工标注词汇情感倾向,然而网络评论具有表达形式自由、模式多变、词汇更新速度快等特点,手工标注的方式适应能力较低。为解决上述问题,结合限制玻尔兹曼机和相似差异向量运算,通过降低向量相似度,强调其差异性的方式,提出基于限制玻尔兹曼机的无词汇标注情感分类算法。实验表明,该算法虽褒义精确度稍低于支持向量机,但是在贬义精确度上优于支持向量机,并且不需要进行词汇情感倾向标注,降低了算法的复杂度,提高了泛化能力。

受限玻尔兹曼机研究综述

概率图模型是目前机器学习研究的热点,基于概率图模型构造的生成模型已广泛应用于图像和语音处理等领域。受限玻尔兹曼机(restricted Boltzmann machines,简称RBMs)是一种概率无向图,在建模数据分布方面有重要的研究价值,RBMs既可以结合卷积算子构造深度判别模型,为深度网络提供统计力学的理论支持,也可以结合有向图构建生成模型,提供具有多峰分布的先验信息。主要综述了以RBMs为基础的概率图模型的相关研究。首先介绍了基于RBMs的机器学习模型的基本概念和训练算法,并讨论了基于极大似然估计的各训练算法的联系,比较了各算法的log似然损失;其次,综述了RBMs模型最新的研究进展,包括在目标函数中引入对抗损失和W距离,并构造基于RBMs先验的变分自编码模型(variational autoencoders,简称VAEs)、基于对抗损失的RBMs模型,并讨论了各实值RBMs模型之间的联系和区别;最后,综述了以RBMs为基础的模型在深度学习中的应用,并讨论了神经网络和RBMs模型在研究中存在的问题及未来的研究方向。

基于深度信念网络的风机叶片结构损伤识别研究

【目的】解决由于模态参数辨别的不确定性,以及虚假模态干扰造成的风机叶片结构损伤识别精度不高的问题.【方法】采用以深度信念网络提取的模态参数特征向量作为标识量的损伤检测方法.首先分别获取ANSYS仿真和实验条件下风机叶片的模态参数;然后利用深度信念网络提取模态参数特征向量作为损伤标识量,检测多种工况下的风机叶片损伤,并与传统BP神经网络方法进行对比;最后搭建实验平台,在实验条件下验证方法的有效性.【结果】基于深度信念网络的损伤识别方法相比传统BP神经网络精度更高,网络训练时间更长.【结论】将深度信念网络提取的模态参数特征向量作为BP神经网络训练的输入向量,可以减小噪声和虚假模态信息等因素对损伤识别结果的影响,提高损伤识别的精度.

基于深度学习理论的无人机影像分类

针对无人机影像深度学习分类方法缺乏现状,本文利用深度学习理论卷积神经网络方法对无人机影像进行了分类。该法首先抽取无人机影像作为训练集和检验集,然后建立一个2个卷积层-池化层的卷积神经网络模型进行深度学习,通过设定参数并运行模型实现无人机影像分类。实验表明,本文提出的方法可完成较复杂地区无人机影像分类,其分类精度与支持向量机方法相当,为无人机遥感影像分类提供了一个崭新的技术视点。

深度学习的实现与发展——从神经网络到机器学习

感知器相关概念是Frank Rosenblatt提出的人工神经网络的基本理论框架。在感知器的理论前提下,结合反向传播等算法,机器学习达到了有监督的浅层学习水平。过去的三十年里,得益于计算机性能的提高和Geoffrey Hinton,Yann Le Cun等研究者的贡献,深度神经网络所涉及的几种学习思想和技术如卷积神经网络、受限玻尔兹曼机、自动编码器等大幅度提高了机器的学习效率。如今,深度学习的研究成果已经成功应用在语言识别、目标识别、神经语言程序学、人工智能等领域,具有巨大的发展潜力和社会价值。深度学习有向无监督的学习和复杂数据模型分析等方面发展的趋势。

结合卷积受限玻尔兹曼机的CV图像分割模型

传统图像分割方法主要依赖图像光谱、纹理等底层特征,容易受到图像中遮挡和阴影等的干扰。为此,提出一种基于卷积受限玻尔兹曼机的CV(Chan-Vest)图像分割模型,采用生成式模型——卷积受限玻尔兹曼机对目标形状建模并生成目标形状,以此为先验信息对CV模型能量函数增加目标全局形状特征约束,指导图像分割。在训练数据有限、目标形态各异、目标尺度变化较大的遥感影像数据集Satellite-2000和Vaihigen的目标分割中取得了理想的结果。

深度学习研究综述

鉴于深度学习在学术界和工业界的重要性,依据数据流向对目前有代表性的深度学习算法进行归纳和总结,综述了不同类型深度网络的结构及特点.首先介绍了深度学习的概念;然后根据深度学习算法的结构特征,概述了前馈深度网络、反馈深度网络和双向深度网络3类主流深度学习算法的网络结构和训练方法;最后介绍了深度学习算法在不同数据处理中的最新应用现状及其发展趋势.可以看到:深度学习在不同应用领域都取得了明显的优势,但仍存在需要进一步探索的问题,如无标记数据的特征学习、网络模型规模与训练速度精度之间的权衡、与其他方法的融合等.

基于深度学习的太阳能电池片表面缺陷检测方法

目前对太阳能电池片的缺陷检测仍依赖人工完成,很难通过传统的CCD成像系统自动识别.作为一种多层神经网络学习算法,深度学习因对输入样本数据强大的特征提取能力而受到广泛关注.文中提出一种基于深度学习的太阳能电池片表面缺陷检测方法,该方法首先根据样本特征建立深度置信网络(DBN),并训练获取网络的初始权值;然后通过BP算法微调网络参数,取得训练样本到无缺陷模板之间的映射关系;最后利用重构图像与缺陷图像之间的对比关系,实现测试样本的缺陷检测.实验表明DBN能较好地建立上述映射关系,且准确、快速地进行缺陷检测.

基于深度学习的人体行为识别算法综述

人体行为识别和深度学习理论是智能视频分析领域的研究热点,近年来得到了学术界及工程界的广泛重视,是智能视频分析与理解、视频监控、人机交互等诸多领域的理论基础.近年来,被广泛关注的深度学习算法已经被成功运用于语音识别、图形识别等各个领域.深度学习理论在静态图像特征提取上取得了卓著成就,并逐步推广至具有时间序列的视频行为识别研究中.本文在回顾了基于时空兴趣点等传统行为识别方法的基础上,对近年来提出的基于不同深度学习框架的人体行为识别新进展进行了逐一介绍和总结分析;包括卷积神经网络(Convolution neural network,CNN)、独立子空间分析(Independent subspace analysis,ISA)、限制玻尔兹曼机(Restricted Boltzmann machine,RBM)以及递归神经网络(Recurrent neural network,RNN)及其在行为识别中的模型建立,对模型性能、成果进展及各类方法的优缺点进行了分析和总结.

深度学习方法研究新进展

本文依据模型结构对深度学习进行了归纳和总结,描述了不同模型的结构和特点。首先介绍了深度学习的概念及意义,然后介绍了4种典型模型:卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器,并对近3年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍,最后对现有深度学习模型进行了总结,并且讨论了未来所面临的挑战。

基于时序深度置信网络的在线人体动作识别

在线人体动作识别是人体动作识别的最终目标,但由于如何分割动作序列是一个待解决的难点问题,因此目前大多数人体动作识别方法仅关注在分割好的动作序列中进行动作识别,未关注在线人体动作识别问题.本文针对这一问题,提出了一种可以完成在线人体动作识别的时序深度置信网络(Temporal deep belief network,TDBN)模型.该模型充分利用动作序列前后帧提供的上下文信息,解决了目前深度置信网络模型仅能识别静态图像的问题,不仅大大提高了动作识别的准确率,而且由于该模型不需要人为对动作序列进行分割,可以从动作进行中的任意时刻开始识别,实现了真正意义上的在线动作识别,为实际应用打下了较好的理论基础.

基于深度信念网络的苹果霉心病病害程度无损检测

针对现有霉心病无损检测只能检测出有无病害,无法对病害程度进行判断的问题,研究并提出一种基于深度信念网络(deep belief net,DBN)的无监督检测模型。该模型由多层限制玻尔兹曼机(restricted Boltzmann machine,RBM)网络和1层反向传播(back propagation,BP)神经网络组成,RBM网络实现最优特征向量映射,输出的特征向量由BP神经网络对霉心病病害程度分类。对225个苹果样本在波长200~1 025 nm获取其透射光谱后,根据腐烂面积占横截面比例将霉心病害程度分为健康、轻度、中度和重度4种,分别用150个和75个样本作为训练集和测试集,以全光谱数据和基于连续投影算法提取的特征波长数据为输入构建病害程度判别模型,并比较DBN模型与偏最小二乘判别分析、BP神经网络和支持向量机模型的识别效果,实验结果表明,DBN模型病害判别准确率达到88.00%,具有较好的识别效果。

一种基于深度学习的异构多模态目标识别方法

提出一种基于深度学习的异构多模态目标识别方法。首先针对媒体流中同时存在音频和视频信息的特征,建立一种异构多模态深度学习结构;结合卷积神经网络和限制波尔兹曼机的算法优点,对音频信息和视频信息分别并行处理,生成基于典型关联分析的共享特征表示,并进一步利用时间相关特性进行参数的优化。分别使用标准语音人脸库和截取的实际电影视频对算法进行实验。研究结果表明:对于这2种视频来源,所提出方法在目标识别的精度方面都有显著提高。

基于深度信念网络的入侵检测模型（英文）

研究了入侵检测系统中海量数据分类的问题.讨论了深度信念网络(DBN)的原理,提出了基于DBN的入侵检测模型.DBN由多层无监督的限制玻尔兹曼机(RBM)网络和一层有监督的反向传播(BP)网络构成.该入侵检测模型采用一种快速、贪婪的方法对DBN网络进行预训练,利用对比分歧算法逐层训练每一个RBM网络;然后,利用有监督的BP算法对整个DBN网络进行微调,并同时对RBM网络输出的低维特征进行入侵数据分类.基于KDD CUP 1999数据集的实验结果表明,使用3层以上的DBN模型分类效果优于自组织映射和神经网络方法.因此,DBN是一种有效且适用于高维特征空间的入侵检测方法.

基于深度模型的社会新闻对用户情感影响挖掘

该文研究了社会新闻中影响读者情感的深层特征。使用三种文本特征选择方法,分别从一元词、二元词和主题粒度下提取文本浅层特征,使用支持向量机模型选择三种粒度下最优浅层特征并且进行分类,得到最优宏平均F1值分别为60.5%、62.1%、63.3%。引入深度信念网络模型,使用三种粒度下最优浅层特征作为输入,进一步训练和抽象得到深层特征,实验中使用深度为3的深度信念网络模型进行训练与分类,最优宏平均F1值分别为61.4%、63.5%、66.1%。实验结果表明,深层特征比浅层特征具有更多的文本语义信息,可以更好地判断社会新闻对公众情绪影响。

深度信念网软件缺陷预测模型

软件缺陷预测技术在检测软件缺陷、保证软件质量方面发挥了重要的作用。利用神经网络分类算法构建的软件缺陷预测模型得到了广泛的应用。但是利用神经网络分类算法训练历史数据只能进行"浅层学习",无法对数据特征进行深度挖掘。针对该问题,利用多层限制玻尔兹曼机叠加成深度信念网,先进行特征集成与迭代,并对这些特征数据进行深度学习,构建了基于深度信念网的软件缺陷预测模型(DBNSDPM)。仿真实验表明,本模型预测的准确性与传统的神经网络缺陷预测模型预测的准确性相比有显著提高。

基于改进深度置信网络的木板表面缺陷检测模型

为了提高木板表面缺陷检测精度,采用连续型深度置信网络(DBN)建立木板表面缺陷检测模型。首先,对待检测的木板图片进行关键特征提取,并建立DBN检测模型。然后,将木板图片特征输入DBN的多个受限玻尔兹曼机(RBM)层进行深度训练,从而利用DBN的深度优势来获得木板表面缺陷检测结果。最后,引入人工蜂群(ABC)算法对DBN的权重参数进行优化从而缩短训练时间。实例测试实验结果表明:选择学习速率为0.075时,ABC-DBN算法在划痕、刮痕、裂缝、崩缺4类样本集中的均方根误差(RMSE)均值性能更优。采用卷积神经网络(CNN)、快速区域卷积神经网络(Faster R-CNN)、自适应增强卷积神经网络(AdaBoost-CNN)和ABC-DBN算法分别进行检测准确率对比实验。结果显示,ABC-DBN算法检测准确率RMSE为5.067×10^(-2),是最优结果,Adaboost-CNN算法次之,CNN算法最差。