基于判别式受限玻尔兹曼机的医学图像分类法

随着计算机技术的发展,越来越多的医学图像分析技术应运而生。利用数据挖掘方法对医学图像做分析是目前研究的热点之一,该方法首先从医学图像中提取统计特征,在此基础上进一步挖掘,这种方法对所提取的特征有很强的依赖性而且受到经验等主观因素的影响。针对乳腺X光图像,采用一种可以从图像中自动学习特征并利用学习到的特征对图像进行分类的医学图像分析新方法——判别式受限玻尔兹曼机(Discriminative Restricted Boltzmann Machine,DRBM)。DRBM是一种无向判别模型,它可以自动地从图像中学习特征。在乳腺X光图像标准数据集上的实验结果表明,DRBM对医学图像的分类准确率明显高于其它基于统计特征提取的医学图像分类方法。

基于判别式受限玻尔兹曼机的数字调制识别

为了提高大动态信噪比下数字调制识别性能,提出一种基于高阶累积量和判别式受限玻尔兹曼机的联合调制识别方法。该方法提取数字信号的高阶累积量作为信号特征,综合利用判别式受限玻尔兹曼机的生成能力和分类能力,分析了含有高斯噪声、时变相位偏移或瑞利衰落环境下的数字信号识别率。实验结果表明,与传统识别方法相比,所提方法的识别性能有明显改善。此外,利用该模型的生成能力对输入特征进行重构,可有效提高低信噪比下的信号识别率。

基于判别性无穷模糊受限玻尔兹曼机模型的HRRP序列识别

针对雷达高分辨率距离像(High Resolution Range Profiles, HRRP)序列数据在受干扰或背景杂波严重时目标识别性能较差的问题,提出一种判别性无穷模糊受限玻尔兹曼机(Discriminative Infinite Fuzzy Re-stricted Boltzmann Machine, Dis-iFRBM)模型。该模型结合判别性受限玻尔兹曼机分类和无穷受限玻尔兹曼机模型复杂度自适应特点,汲取模糊神经网络在低信噪比环境下提取特征更稳定的优点,将模型参数从实数扩展为模糊参数,实现了对HRRP序列数据原始特征的更稳定提取以及对雷达目标的更稳健识别。通过对多个HRRP序列的识别实验,验证了Dis-iFRBM的识别稳定性以及鲁棒性,与其他模型的对比实验验证了所提模型在“噪声”环境中的有效性和优越性。

受限玻尔兹曼机及其变体研究综述

受限玻尔兹曼机作为学习数据分布和提取内在特征的典型概率图模型,是深度学习领域重要的基础模型。近年来,通过改进受限玻尔兹曼机的模型结构和能量函数得到众多新兴模型,即受限玻尔兹曼机变体,可以进一步提升模型的特征提取性能。研究受限玻尔兹曼机及其变体能够显著促进深度学习领域的发展,实现大数据时代海量信息的快速提取。基于此,对近年来受限玻尔兹曼机及其变体的相关研究进行系统回顾,并创新性地从训练算法改进、模型结构改进、模型深层融合研究和模型相关最新应用4个方面进行全面综述。其中,重点梳理受限玻尔兹曼机训练算法和变体模型的发展史。最后,讨论受限玻尔兹曼机及其变体领域的现存难点与挑战,对主要研究工作进行总结与展望。

一种基于受限玻尔兹曼机的说话人特征提取算法

基于总体空间差异模型的身份认证矢量(即i-vector)已经在说话人识别任务中得到了广泛应用。本文提出了一种基于受限玻尔兹曼机(RBM)的说话人特征向量提取方法来替代总体差异建模的特征提取方法。该方法通过训练得到RBM的模型参数,之后利用隐层输出来表征输入语音超向量的说话人信息。文中比较了不同结构和模块(包括构建RBM的2种单元分布、线性判别分析等)对说话人确认性能的影响。所提方法作为一种新的i-vector特征表示方法,在NIST SRE 2008上取得了和ivector说话人基线系统相当的性能。通过与i-vector基线系统进行融合,系统性能进一步提升。在NIST SRE 2008女性电话语音测试集和男性电话语音测试集上的等错误率分别降至6.83%和4.73%。

基于对比散度-受限玻尔兹曼机深度学习的产品评论情感分析

针对目前大部分情感分析技术需要人工标注建立情感词典提取情感特征的问题,提出一种基于对比散度-受限玻尔兹曼机(CD-RBM)深度学习的产品评论情感分析方法。该方法在对产品评论时进行数据预处理并利用词袋模型产生产品评论的向量表示,然后通过CD-RBM提取产品评论的情感特征,最后结合支持向量机(SVM)将提取出来的情感特征进行文本情感分类。CD-RBM无需人工标注情感词典,即可获得情感特征,且可以提高特征的情感语义关联性;同时,SVM可以保证产品评论情感分类的准确度。通过实验确定了RBM最优训练周期为10,在此训练周期下对RBM、SVM、PCA+SVM,以及RBM+SVM方法进行了比较。实验结果表明,RBM特征提取和SVM分类结合方法能够获得最好的准确率和F值,并获得较好的召回率。

基于弱监督学习的去噪受限玻尔兹曼机特征提取算法

针对现有特征提取方法难以实现从含有复杂背景的图像中提取有用目标特征的瓶颈问题,提出了基于弱监督学习的去噪受限玻尔兹曼机特征提取算法.首先,利用训练样本,通过无监督学习方式训练一个标准受限玻尔兹曼机模型,从而获得一个包含可视单元层和隐藏单元层的层次结构模型;然后,对可视层的每个单元引入二值转换单元,对隐藏层,根据各节点的激活值大小和激活频率将其分为两组:前景特征隐层单元和背景特征隐层单元,得到一个二元混合式去噪玻尔兹曼机的模型;最后,通过多模交互方式,利用有限数量的样本标签信息对输入样本逐像素地进行采样训练,以此来提取目标特征.实验表明,本文的特征提取算法能够有效地从复杂的干扰背景中提取目标特征,提高了目标识别精度.

利用社交关系的实值条件受限玻尔兹曼机协同过滤推荐算法

利用受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)解决推荐问题已成为一个很有意义的研究方向.目前用于推荐的RBM模型中使用的仅仅是用户评分数据,但用户评分数据存在着严重的数据稀疏性问题.随着互联网对人们生活的不断渗透,社交网络已经成为人们生活中不可缺少的一部分,利用社交网络中的好友信任关系,有助于缓解评分数据的稀疏性问题,提高推荐系统的性能.因此,该文首先提出基于实值的状态玻尔兹曼机(Real-Valued Conditional Restricted Boltzmann Machine,R_CRBM)模型,此模型不需要将评分数据转化为一个K维的0-1向量,并且R_CRBM模型在训练过程中使用了训练数据中潜在的评分/未评分信息;同时该文将最近信任好友关系应用到R_CRBM模型推荐过程中.在百度数据集和Epinions数据集上的实验结果表明R_CRBM模型和引入的最近信任好友关系均有助于提高推荐系统的预测精度;最后,针对大数据环境下,普通平台很难完成R_CRBM模型训练的问题,该文提出基于Spark的并行化方案,较好地解决了该问题.

基于云计算的受限玻尔兹曼机推荐算法研究

数据的指数级增长及算法本身的复杂性使受限玻尔兹曼机面临着计算效率的问题。在详细分析受限玻尔兹曼机的基础上,将受限玻尔兹曼机与Hadoop平台的并行计算架构相结合,提出基于云平台的受限玻尔兹曼机推荐算法。该算法通过复制机制解决数据相关性问题,并将传统的受限玻尔兹曼机过程分解为若干个Hadoop任务的循环,实现并行计算。实验结果表明,与在传统平台上的实现相比,基于Hadoop并行架构的受限玻尔兹曼机推荐算法在大体量数据集的条件下可大幅提高推荐计算效率。

基于受限玻尔兹曼机的电能质量复合扰动识别

针对目前电能质量混合扰动识别精度不高的问题,引入了受限玻尔兹曼机(RBM)算法。RBM是深度学习的一种新颖算法,在语音识别、机器视觉和图像恢复等领域已取得了很好的应用成果,但在电能质量复合扰动识别上尚未涉及。区别于传统算法提取特征的方式,深度网络通过提取波形的固有抽象特征,克服了人工特征选择的缺陷以及传统神经网络训练时收敛速度慢、容易限于局部最优的缺点。复合扰动信号经过深度网络自动获得特征参数,再经过分类器进行分类识别。实验验证该算法在电能质量复合扰动识别上可以达到很高的性能,优于传统的识别方法。

基于快速持续对比散度的卷积受限玻尔兹曼机

受限玻尔兹曼机是深度学习中的重要模型,以其为基础的卷积受限玻尔兹曼机模型被广泛应用于图像处理与语音识别等领域,但其存在训练时间过长的问题。为此,使用快速持续对比散度(FPCD)算法对卷积受限玻尔兹曼机进行学习,从而提高模型的学习速度和分类精度。实验结果表明,与PCD,CD_1等算法相比,FPCD算法可有效提高卷积受限玻尔兹曼机的分类性能。

基于改进深度受限玻尔兹曼机算法的光伏发电短期功率概率预测

光伏发电功率受自然环境影响具有明显的波动性、间歇性与随机性,对光伏发电进行短期功率的概率预测可以有效缓解给电网调度、能量管理等方面带来的诸多不利影响。提出一种基于改进深度受限玻尔兹曼机(RBM)算法的光伏发电短期功率概率预测模型,通过灰色关联系数法寻找待预测日的相似日,并利用遗传算法对RBM算法进行参数优化,避免模型参数寻优陷入局部最优,以提高预测模型的预测精度。仿真算例表明,所提模型可以更好地反映光伏发电功率的概率分布。

一种新的分类受限玻尔兹曼机改进模型

分类受限玻尔兹曼机(classification restricted boltzmann machine,ClassRBM)在各种分类问题中得到了广泛应用.ClassRBM是一种自带标签信息的神经网络模型,它使用一个神经元标识某类数据的类标.标签神经元总是稀疏的,一个神经元仅能为网络模型参数提供有限的信息.论文在ClassRBM现有的网络结构上,增加标签神经元个数,使每个类标用K个神经元标识,为网络模型参数提供更多的信息,提升模型表达能力,进而改善ClassRBM的分类性能.论文在不同数据集上进行了测试,结果表明改进模型的分类效果可以优于ClassRBM.

受限玻尔兹曼机与加权Slope One的混合推荐算法研究

针对传统协同过滤算法所面临的稀疏性及预测准确度不高的问题,提出一种基于受限玻尔兹曼机与加权Slope One的混合推荐算法。首先通过受限玻尔兹曼机对评分矩阵的初步填充,缓解数据的稀疏性问题;然后通过一种混合项目相似度计算方法,引入项目属性信息;最后通过加权Slope One算法的二次预测,提升推荐效果。在MovieLens100K数据集上的实验表明,两种算法的结合提高了推荐的准确度。

基于卷积受限玻尔兹曼机的医学图像分类新方法

利用数据挖掘方法对医学图像做分析是目前研究的热点之一,常用的挖掘方法首先需要从医学图像中提取特征,然后进行分类分析。目前,应用最多的是提取图像的统计特征,这种方法对所提取的特征有很强的依赖性。采用一种深度学习的新方法——卷积受限玻尔兹曼机模型,并且采用改进的快速持续对比散度算法对模型进行训练。该方法直接从乳腺X光图像中自主学习特征并利用学习到的特征对图像进行分类。实验结果显示,新方法对医学图像的分类精度相对于已有方法有明显的提升。

基于受限玻尔兹曼机的语音带宽扩展

语音带宽扩展是为了提高语音质量,利用语音低频和高频之间的相关性重构语音高频的一种技术。高斯混合模型法是语音带宽技术中被广泛应用的一种方法,但是,由于该方法假设语音高频、低频服从高斯分布,且只表征了语音低频、高频之间的线性关系,从而导致合成的高频语音出现失真。因此,该文提出一种基于受限玻尔兹曼机的方法,该方法利用两个高斯伯努利受限玻尔兹曼机提取语音低频和高频中蕴含的高阶统计特性;并利用前馈神经网络将语音低频高阶统计特性参数映射为高频高阶统计特性参数。这样,通过提取语音低频和高频中蕴含的高阶统计特性,该方法可以深层挖掘语音高频和语音低频之间的实际关系,从而更加准确地模拟频谱包络分布,合成质量更高的语音。客观测试、主观测试结果表明,该方法性能优于传统的高斯混合模型方法。

受限玻尔兹曼机的稀疏化特征学习

受限玻尔兹曼机(RBM)作为深度学习算法的一种基础模型被广泛应用,但传统RBM算法没有充分考虑数据的稀疏化特征学习,使得算法性能受数据集的稀疏性影响较大。提出一种RBM稀疏化特征学习方法(sRBM),通过归一化的输入数据均值确定数据集的稀疏系数,将稀疏系数大于阈值的稠密数据集自动转化为稀疏数据集,在不损失信息量的情况下实现输入数据的稀疏化。在手写字符数据集和自然图像数据集上的实验结果表明,sRBM通过输入数据稀疏化有效提升了RBM的稀疏化特征学习性能。

基于受限玻尔兹曼机的分布式主题特征提取

随着大数据时代的来临,如何有效从海量的文本数据中挖掘和分析主题特征已成为学者们的研究重点。隐含狄利克雷分配(Latent Dirichlet Allocation,LDA)作为经典的概率主题模型,因其自身优越的文本分析能力被广泛应用。然而,该模型大多以包含隐含主题变量的有向图的形式存在,实现文档的表达具有局限性。而分布式表示方法定义文档的语义分布在多个主题中并由多主题特征相乘得到;且由于传统的无监督特征提取模型无法有效处理含类别标记的文档数据,故在研究受限玻尔兹曼机(Restricted Bolzmann Machine,RBM)的基础上,结合文本主题的分布式特性,提出了基于RBM的分布式主题特征提取模型NRBM,其自身作为典型的半监督模型能够有效利用文档中的多标记信息。最终与标准LDA主题模型的对比实验证明了NRBM模型的优越性。

受限玻尔兹曼机的新混合稀疏惩罚机制

为解决受限玻尔兹曼机(RBM)在学习过程中出现的特征同质化问题,在RBM已有的稀疏模型基础上提出新的混合稀疏惩罚机制(HSPM).鉴于隐单元之间存在的统计相关性,该机制通过在RBM训练过程中引入交叉熵稀疏惩罚因子,实现对RBM的初步处理;按照基于RBM连接权值列相似性的自适应分组策略,构建稀疏组RBM,并按照稀疏组受限玻尔兹曼机(SGRBM)的形式继续进行隐单元稀疏化.实验结果表明:HSPM能够有效解决RBM特征同质化问题,在隐单元的稀疏程度上优于以往的稀疏惩罚因子,可以整体提高RBM的特征提取能力,并可以成功应用于深度玻尔兹曼机(DBM)的训练.

基于改进受限玻尔兹曼机的滚动轴承健康因子构建方法

针对传统方法构建的健康因子各类性能指标不高、信息冗余的问题,提出一种基于改进受限玻尔兹曼机(restricted Boltzmann machine,RBM)的滚动轴承健康因子构建方法。首先,提取滚动轴承振动监测信号时域、频域特征组成物理健康因子集。其次,将RBM隐藏层节点数随时间变化斜率引入到正则化项中,提取物理健康因子集中的趋势性特征。最后,利用滚动轴承全寿命周期试验验证所提方法的有效性。实验结果表明,相对于主成分分析(principal component analysis,PCA)法、传统RBM虚拟健康因子构建方法,基于改进RBM构建的虚拟健康因子单调性分别提高178.0%和33.3%,趋势性分别提高126.8%和16%,鲁棒性分别提高60%和6.02%。