基于权值动量的RBM加速学习算法研究

动量算法理论上可以加速受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问题,本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析,证明了现有动量算法的加速效果是以牺牲网络权值为代价的;然后,本文进一步对网络权值进行研究,发现网络权值中包含大量真实梯度的方向信息,这些方向信息可以用来对网络进行训练;基于此,本文提出了基于网络权值的权值动量算法,最后给出了仿真实验.实验结果表明,本文提出的动量算法具有更好的加速效果,并且在训练后期仍然能够保持较好的加速性能,可以很好地弥补现有动量算法的不足.

基于改进并行回火算法的RBM网络训练研究

目前受限玻尔兹曼机网络训练算法主要是基于采样的算法.当用采样算法进行梯度计算时,得到的采样梯度是真实梯度的近似值,采样梯度和真实梯度之间存在较大的误差,这严重影响了网络的训练效果.针对该问题,本文首先分析了采样梯度和真实梯度之间的数值误差和方向误差,以及它们对网络训练性能的影响,然后从马尔科夫采样的角度对以上问题进行了理论分析,并建立了梯度修正模型,通过修正梯度对采样梯度进行数值和方向的调节,并提出了基于改进并行回火算法的训练算法,即GFPT(Gradient fixing parallel tempering)算法.最后给出GFPT算法与现有算法的对比实验,仿真结果表明,GFPT算法可以极大地减小采样梯度和真实梯度之间的误差,大幅度提升受限玻尔兹曼机网络的训练效果.

基于动态Gibbs采样的RBM训练算法研究

目前大部分受限玻尔兹曼机(Restricted Boltzmann machines,RBMs)训练算法都是以多步Gibbs采样为基础的采样算法.本文针对多步Gibbs采样过程中出现的采样发散和训练速度过慢的问题,首先,对问题进行实验描述,给出了问题的具体形式;然后,从马尔科夫采样的角度对多步Gibbs采样的收敛性质进行了理论分析,证明了多步Gibbs采样在受限玻尔兹曼机训练初期较差的收敛性质是造成采样发散和训练速度过慢的主要原因;最后,提出了动态Gibbs采样算法,给出了对比仿真实验.实验结果表明,动态Gibbs采样算法可以有效地克服采样发散的问题,并且能够以微小的运行时间为代价获得更高的训练精度.

融合FP-Growth和RBM的图书推荐算法研究

为了解决传统图书推荐算法推荐准确性不高、效率低下的问题,本文提出了融合关联规则FP-Growth和受限玻尔兹曼机RBM的混合推荐算法用于图书推荐.FP-Growth算法能够处理复杂的非结构化数据,RBM协同过滤算法可以有效解决数据稀疏问题,通过结合两种算法组成混合推荐模型,能够弥补单一算法的不足之处,体现混合推荐模型的优势.实验结果表明,相比FP-Growth和RBM协同过滤算法,本文提出的融合算法将准确率分别提升了15.63%和7.58%,从而能够更加精准地进行图书推荐.

基于RT-RBM协同过滤的图书馆个性化推荐系统的研究

为了解决目前图书馆推荐系统存在的无法挖掘出读者个性化信息的深层次特征、数据稀疏、“冷启动”等问题,设计实现了基于R-RBM及Top N算法(RT-RBM)的协同过滤的图书馆个性化推荐系统.R-RBM协同过滤推荐算法可以有效解决数据稀疏的问题、提高个性化推荐的精准度.Top N协同过滤推荐算法可以较好地为新用户进行推荐.实验结果表明,RT-RBM协同过滤推荐系统相较传统协同过滤算法具有更好的应用效果.

融合注意力机制的增强受限玻尔兹曼机驱动的交互式分布估计算法

面向用户生成内容(User generated content,UGC)的进化搜索在大数据及个性化服务领域已引起广泛关注,其关键在于基于多源异构用户生成内容构建用户认知偏好模型,进而设计高效的进化搜索机制.针对此,提出融合注意力机制(Attention mechanism,AM)的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)偏好认知代理模型构建机制,并应用于交互式分布估计算法(Interactive estimation of distribution algorithm,IEDA),设计含用户生成内容的个性化进化搜索策略.基于用户群体提供的文本评论,以及搜索物品的类别文本,构建无监督受限玻尔兹曼机模型提取广义特征;设计注意力机制,融合广义特征,获取对用户认知偏好高度相关特征的集成;利用该特征再次训练受限玻尔兹曼机,实现对用户偏好认知代理模型的构建;根据用户偏好认知代理模型,给出交互式分布估计算法概率更新模型以及物品适应度评价函数,实现物品个性化进化搜索.算法在亚马逊个性化搜索实例的应用验证了用户认知偏好模型的可靠性,以及个性化进化搜索的有效性.

深度学习结构和算法比较分析

Hinton等人提出的深度机器学习,掀起了神经网络研究的又一个浪潮.介绍了深度机器学习的基本概念和基本思想.对于目前比较成熟的深度机器学习结构深度置信网DBNs和约束Boltzmann机(RBM)的结构和无监督贪婪学习算法作了比较详细的介绍和比较,并对算法的改进方向提出了有建设性的意见,对深度机器学习的未来发展方向和目前存在的问题进行了深刻的分析。

基于进化深度学习的特征提取算法

信息全面与维数灾难的矛盾是大数据时代网络态势感知需要解决的首要难题。特征提取一直是主流的降维方法,但现有算法对高维非线性数据效果不佳;深度学习是一类具有多层非线性映射的学习算法,可以完成复杂函数的逼近,但对隐层相关参数十分敏感。针对上述问题,将进化算法的思想引入深度学习,提出了一种基于进化深度学习的特征提取算法。该算法利用遗传算法及进化策略实现全局搜索及优化的特点,并对深度学习结构及相关参数进行了优化。理论分析及实验结果都证明了该算法的有效性。

基于减基法的结构谐响应快速分析方法

针对大型线弹性结构谐响应分析的计算效率与计算存储的问题,提出了一种基于减基法的快速算法。这种算法把简谐外载荷的频率作为参数,并且对频域进行预采样。把预采样空间对应的解集做成一个训练空间,采用贪婪算法进行减基空间基向量的自适应选取,进而由Galerkin映射得到减缩系统。最后,通过求解减缩系统频域方程来达到结构谐响应快速分析的目的。根据谐响应分析的特点,整个计算过程可以分成离线和在线两个阶段,从而进一步提高减基近似的效率。采用了一个简化机翼模型的谐响应分析来验证该方法的高效性和精确性。

基于改进深度受限玻尔兹曼机算法的光伏发电短期功率概率预测

光伏发电功率受自然环境影响具有明显的波动性、间歇性与随机性,对光伏发电进行短期功率的概率预测可以有效缓解给电网调度、能量管理等方面带来的诸多不利影响。提出一种基于改进深度受限玻尔兹曼机(RBM)算法的光伏发电短期功率概率预测模型,通过灰色关联系数法寻找待预测日的相似日,并利用遗传算法对RBM算法进行参数优化,避免模型参数寻优陷入局部最优,以提高预测模型的预测精度。仿真算例表明,所提模型可以更好地反映光伏发电功率的概率分布。

基于改进深度信念网络的旋转机械故障诊断研究

旋转机械装备轴承、齿轮箱等关键对象的健康状态监测正在步入大数据、智能化时代。传统的轴承故障诊断方法大多数依靠人工提取特征,需要依赖于复杂的信号处理方法以及丰富的专业经验积累,因此将改进的深度信念网络(Deep belief network,DBN)引入到故障诊断领域中:引入高斯-伯努利受限玻尔兹曼机模型(Gauss-Bernoulli Restricted Boltzmann Machine,GB-RBM)解决传统受限玻尔兹曼机输入向量受限于伯努利二值分布且对于非二项分布的数据重构拟合效果较差的问题;引入Dropout技术提高算法泛化能力并采用Adam优化器加快模型收敛速度以解决反向微调阶段随机梯度下降法收敛速度慢且容易陷入局部最优解的问题。试验结果表明,相较于传统深度信念网络,提出的GBRBM-DBN模型收敛速度更快、分类效果更好。

基于受限波兹曼机的推荐算法研究

本文针对推荐系统中传统推荐算法在处理较稀疏数据效果表现不佳的问题,将一种最新的机器学习方法带入到推荐算法中,利用多层波兹曼机组成的深度结构模型与传统最近邻推荐方法相结合,形成一种新的推荐模型算法。本文还利用有限步吉布斯采样的最小化散度差(Constrastive Divergence)方法解决了该模型的无监督训练问题,并且通过预训练和反馈微调使得模型的训练得以实现;最后利用深度结构抽取的抽象特征结合最近邻方法进行预测推荐。另外,本文利用传统基于相似度最近邻方法 ,矩阵分解方法和新模型算法在相关数据集上进行多组实验,实验结果表明该算法不仅在稀疏的数据上也表现出更好的效果,并且拥有着更快的收敛速度。

基于特征选择和深度信念网络的文本情感分类算法

由于人类语言的复杂性,文本情感分类算法大多都存在因为冗余而造成的词汇量过大的问题。深度信念网络(DBN)通过学习输入语料中的有用信息以及它的几个隐藏层来解决这个问题。然而对于大型应用程序来说,DBN是一个耗时且计算代价昂贵的算法。针对这个问题,提出了一种半监督的情感分类算法,即基于特征选择和深度信念网络的文本情感分类算法(FSDBN)。首先使用特征选择方法(文档频率(DF)、信息增益(IG)、卡方统计(CHI)、互信息(MI))过滤掉一些不相关的特征从而使词汇表的复杂性降低;然后将特征选择的结果输入到DBN中,使得DBN的学习阶段更加高效。将所提算法应用到中文以及维吾尔语中,实验结果表明在酒店评论数据集上,FSDBN在准确率方面比DBN提高了1.6%,在训练时间上比DBN缩短一半。

基于布谷鸟搜索和深度信念网络的肺部肿瘤图像识别算法

针对深度信念网络(DBN)权值随机初始化易使网络陷入局部最优的问题,在传统DBN模型中引入布谷鸟搜索(CS)算法,提出一种基于CS-DBN的肺部肿瘤图像识别算法。首先,利用CS的全局寻优能力对DBN的初始权值进行优化,并在此基础上进行DBN的逐层预训练;然后,利用反向传播(BP)算法对整个网络进行微调,从而使网络权值达到最优;最后,将CS-DBN应用于肺部肿瘤图像的识别,实验从受限玻尔兹曼机(RBM)训练次数、训练批次大小、DBN隐层层数和隐层节点数四个角度将CS-DBN与传统DBN进行比较,以验证该算法的可行性和有效性。实验结果表明,CS-DBN的识别精度明显高于传统DBN,在不同RBM训练次数、训练批次大小、DBN隐层层数和隐层节点数条件下,CS-DBN较传统DBN识别率提高百分点的范围分别是1.13～4.33、2.00～3.34、1.07～3.34和1.40～3.34。CS-DBN能够在一定程度上提高肺部肿瘤的识别精度,从而提高肺部肿瘤计算机辅助诊断性能。

GEO通信系统LLC协议设计及性能分析

针对GEO链路延时大、误码率高的特点,提出基于位图的RBM-ARQ可靠传输算法。对GMPRS逻辑链路控制(LLC)层的可靠传输算法进行改进,采用保持更新终端状态的方法,以加强信道损伤的恢复能力。仿真实验结果表明,合理设置重传时间和重传计数可以提高LLC层的吞吐量、减少延迟,与传统的GMPRS LLC层可靠传输算法相比,RBM-ARQ算法能获得更好的传输性能。