贝叶斯推理与并行回火研究综述

贝叶斯推理是统计学中的主要问题之一,旨在根据观测数据更新概率分布模型的先验知识。对于真实情况下常遇到的无法观测或难以直接计算的后验概率,贝叶斯推理可以对其进行近似,它是一种以贝叶斯定理为基础的重要方法。在许多机器学习问题中都涉及对包含各类特征数据的真实分布进行模拟和近似的过程,如分类模型、主题建模和数据挖掘等,因此贝叶斯推理在当今机器学习领域里具有重要而独特的研究价值。随着大数据时代的开始,研究者经由实际信息采集到海量的实验数据,导致需要模拟和计算的目标分布也非常复杂,如何在复杂数据下对目标分布进行结果精确和时间高效的近似推理,成为了当今贝叶斯推理问题的重难点。针对这一复杂分布模型下的推理问题,文中对近年来解决贝叶斯推理问题的两大主要方法——变分推理和采样方法,进行系统性地介绍和综述。首先,给出变分推理的问题定义与理论知识,详细介绍以坐标上升为基础的变分推理算法,并给出这一方法的已有应用与未来展望。然后,对国内外现有的采样方法的研究成果进行综述,给出各类主要采样方法的具体算法流程,并总结和对比这些方法的特性与优缺点。最后,引入并行回火技术,对其基本理论和方法进行概述,探讨并行回火与采样方法的结合与应用,为未来贝叶斯推理问题的发展探讨了新的研究方向。

基于改进并行回火算法的RBM网络训练研究

目前受限玻尔兹曼机网络训练算法主要是基于采样的算法.当用采样算法进行梯度计算时,得到的采样梯度是真实梯度的近似值,采样梯度和真实梯度之间存在较大的误差,这严重影响了网络的训练效果.针对该问题,本文首先分析了采样梯度和真实梯度之间的数值误差和方向误差,以及它们对网络训练性能的影响,然后从马尔科夫采样的角度对以上问题进行了理论分析,并建立了梯度修正模型,通过修正梯度对采样梯度进行数值和方向的调节,并提出了基于改进并行回火算法的训练算法,即GFPT(Gradient fixing parallel tempering)算法.最后给出GFPT算法与现有算法的对比实验,仿真结果表明,GFPT算法可以极大地减小采样梯度和真实梯度之间的误差,大幅度提升受限玻尔兹曼机网络的训练效果.

基于并行回火技术优化的大地电磁数据贝叶斯变维反演

传统的梯度类线性化反演方法虽然广泛应用于大地电磁数据的处理,但此类方法存在结果依赖初始模型、无法对解进行不确定性分析等问题。为了解决上述问题,基于随机反演理论,将反演参数看成随机变量,利用贝叶斯变维反演方法对一维大地电磁数据进行反演,获得了解的后验分布,并给出了解的不确定性分析;为了加速反演收敛,引入并行回火技术,同时运行不同温度的马尔科夫链,使采样过程可以在不同温度的马尔科夫链之间进行交换;最后对含噪的理论模型进行反演,并与传统贝叶斯变维方法进行对比,验证了并行回火技术对算法的改进是有效的。

基于并行回火改进的GRBM的语音识别

为提高连续语音识别中的识别准确率,采用高斯伯努利受限玻尔兹曼机进行语音训练和识别。通过结合并行回火算法的思想,采样、交换不同的温度链下的重构数据,实现在全局范围内对整个分布进行采样,提出一种基于并行回火改进的高斯伯努利受限玻尔兹曼机(GRBM-PT)的建模方法。该方法通过对语音信号的连续数据进行预训练分析、建模,最后使用支持向量机作为语音识别的分类器。在TI-Digits数字语音训练和数字测试数据库上的实验结果表明,语音识别率能够达到83.14%,基于GRBM-PT模型下的语音识别率明显优于RBM,RBM-PT以及GRBM模型的性能。

基于并行回火受限玻尔兹曼机算法的电力IEC61850数据预测

为提高现有电力系统中IEC61850数据模型构建的智能化,对电力系统IEC61850数据预测可以有效地提高效率,减少出错率。提出一种基于受限玻尔兹曼机算法的IEC61850数据预测模型,并结合并行回火的算法,通过采样和交换的方式,提高预测精度。仿真结果表明,该方法可以很好地反映不同厂家数据的概率分布。

聚电解质单链在盐溶液中构象转变的并行回火蒙特卡罗研究

采用并行回火蒙特卡罗方法,研究了聚电解质单链在盐溶液中的构象转变以及离子的凝聚行为.对不同盐浓度以及不同价态的情况,得到了链均方回转半径(<Rg2>)随Bjerrum长度lB的变化曲线.模拟结果表明,在不同浓度与价态的盐溶液中,随着lB的增加,链先伸展,然后收缩,最终形成塌缩态.链尺寸受盐浓度与价态的影响,在中等lB范围内,随着单价盐的加入,<Rg2>逐渐减小.而加入少量的高价盐则会引起<Rg2>更加显着得减小,这主要是由于高价反离子的凝聚造成的.对于高价盐,在一定的lB范围内,随着盐浓度的增加,存在<Rg2>先减小后增大的现象.在高价(如二价或三价)盐溶液中,当高价反离子的总电量大于链电量时,高价反离子和共离子(与链带同种电荷的离子)都发生凝聚,而单价反离子几乎不发生凝聚;并且存在高价离子过度补偿引起的链有效电荷反转.

连续音素的改进深信度网络的识别算法

为提高连续语音识别中的音素识别率,提出一种基于改进并行回火训练的受限波尔兹曼机的音素识别算法。首先,利用经过等能量划分后的改进并行回火算法来训练受限玻尔兹曼机,接着将受限玻尔兹曼机堆叠组成一个深信度网络,从而作为深度神经网络预训练的基础模型,然后通过softmax层输出,得到用于音素状态后验概率检测的深度神经网络。接着,利用少量的标签数据,根据反向传播算法对网络权重进行微调。最后,将所得后验概率作为隐马尔科夫的发射概率,然后利用Viterbi解码器实现音素识别。在TIMIT语料库上的实验表明,识别率相比于传统的对比散度类算法提高了约4.5%,在不增加计算量的情况下比原始并行回火算法提高约1%。

基于改进对比散度的GRBM语音识别

对比散度作为训练受限波尔兹曼机模型的主流技术之一,在实验训练中具有较好的测试效果。通过结合指数平均数指标算法和并行回火的思想,提出一种改进对比散度的训练算法,包括模型参数的更新和样本数据的采样,并将改进后的训练算法应用于高斯伯努利受限玻尔兹曼机(GRBM)中训练语音识别模型参数。在TI-Digits数字语音训练和数字测试数据库上的实验结果表明,采用改进的对比散度训练的GRBM明显优于传统的模型训练算法,语音识别率能够达到80%左右,最高提升7%左右,而且应用改进算法训练的其他GRBM对比模型的语音识别率也都有所提高,具有较好的识别性能。

应用于蛋白质折叠模拟的三种新蒙特卡罗方法的比较

新蒙特卡罗方法是一类随机算法的统称.这类算法已被应用于蛋白质折叠的模拟计算,并取得了较好的结果.该文将并行回火与遗传算法的混合算法、群体模拟退火方法以及群体模拟退火方法与遗传算法的混合算法这3种改进的蒙特卡罗方法应用到蛋白质折叠模拟计算,并就二维网格模型比较了这3种方法搜索最小能量构象的能力以及计算了得到最小能量构象所花费的时间.计算机模拟计算的结果表明,3种方法对于短序列蛋白质折叠结构的预测都较为有效,而群体模拟退火方法与遗传算法的混合算法则比其它两种算法所花费的计算时间要少,也就更为有效.

非线性反演的贝叶斯方法研究综述

近年来,随着计算机技术的进步,完全的非线性反演方法发展迅速,基于统计理论的贝叶斯方法受到越来越多的学者的关注.本文从蒙特卡洛方法、变维反演以及并行计算等方面介绍非线性贝叶斯方法的研究进展,阐述了几种常见的非线性贝叶斯反演方法的基本原理、发展历程及研究现状,对每种方法的局限性、适用性、优缺点进行了分析总结,最后探讨了贝叶斯方法未来的发展方向、需要解决的难点和面临的挑战.

两性聚电解质单链的构象转变

利用并行回火蒙特卡洛方法对溶液中二嵌段两性聚电解质单链的构象转变进行了研究.模型二嵌段两性聚电解质链是由两个连续的嵌段组成,其中1个嵌段是由正负电荷交替的两性聚电解质链组成,另一嵌段是由只含有1种电荷的单性聚电解质链组成.由于两性聚电解质链和单性聚电解质链的相变温度不同,研究的二嵌段两性聚电解质单链在两个温度出现了两次相变.