面向大规模数据主题建模的方差减小的随机变分推理算法

随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI作出改进,提出一种方差减小的SVI(VR-SVI)算法。首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性。实验结果表明,VRSVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果。

大规模网络广义社区发现随机变分推理算法

流行度-生成度随机块(popularity-productivity stochastic block,PPSB)模型能发现网络广义社区,但该模型易过拟合,且不能有效处理大规模网络,故提出一个3层贝叶斯网络广义社区发现(generalized PPSB,GPPSB)模型,并给出实现大规模链接网络和内容网络广义社区发现的随机变分推理(stochastic variational inference,SVI)算法GPPSB-SVI和GPPSB-C-SVI。不同规模人工网络和实际网络上的实验结果表明:GPPSB-SVI准确性优于已有流行大规模网络社区发现算法,效率高于基于PPSB模型的广义社区发现算法;GPPSB-C-SVI准确性优于GPPSB-SVI算法;GPPSB模型引入节点隶属度和类间链接概率矩阵的先验分布,可更好地对网络建模,其参数估计算法GPPSB-SVI、GPPSB-C-SVI可更有效地实现大规模网络广义社区发现。

基于随机变分推理贝叶斯神经网络的发电机轴承故障诊断

近年来,许多基于深度学习的方法被用于故障诊断领域,并且取得了良好的效果,但是发电机故障样本数据难以获取,在数据量较少的情况下,基于深度学习的方法存在过拟合现象,导致模型泛化能力差、诊断精度不高.为了解决这一问题,提出一种基于随机变分推理贝叶斯神经网络的故障诊断方法.该方法以贝叶斯推理与随机变分推理为基础,可以根据少量数据得到较为可靠的模型,获得网络各层参数的概率分布,有效解决过拟合的问题.采用证据下限(evidence lower bound,ELBO)派生类函数TraceGraph ELBO进行随机变分推理,解决派生类函数Trace ELBO诊断精度较低的问题.将所提方法应用于发电机轴承的故障诊断,并与其他方法对比,结果表明,所提方法在故障样本数据量较少的情况下具有较高的诊断性能.

污水流量与天气数据融合的贝叶斯服务人口预测

传统基于污水日均流量及人均用水量的人口预测模型缺乏对天气因素的考虑,存在人口数量测算偏大等问题。为了综合考虑天气因素对污水日均流量的影响,提出了一种基于污水监测数据与天气数据融合的贝叶斯服务人口预测模型。通过引入天气影响因子,同质化、异质化天气影响因子转化率,天气因素对污水日均流量的贡献量等,构建基于贝叶斯方法的污水日均流量生成模型。基于随机变分推理,获得生成模型参数的后验分布,进而实现各污水处理厂服务区域的服务人口预测模型。该模型能抵消区域天气因素的综合影响水平,能更合理地实现污水厂服务区域的人口数量预测。同时,通过统计分析对比了同质化、异质化天气影响因子转化率估计,天气因素对污水日均流量的影响等。该服务人口预测模型能进一步支撑城市人口的态势感知,对提升社会治理能力有重要意义。

概率模型在图像分类方面的应用

随着互联网、多媒体技术的不断发展以及图像数据的迅速增长,如何对大量的图像数据进行有效的图像分类已经成为目前图像处理技术研究的热点问题。对提取的图像信息特征结合概率模型求解图像分类的问题,能够有效提高图像分类的效率与精度。本文主要介绍了极大似然估计、最大期望算法和变分推断三种求解方法,并总结归纳了基于这几种概率模型的图像分类方法的研究现状,以及这些方法的优缺点,最后总结了有待深入研究的难点问题,并对基于随机变分推理的图像分类方法进行了展望。

基于狄利克雷混合模型的图像分类算法研究

本文针对狄利克雷混合模型提出了有效的随机变分推理算法。首先,构建抽样数据的变分目标函数的下界;其次,利用随机优化和自然梯度下降算法推导出变分后验分布的解析解表达式;最后,将其应用于图像分类问题,实验验证了该算法的有效性。

基于概率模型的大规模网络结构发现方法

随着万维网和在线社交网站的发展,规模大、结构复杂、动态性强的大规模网络应用而生.发现这些网络的潜在结构,是分析和理解网络数据的基本途径.概率模型以其灵活的建模和解释能力、坚实的理论框架成为各领域研究网络结构发现任务的有效工具,但该类方法存在计算瓶颈.近几年出现了一些基于概率模型的大规模网络结构发现方法,主要从网络表示、结构假设、参数求解这3个方面解决计算问题.按照模型参数求解策略将已有方法归为两类:随机变分推理(stochastic variational inference)方法和在线EM(online expectation maximazation)方法,详细分析各方法的设计动机、原理和优缺点.定性和定量地对比、分析典型方法的特点和性能,并提出大规模网络结构发现模型的设计原则.最后,概括该领域研究的核心问题,展望未来发展趋势.

加权网络的在线结构学习算法

随着互联网技术的进步,网络关系数据不断涌现,规模不断膨胀,网络数据的结构分析成为机器学习和网络应用领域的研究热点.为了提高推理效率,文中提出加权网络的在线结构学习算法.首先,使用指数族分布描述加权网络的生成过程.然后,利用随机变分推理方法,构建加权网络的在线结构学习算法.该算法采用基于重采样技术的增量学习方式,降低优化的时间复杂度.最后,利用基于自然梯度理论的随机优化方法进一步加速学习过程,实现网络社区结构的在线学习和实时优化.通过与传统的离线学习算法进行对比实验,验证文中算法能高效快速地实现复杂加权网络的社区结构学习,并在较短时间内达到较高的预测精度.