基于局部变分贝叶斯推断的分布式交互式多模型估计

针对目前部分多模型算法预先设定运动模型转移概率矩阵对状态估计精度的不利影响,本文提出了一种基于局部变分贝叶斯推断的分布式交互式多模型估计算法.不同于传统交互式多模型估计中运动模型转移概率矩阵为先验已知的假设条件,在分布融合估计框架下,首先基于最小化Kullback-Leibler散度准则的递归优化策略实现对运动模型转移概率矩阵的预测与更新;在此基础上,结合变分贝叶斯推断实现对当前时刻目标状态与模型概率的联合估计;最后依据协方差交叉融合策略完成对局部状态估计融合.仿真结果表明:新算法通过对运动模型转移概率矩阵以及模型概率自适应在线估计,有效提升了机动目标的状态估计精度.

Clustering in the Wireless Channel with a Power Weighted Statistical Mixture Model in Indoor Scenario

Cluster-based channel model is the main stream of fifth generation mobile communications, thus the accuracy of clustering algorithm is important. Traditional Gaussian mixture model (GMM) does not consider the power information which is important for the channel multipath clustering. In this paper, a normalized power weighted GMM (PGMM) is introduced to model the channel multipath components (MPCs). With MPC power as a weighted factor, the PGMM can fit the MPCs in accordance with the cluster-based channel models. Firstly, expectation maximization (EM) algorithm is employed to optimize the PGMM parameters. Then, to further increase the searching ability of EM and choose the optimal number of components without resort to cross-validation, the variational Bayesian (VB) inference is employed. Finally, 28 GHz indoor channel measurement data is used to demonstrate the effectiveness of the PGMM clustering algorithm.

基于改进贝叶斯概率模型的推荐算法

针对现有基于矩阵分解的协同过滤推荐系统预测精度与推荐精度较低的问题,提出一种改进的矩阵分解方法与协同过滤推荐系统。首先,将评分矩阵分解为两个非负矩阵,并对评分做归一化处理,使其具有概率语义;然后,采用变分推理法计算贝叶斯概率模型实部后验的分布;最后,搜索相同偏好的用户分组并预测用户的偏好。此外,基于用户向量的稀疏性设计一种低计算复杂度、低存储成本的推荐结果决策算法。基于3组公开数据集的实验结果表明,本算法的预测性能以及推荐系统的效果均优于其他预测算法与推荐算法。

二值probit回归模型的坍缩变分贝叶斯推断算法

给出了二值probit回归模型的坍缩变分贝叶斯推断算法.此算法比变分贝叶斯推断算法能更逼近对数边缘似然,得到更精确的模型参数后验期望值.如果两个算法得到的分类错误一致,则该算法的迭代次数较变分法明显减少.仿真实验结果验证了所提出算法的有效性.

子空间干扰非高斯杂波的抑制

在复杂电磁环境下,往往需要在线估计杂波协方差矩阵,从而自适应调整滤波器权值,实现对杂波的有效抑制,这样有利于目标的估计、检测、定位或跟踪。该文考虑非高斯杂波模型,且部分杂波受到子空间信号干扰,并且有用信号也位于该子空间内。常规方法会导致自适应滤波器在目标多普勒频率处有较大的衰减,极大影响了有用信号的探测。为此提出了一种知识辅助的分层贝叶斯模型,采用变分贝叶斯推断方法获得杂波协方差矩阵的近似后验分布,利用后验均值设计杂波抑制滤波器,可以有效提高目标的探测性能。计算机仿真和实测数据验证结果表明,该方法能够有效抑制杂波,而在目标处有较好的探测能力。

液体火箭发动机的分层贝叶斯变分推理故障诊断方法

针对稀疏数据场景下,传统的多项式-狄利克雷模型存在一定的分类精度问题,提出一种基于变分推理的分层贝叶斯网络的参数估计方法.通过在传统的多项式-狄利克雷模型中引入超先验,构建出的分层多项式-狄利克雷模型可用于贝叶斯网络中的条件分布估计.对分层多项式-狄利克雷模型的先验依赖结构进行分析研究,提出一种快速准确的自组织变分推理算法.与传统的分类模型相比,本文提出的分层多项式-狄利克雷模型在处理小数据集液体火箭发动机的故障分类中有显著的性能提高.

基于块稀疏贝叶斯模型的ISAR成像方法

传统ISAR稀疏成像主要针对独立散射点散射系数的重构问题,然而实际情况下目标散射点之间并不是独立存在的,而是以区域或块的形式存在,在该情形下利用常用的稀疏重构算法并不能完全地刻画块状目标的真实结构,因此该文考虑采用块稀疏重构算法进行目标散射系数重建。基于块稀疏贝叶斯模型和变分推理的重构方法(VBGS),包含了稀疏贝叶斯学习(SBL)方法中参数学习的优点,其利用分层的先验分布来表征未知信号的稀疏块状信息,因而相对于现有的恢复算法能够更好地重建块稀疏信号。该方法基于变分贝叶斯推理原理,根据观测量能自动地估计信号未知参数,而无需人工参数设置。针对稀疏块状目标,该文结合压缩感知(CS)理论将VBGS方法用于ISAR成像,仿真实验成像结果表明该方法优于传统的成像结果,适合于具有块状结构的ISAR目标成像。

基于无限逆狄利克雷混合模型的变分学习

近期的研究表明,有限逆狄利克雷混合模型是一种建模非高斯数据的重要的模型。然而,它存在参数估计及模型选择困难的问题。利用常用的EM算法无法对其进行准确地估计参数及选择最佳的混合分量数。因此,论文研究无限逆狄利克雷混合模型,提出一种变分近似推理算法对其进行学习。该算法能够同时解决这两个问题。为了验证算法的有效性,论文在人工数据集上进行了大量的实验,实验结果表明利用变分贝叶斯推理来估计混合无限逆狄利克雷分布是一种非常有效的方法。

混合逆狄利克雷分布的变分学习及应用

混合逆狄利克雷分布是正的非高斯数据分析中一个重要的统计模型.但是利用常用的统计方法比如极大近似然估计、矩估计等往往很难得到模型参数估计的显性解析式.本文提出一个变分贝叶斯学习算法,它能够在估计参数的同时自动确定混合分量数.在合成数据集及实测数据集上的实验结果表明利用变分贝叶斯推理来估计混合逆狄利克雷分布是一种非常有效的方法.

强杂波背景下基于变分贝叶斯推理的机载雷达目标跟踪算法

机载雷达遭受的强杂波干扰以及目标的强机动使噪声呈现长拖尾的非高斯特性.此外,载机的运动导致杂波淹没目标的航迹,使雷达无法检测到目标,出现随机的量测丢失现象.为此,设计了强杂波背景下含量测丢失的目标跟踪算法.该算法采用学生t分布来模拟非高斯噪声的长拖尾特性.通过引入伯努利随机变量,将求和形式的后验概率密度函数转换成乘积形式的概率质量函数,并构建了分层状态空间模型.在此基础上,设计了用于量测丢失的鲁棒变分贝叶斯平滑器.以机载雷达跟踪空中目标为例验证了本文算法的有效性.

贝塔混合模型的变分贝叶斯学习及应用

贝塔混合模型(Beta Mixture Model,BMM)是一种重要的非高斯概率模型,常用于有界数据的统计分析.但是由于其表达式复杂,BMM的参数估计比较困难.针对该问题,本文提出一种高效的变分贝叶斯学习方法进行参数估计.该方法采用形式简单的自由分布,通过不断最大化初始变分目标函数的下界,迭代逼近得到真实的贝叶斯后验分布.在合成数据集与实际数据集上进行实验,实验结果证明了所提出算法的有效性和可行性.

Logistic组稀疏回归模型的Bayes建模及变分推断

在工程应用中,如数据挖掘、成本预测以及风险预测等,Logistic回归是一类十分重要的预测方法.当前,大部分Logistic回归方法都是基于优化准则而设计,这类回归方法具有参数调试过程繁琐、模型解释性差、估计子没有置信区间等缺点.本文从Bayes概率角度研究Logistic组稀疏性回归的建模与推断问题.具体来说,首先利用高斯-方差混合公式提出Logistic组稀疏回归的Bayes概率模型;其次,通过变分Bayes方法设计出一个高效的推断算法.在模拟数据上的实验结果表明,本文所提出的方法具有较好的预测性能.

基于概率预测的用电采集终端电量异常在线实时识别方法

电力市场环境下用电信息采集系统采集的用电量成为市场结算的重要依据。实时识别用电采集终端上送的异常电量,不但可以提升数据质量,也可以为发现采集终端的故障、识别异常用电行为提供参考。针对现有异常数据识别方法识别性能和实时性不高的问题,提出基于概率预测的电量异常在线实时识别方法。首先,在分析电量异常类型和特点的基础上,提出离线训练概率预测模型、在线实时识别异常数据的检测方法。其次,提出了基于状态空间模型的结构化用电量模型对用户用电规律进行建模,并采用变分贝叶斯推断训练模型,以实现用电量的概率分布预测。最后,利用预测标准分数衡量电量实测数据与电量概率预测结果之间的差异,从而实现异常数据的在线识别。采用实际电量数据进行验证,并与其他方法进行对比,验证了该方法的实用性和有效性。

基于结构化负荷模型的电力负荷概率区间预测

为了考虑电力负荷的不确定性,概率和区间预测成为电力负荷预测的重要方式之一。针对传统的负荷概率及区间预测方法没有考虑不同负荷成分的不确定性对电力负荷影响的问题,在分析电力负荷成分的基础上,基于结构化电力负荷模型提出一种电力负荷概率及区间预测方法。首先,对电力负荷的成分进行分析,针对不同负荷成分分别进行建模,构成结构化电力负荷模型;然后,基于历史负荷数据采用变分贝叶斯估计算法训练模型参数的后验概率分布;最后,基于训练完成的模型对未来负荷的概率分布进行预测,从而实现电力负荷概率区间预测。采用实际电力负荷数据进行验证,并与其他方法进行对比。实验结果表明,所提方法取得了较高的预测区间覆盖率和较窄的预测区间宽度。

利用标注者相关性的深度生成式众包学习

传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性.

鲁棒边缘粒子滤波及在目标跟踪中应用

边缘粒子滤波是组合导航和目标跟踪中状态估计的高效方法;文章目的是研究附加量测噪声具有时变未知方差的鲁棒边缘粒子滤波的算法并对算法仿真验证;设计方法是使用Rao-Blackwellised原则实现混合模型中状态降维,然后状态与量测方差同时分别估计;量测分布模型设置为具有鲁棒性质的学生t分布,通过这种量测似然模型得到粒子权值;变分推断方法加入混合滤波方案进行量测噪声方差参数的实时递推估计;重采样阶段粒子权值与状态及噪声参数一起进行重采样,结果是给出状态与噪声参数估计的鲁棒边缘粒子滤波;通过对常速目标运动跟踪模型量测噪声方差渐变和突变两种情况的仿真设置分析,验证了所提算法在量测方差变化情况下性能优于边缘粒子滤波算法的结论。

线性混合效应模型贝叶斯分位回归的变分推断

贝叶斯分位回归能够对线性混合效应模型中的参数进行良好的估计.在贝叶斯参数估计中,常用Gibbs抽样方法.为了得到精确的估计结果,Gibbs抽样方法需要进行多次抽样.当模型参数维度较高时,Gibbs抽样方法将会十分耗时.因此,文章采用变分推断来近似参数的后验分布.变分推断采用无条件分布来逼近Gibbs方法得到的条件分布,从而使得计算变得高效.文章将模型参数的先验假定为正态分布,对无惩罚线性混合效应模型的参数进行变分推断.考虑到模型参数可能面临的高维情况,文章将模型参数的先验假定为Laplace分布,对双惩罚线性混合效应模型的参数也进行变分推断.从模拟结果来看,变分推断对模型参数估计的精度虽略小于Gibbs抽样方法,但其运行速度较快.在高维情况下,运行效率依然很高.在大数据时代,时间和资源的消耗是文章首先需要考虑的因素.因此,文章提出的方法可实际运用在高维线性混合效应模型中.

珠算:可微概率编程库的设计与实现

概率模型为机器学习处理广泛存在的不确定性提供了强大的工具.概率编程利用计算机程序表示概率模型,支持采样和以任意观察值为条件进行的概率推断.长期以来,概率程序中的依赖关系往往是线性或广义线性的,许多成功的模型和推断算法往往都依赖于这一简化.然而,这也限制了概率程序的表达能力和灵活性.可微概率编程允许构建具有参数化的非线性依赖关系(如神经网络)的概率程序,并使用基于梯度的方法从数据中学习未知参数.这种编程范式容易扩展,极大地避免了繁琐的模型选择过程,且允许端到端地部署概率模型.本文介绍珠算(ZhuSuan),一种开源的可微概率编程库,并以此为例,探讨可微概率编程系统的设计与实现.