基于自然梯度的噪声自适应变分贝叶斯滤波算法

考虑到运动目标跟踪系统机动、隐身等人为对抗特征以及非视距、干扰、遮挡等环境因素,其系统建模、估计与辨识过程中越来越无法回避非线性、非高斯以及参数未知等复杂系统特征的影响.针对过程噪声先验信息不准确以及量测噪声非高斯环境下运动目标的非线性状态估计问题,提出一种基于自然梯度的噪声自适应变分贝叶斯(Variational Bayes,VB)滤波算法.首先,利用指数族分布具有统一表达形式的优势,构建参数化逆威沙特(Inverse-Wishart,IW)分布作为状态一步预测误差协方差的共轭先验分布,同时选取学生t分布重构因量测随机缺失导致的具有非高斯特点的似然函数;其次,在变分贝叶斯优化框架下采用平均场理论将状态变量联合后验分布近似分解为独立的变分分布,在此基础上,结合坐标上升方法更新各变量的变分分布参数;进而,结合Fisher信息矩阵推导置信下界最大化关于状态估计及其估计误差协方差的自然梯度,使非线性状态后验分布的近似分布沿梯度下降,以实现对状态后验概率密度函数(Probability density function,PDF)的“紧密”逼近.理论分析和仿真实验表明:相对传统的非线性滤波方法,本文算法对噪声不确定问题具有较好的自适应能力,并且能够获得较高的状态估计精度.

基于扩散方法的分布式随机变分推断算法

分布式网络上的聚类、估计或推断具有广泛的应用,因此引起了许多关注.针对已有的分布式变分贝叶斯(Variational Bayesian,VB)算法效率低,可扩展性差的问题,本文借用扩散方法提出了一种新的分布式随机变分推断(Stochastic variational inference,SVI)算法,其中我们选择自然梯度法进行参数本地更新并选择对称双随机矩阵作为节点间参数融合的系数矩阵.此外,我们还为所提出的分布式SVI算法提出了一种对异步网络的适应机制.最后,我们在伯努利混合模型(Bernoulli mixture model,BMM)和隐含狄利克雷分布(Latent Dirichlet allocation,LDA)模型上测试所提出的分布式SVI算法的可行性,实验结果显示其在许多方面的性能优于集中式SVI算法.

次梯度外梯度方法求解随机变分不等式

随机变分不等式在供应链网络、交通运输和博弈论中具有广泛的应用。提出基于次梯度外梯度的随机逼近方法求解随机变分不等式,将矫正步的投影改投在半空间,以此来减少计算投影的代价。在适当的假设下,证明了所提出的算法具有全局收敛性。

基于VMD形态梯度谱与BAS-RF的变压器绕组松动诊断

为有效提取变压器振动信号中的绕组状态信息,提出一种基于变分模态分解(variational mode decomposition,简称VMD)、形态梯度谱的特征提取,采用天牛须搜索算法优化随机森林(beetle antennae search‑random forest,简称BAS‑RF)识别绕组松动状态的诊断方法。首先,将实测变压器振动信号经VMD分解得到若干个模态分量;其次,计算多个尺度的形态梯度谱以形成初始特征样本集,为防止维数灾难,使用主成分分析法对初始特征样本集进行降维处理;最后,利用天牛须搜索算法对随机森林中决策树的个数和树的深度进行寻优以构造分类器模型,实现对变压器绕组松动状态的识别。实验结果表明,该方法能有效提取变压器绕组松动故障特征信息,且具有优良的抗噪性能,构建的BAS‑RF模型具有较高的识别准确率和识别速度。

面向大规模数据主题建模的方差减小的随机变分推理算法

随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI作出改进,提出一种方差减小的SVI(VR-SVI)算法。首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性。实验结果表明,VRSVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果。

一个梯度约束的变分不等式中的自由边界问题

考虑一个抛物型梯度约束的变分不等式min{v_t-1/2σ~2v_(xx)-μv_x+cv,v_x-1}=0.问题来源于以公司最优分红模型为背景的随机最优控制问题.本文运用偏微分方程技术,通过引入惩罚方法,得到变分不等式解的存在唯一性和一些先验估计,然后进一步讨论自由边界的性质,最终证明自由边界不仅可以表示成x关于t的函数,而且是以0为起点、单调递增、C~∞的曲线.

基于不确定性的多元时间序列分类算法研究

多元时间序列(Multivariate time series,MTS)分类是许多领域中的重要问题,准确的分类结果可以有效地帮助决策.当前的MTS分类算法在个体的表征学习阶段难以自动建模多元变量之间复杂的交互关系,并且无法评估分类结果的可信度,这会导致模型性能受限,以及缺乏具备统计意义的可靠性解释.本文提出了一种基于不确定性的多元时间序列分类算法,变分贝叶斯共享图神经网络,即VBSGNN(Variational Bayes shared graph neural network).首先通过图神经网络(Graph neural network,GNN)提取多元变量之间的交互特征,然后利用贝叶斯神经网络(Bayesian neural network,BNN)为预测过程引入了不确定性.最后在10个公开MTS数据集上进行了算法实验,并与当前提出的7类算法进行了比较,结果表明VBSGNN可有效学习多元变量之间的交互关系,提升了分类效果,并使得模型具备一定的可靠性评估能力.

考虑频域分解后数据特征的空调负荷预测模型

针对空调负荷预测实际应用中容易存在数据散杂且可用信息匮乏的问题,从负荷序列的非线性、非平稳性和随机性出发,提出了一种基于变分模态分解(VMD)的负荷预测方法.对不同数据特征序列考虑不同算法的数据观测与训练原理差异,充分发挥各个模型优势.首先采用随机森林(RF)进行特征选择,利用VMD将负荷序列按趋势分量、平稳分量和噪声分量进行分类重构,并分别对非线性序列建立最小二乘支持向量机(LSSVM)预测模型,时序平稳序列建立极端梯度提升(XGBoost)预测模型,采用正态分布拟合随机误差,得到各子序列预测结果并进行叠加输出最终负荷预测结果.实验结果表明,所提方法能准确反映负荷的特性并具有更好的预测精度,能有效预测空调负荷,为空调节能优化控制策略提供依据.

求解双目标规划的近似邻近外梯度算法

为解决双目标规划问题的常规解法受预先设定的权重的影响,而影响其结果准确性的问题,提出了双目标规划问题的近似邻近外梯度算法.结果表明:将双目标规划问题等价变形为变分不等式,在求解变分不等式子问题的基础之上,用半空间投影构造迭代步,避开了对权重的设定,证明了算法的全局收敛性.实例分析进一步验证算法的可行性与有效性.

求解随机变分不等式问题的修正外梯度随机逼近算法

【目的】研究求解随机变分不等式问题的基于外梯度的随机逼近算法。【方法】依据求解经典变分不等式问题的外梯度算法,给出求解随机变分不等式问题的修正外梯度随机逼近算法。【结果】在适当的假设下,证明了修正外梯度随机逼近算法具有全局收敛性,初步的数值试验结果表明算法具有有效性。【结论】修正外梯度随机逼近算法是对已有的外梯度随机逼近算法的进一步推广,并且可在更弱的假设下获得它们的全局收敛性结果。

概率模型在图像分类方面的应用

随着互联网、多媒体技术的不断发展以及图像数据的迅速增长,如何对大量的图像数据进行有效的图像分类已经成为目前图像处理技术研究的热点问题。对提取的图像信息特征结合概率模型求解图像分类的问题,能够有效提高图像分类的效率与精度。本文主要介绍了极大似然估计、最大期望算法和变分推断三种求解方法,并总结归纳了基于这几种概率模型的图像分类方法的研究现状,以及这些方法的优缺点,最后总结了有待深入研究的难点问题,并对基于随机变分推理的图像分类方法进行了展望。

利用标注者相关性的深度生成式众包学习

传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性.

大数据背景下VI理论研究与实际应用

指出了许多无监督或半监督机器学习算法依赖于贝叶斯概率模型,这些模型中参数的后验分布通常难以计算。VI是一种通过优化算法近似后验密度的统计推断方法。VI与机器学习方法相结合,可为大数据分析提供新的思路和方法。在对VI的产生和发展进行回顾的基础上,介绍了VI中经典的平均场理论和相应的坐标上升算法,以及将VI拓展到大数据分析领域的SVI算法,并对VI的发展前景进行了分析,对VI中一些衡量指标以及独立性假设进行了改进,提出了VI与统计学方法的结合将成为未来的研究方向。