带不确定混合噪声系统的变分贝叶斯期望最大滤波算法

卡尔曼滤波器假设量测噪声为已知统计特性的高斯白噪声,然而系统可能受到不确定随机噪声以及未知有界噪声共同影响,若采用单一滤波策略,则估计结果易出现较大偏差。将两种不确定噪声运用未知参数的高斯混合模型进行表示,提出变分贝叶斯期望最大滤波算法。所提方法采用变分贝叶斯最大化方法对量测噪声模型中的超参数进行更新,在得到模型超参数后,利用变分贝叶斯期望算法计算噪声模型的隐变量。对上述过程反复迭代,最终获得系统的状态和协方差。仿真结果表明,相比于传统的卡尔曼滤波算法和联合滤波算法,变分贝叶斯期望最大滤波算法在出现混合不确定噪声时,经纬度定位精度均提高60%以上,提高了导航系统的精确性。

MIMO-OFDM系统中基于变分贝叶斯EM算法的联合符号检测与信道估计

基于变分贝叶斯期望最大化(VBEM,variational Bayes expectation maximization)算法和Turbo原理,提出了时变信道条件下MIMO-OFDM系统中的联合符号检测与信道估计算法。设计的软入软出空时检测器在采用列表球形译码避免穷尽搜索的同时,考虑了信道估计误差方差矩阵的影响;利用空时检测获得的发送信号后验概率分布估计,推出了新的Kalman前向后向递归信道估计器。仿真结果表明,在时变多径信道条件下,提出的算法比传统EM算法和面向判决算法更加具有顽健性。

基于变分贝叶斯的数据分类算法

随着互联网技术的高速发展,数据库的规模和复杂度不断增长,传统的分类方法已经不能满足复杂数据的分类需求,针对此类问题,提出了一种基于变分贝叶斯的数据分类算法。该算法在传统贝叶斯推断上引入变分近似理论,结合最大期望算法思想,利用统计物理中的平均场理论,并以混合高斯模型为例进行了实验仿真。实验结果证明,随机生成数据在经过382次迭代后,能明显看出由3组高斯模型混合而成,似然函数的下界随迭代次数增加不断上升,在350次迭代后曲线与预想一样趋于平缓,并且在误差允许的范围内得到接近真实数据的均值和逆协方差矩阵,实现其分类处理。在保证高精度的要求下计算速度更快、效率更高、更符合实际工程的应用背景。

一种基于变分贝叶斯的半监督双聚类算法

为了进一步提高双聚类结果的性能,提出了一种基于变分贝叶斯的半监督双聚类算法。首先,在双聚类过程中引入了行和列的辅助信息,并提出了相应的联合分布概率模型;然后基于变分贝叶斯学习方法对联合概率分布中的参数进行估计;最后,通过合成数据集和真实的基因表达式数据集对提出的算法性能进行评估。实验表明,提出的算法在进行双聚类分析时,其归一化互信息量明显优于相关的双聚类算法。

基于变分贝叶斯算法的线性变参数系统辨识

线性变参数系统(LPV)将多阶段、非线性的过程建模转化为线性多模型的辨识问题,是解决非线性过程建模的一个有效手段。由于实际工业过程存在各种干扰因素,导致被建模系统呈现随机性及模型参数的不确定性。针对这一问题,考虑采用变分贝叶斯(VB)算法对LPV模型进行辨识。该算法首先给定参数相应的先验分布,通过最大化目标函数的下界,从而估计得到参数的后验分布。不仅可实现对参数的点估计,同时量化了估计值的不确定性。针对典型二阶过程和连续搅拌反应釜(CSTR),运用提出的算法进行仿真实验,表明了该贝叶斯估计方法的优越性。

变分贝叶斯估计图像滤波去噪算法

图像在拍摄获取、存储和传输等过程中,由于操作、光线等会造成各种噪音。变分贝叶斯估计图像滤波去噪算法,是通过平均场理论将隐变量的后验按维度展开得到计算框架,并按维度迭代更新估计结果至算法收敛,引入新的隐变量,给出过程噪声后验分布。输入向量X(n)和期望响应d(n)被用来计算估计误差e(n),并利用此误差信号构造一个自适应算法的性能函数,随着数据输入的变化,自适应地更新此性能函数,并且不断使其最小化。在此过程中不断地更新调整滤波器的滤波参数,使得这个参数能在最小化性能函数所使用的准则下最优,从而达到滤波效果。首先,定义贝叶斯估计图像滤波模型;然后,利用贝叶斯后验概率分布推导、计算真实分布和近似分布之间的Kullback-Leibler距离;最后,以迭代递推方式估计目标状态,提高状态估计精度,实现图像滤波去噪。大量实验表明该算法滤波去噪效果明显,能最大程度地保护图像细节。

一种基于截断高斯先验和变分贝叶斯的多分类算法

稀疏核方法作为一类分类算法,因其良好的解释性和广泛的适用性,在近几十年的机器学习领域获得了巨大成功.概率分类向量机是其中代表.概率分类向量机通过引入截断高斯先验,不仅拥有概率输出,也保证了结果对核参数的稳定性.然而该算法是基于二分类问题建立,无法直接应用于多分类问题.本文从贝叶斯框架出发,提出了能够直接解决多类问题的截断高斯多类模型和用于求解该模型的基于变分贝叶斯的优化算法.在模型参数上,本文采用截断高斯先验,从而在算法训练时能够更好地利用基样本对应的标签信息.不随数据集类别数增加而增加的权重个数,不仅缓解了过拟合问题,也减轻了优化算法的时间空间消耗.该算法的参数更新是在类内进行,异类之间没有干扰,这个特性不仅使得它的时间复杂度优于其它贝叶斯算法,同时也保证了当数据集各类不平衡时,不会完全忽略小类数据.多个实验表明:在分类错误率和AUC值上,本文提出的模型和算法在多个数据集上都优于对比算法,尤其是当数据集的类别数较大时,有明显优势.

基于变分贝叶斯算法的青霉素发酵过程建模

青霉素发酵过程具有明显的阶段特征,同时由于操作条件多变、生产环境复杂等原因导致其存在极大的不确定性,故本文在变分贝叶斯框架下建立了青霉素浓度预测的FIR融合模型;首先选取调度变量对发酵阶段进行划分,然后基于变分贝叶斯算法辨识得到各FIR子模型的参数,最后根据阶段特征计算样本隶属于各子模型的概率并融合子模型的输出得到青霉素浓度的预测值;文中利用工业规模青霉素发酵罐的实际数据进行仿真实验,模型预测青霉素浓度的相关误差为0.24%,表明提出模型具有较高的拟合度,能够更为精准的预测青霉素浓度并适应实际的复杂工业环境。

基于时间序列变分贝叶斯理论的信号盲源分离

研究信号盲源分离中源信号和混合矩阵估计问题。独立分量分析盲源分离的不足之处在于不能估计混合矩阵和源信号的能量及顺序;变分独立因子分析盲源分离的不足之处在于依赖参数初值。将一般变分贝叶斯理论用于时间序列,推导出时间序列的变分贝叶斯期望极大算法。将此算法用于信号盲源分离,同时将传感器噪声逆方差的分布取为Wishart分布,得到了理论上更合理的后验分布参数更新规则。仿真数据和实际语音信号盲源分离结果表明这种方法可以比较准确地估计混合矩阵和源信号,在一定程度上弥补了独立分量分析和变分独立因子分析盲源分离的不足。

利用期望-最大化算法实现基于动态词典的压缩感知

在现有压缩感知(CS)理论中,重构信号需要预设其稀疏表示词典。对于以参数化模型表示的信号,只能预知该词典为某种形式的参数化词典,参数的具体取值难以确定。若将参数设定为取值空间的均匀离散格点,预设词典与真实词典之间的失配将使传统CS重构方法的性能严重恶化。为解决这一问题,该文提出一种基于动态词典的CS重构方法。通过迭代地优化词典参数,该方法在信号重构过程中对词典进行动态调整。为同时实现稀疏恢复与词典调整,该方法利用变分期望-最大化(EM)算法交替执行信号系数估计与词典参数优化。实验结果表明所提方法是有效的。

基于贝叶斯框架的OFDM稀疏信道估计算法

为了提高正交频分复用OFDM(Orthogonal Frequency Division Multiplexing,OFDM)稀疏信道估计的性能,实现了一种基于3-L分层先验模型的变分贝叶斯VMP(Variational Message Passing)消息传递算法。该算法对待估计向量的辅助函数分组并且加入贝塞尔函数,通过消息传递原则更新估计值参数,最后估计出频率响应采样值。仿真显示相较于传统的CosaMP、EM算法,提出的变分贝叶斯VMP算法可以获取更好的重构性能。在中高信噪比下,所提出的算法比传统CosaMP、EM算法的误比特率提高了2-3db,均方误差提高了3-4db。

基于变分贝叶斯估计方法的双尺度自适应Kalman滤波

针对Kalman滤波在对敌目标估计应用中遇到的量测和过程噪声均未知且时变的情况,提出了一种利用变分贝叶斯估计的双尺度自适应滤波方法。解决了2个关键问题:一是针对量测和过程噪声协方差的共轭后验分布提出了相对转移概率指标,设计了启发式的自适应噪声估计窗口,实现了稳态精度和时变响应性能的综合提升,能适应敌方目标机动性高且统计特性变化快的特点;二是设计了在不同时间尺度上估计过程噪声和量测噪声的协方差方法,解决了在同一时间尺度上使协方差估计值发生严重偏差且增大滤波误差的问题。仿真表明,所提方法能快速跟踪目标状态噪声统计特性的变化并保证估计精度。

基于变分贝叶斯隐马尔科夫模型的股票价格指数预测

本文将传统的隐马尔科夫模型中用于参数学习的Baum-Welch算法改进为变分贝叶斯算法,并将变分贝叶斯隐马尔科夫模型应用于股票价格指数预测,分别选取国外市场美股S&P500指数以及国内市场沪深300指数进行预测,并与传统的隐马尔科夫模型、BP神经网络、ARIMA模型相比较,得出结论变分贝叶斯隐马尔科夫模型对于大规模数据处理更有优势,运算速度快且预测精度更高。

稀疏贝叶斯学习框架下的扩展目标雷达关联成像

传统的关联成像方法未考虑复杂扩展目标的结构信息,在高分辨成像时的应用受到限制,为此提出一种自适应结构配对稀疏贝叶斯学习方法。该方法在稀疏贝叶斯学习的框架内针对扩展目标建立一种结构配对层次化高斯先验模型,然后采用变分贝叶斯期望-最大化算法交替进行目标重构和参数优化。该方法将某一信号分量的重构与周围信号分量联系起来,并能在迭代过程中自适应地调整表征各信号分量相关性的参数。实验结果表明,该方法针对扩展目标可以有效地进行高分辨成像。

基于FPGA的两阶段配电网拓扑实时辨识算法

对配电网拓扑进行准确的实时辨识是电力系统安全稳定运行的基础,但随着新能源的接入以及配电网规模不断增大,配电网拓扑结构的动态变化愈加频繁且难以辨识。然而,现有配电网拓扑辨识算法所使用的历史数据需要人工对其进行拓扑标注,且拓扑辨识时间长,难以实现配电网拓扑实时辨识。因此,文中提出了一种基于现场可编程逻辑门阵列(FPAG)的两阶段配电网拓扑结构实时辨识算法。该算法不需要预先给出配电网拓扑类别的数量,即可对已有历史数据进行相应的拓扑标注及分类,并且基于FPGA实现了对配电网拓扑的实时辨别。该算法分为2个阶段:第1阶段采用变分贝叶斯高斯混合模型,对已有历史数据进行相应的拓扑标注及分类;第2阶段采用麻雀搜索算法,使得支持向量机快速收敛得到最优参数,以实现对配电网拓扑结构的精准辨识。基于该算法,利用FPGA并行架构以及高速高密度特性建立了实时拓扑结构辨识平台。最后,通过算例分析验证了所提辨识方法的有效性和优越性。

基于改进Sage-Husa的GNSS/SINS组合导航系统自适应UKF算法

GNSS/SINS组合导航系统的无迹卡尔曼滤波器(UKF)是以准确的测量噪声统计特性为基础的,当测量噪声统计特性发生变化时,如不对其进行准确的估计,将会导致UKF的滤波性能下降甚至发散。为了解决上述问题,提出了一种基于改进Sage-Husa的GNSS/SINS组合导航系统自适应UKF算法(ISHUKF)。首先,建立了GNSS/SINS非线性组合导航系统的简化UKF模型;然后,在分析组合导航系统中常规Sage-Husa算法存在滤波发散原因的基础上,提出了一种改进的Sage-Husa算法以保证测量噪声估计方差的正定性;最后,进行了GNSS/SINS组合导航系统的仿真实验。实验结果表明,相对于变分贝叶斯算法,ISHUKF对测量噪声方差的估计精度与其大致相同,并且算法更加简单;相对于标准UKF算法,在整个仿真时段内可提高组合导航系统的位置精度、速度精度和姿态精度分别约33%、35%和72%,进而验证了算法的可行性及优越性,并为复杂环境下组合导航系统的滤波方法提供了一种简易的方法。

δ-广义标签多伯努利滤波算法的非线性扩展

针对高斯混合(Gaussian mixture,GM)实现的变分贝叶斯-δ-广义标签多伯努利(variational Bayesian-δ-generalized labeled multi-Bernoulli,VB-δ-GLMB)滤波算法在非线性场景下跟踪性能较低这一问题,结合基于临近点算法(proximal point algorithm,PPA)和变分贝叶斯(variational Bayesian,VB)的迭代优化与容积卡尔曼滤波(cubature Kalman filtering,CKF),提出一种适用于非线性模型的机动多目标跟踪算法。该算法在GM-VB-δ-GLMB的基础上采用逆伽马(inverse-Gamma,IG)和高斯乘积混合分布近似量测噪声协方差和状态联合后验分布;利用PPA-CKF-VB(PCKF-VB)方法对传递过程中的高斯项参数进行预测更新;最后为提高滤波精度进行变分贝叶斯容积RTS(VB cubature Rauch-Tung-Striebel,VB-CRTS)平滑。仿真结果表明,对于量测噪声未知的非线性系统,所提的算法与现有的VB-δ-GLMB算法相比目标跟踪精度有显著提高。

基于有界高斯混合模型的高光谱图像去噪方法

针对高光谱图像的噪声去除问题,本文提出了一种基于有界高斯混合模型的高光谱图像去噪方法。在该方法中,我们使用张量表示高光谱图像,并对其进行Tucker分解,最后采用有界高斯混合模型对噪声进行拟合,从而将图像的固有特征和噪声建模相结合。我们将图像和噪声的先验信息表述为一个完整的贝叶斯模型,并设计了变分贝叶斯算法来封闭更新模型中所涉及的变量。最后,我们将本文所提出的去噪算法与其他算法进行对比,验证了该方法的先进性。

高超声速飞行器自适应鲁棒跟踪滤波算法

针对高超声速飞行器在复杂空域飞行时,探测信息为非平稳且统计信息未知的非高斯闪烁噪声,提出了一种改进的鲁棒高斯-学生t混合分布滤波(RGSTMF)算法。首先,针对噪声的非高斯和非平稳特性,该算法利用高斯-学生t混合(GSTM)分布对量测噪声进行建模。针对实际跟踪过程中存在的噪声统计特性未知问题,采用高斯-逆Wishart分布对量测噪声未知且时变的均值进行描述,并且采用伽马函数对学生t(ST)分布的自由度进行建模。引入伯努利随机变量和隐变量,将建模好的GSTM分布模型描述成分层高斯状态空间。基于构建的分层高斯状态空间模型,通过变分贝叶斯算法,完成对RGSTMF算法的推导。仿真结果表明,在复杂空域噪声的探测信息异常值出现以及探测信息统计特征未知时,所提出的算法能有效提高跟踪滤波的精度和鲁棒性。

测量噪声方差未知的多传感器组合导航集中融合算法

目前,多传感器组合导航系统的信息融合方法是建立在测量噪声方差已知的基础上,然而测量噪声方差会随着内部及外部的干扰而发生变化。为此,本文首先将基于变分贝叶斯逼近的自适应卡尔曼滤波(variational Bayesian approximation based adaptive Kalman filter, VB-AKF)从单一组合导航系统扩展到多传感器组合导航系统;然后,提出了多传感器组合导航系统的两种集中融合算法,即基于VB-AKF的增广式集中融合算法及基于VB-AKF的序贯式集中融合算法,以解决测量噪声方差未知情况下的多传感器组合导航的信息融合问题;最后,通过SINS/GNSS/CNS/ADS多传感器组合导航系统对上述算法进行了仿真验证。实验结果表明,本文所提两种算法滤波精度相同、且接近于测量噪声方差已知情况下的理想集中融合算法(ICKF)。在整个仿真时段内,相对于传统集中式卡尔曼滤波器(TCKF)及具有容错功能的联邦卡尔曼滤波算法(FT-FKF),本文算法可提高位置精度分别为32%和90%、提高速度精度分别为38%和71%。