基于Bayesian的期望最大化方法——BEM算法

通过对标准 EM算法收敛于局部极值的原因进行分析 ,提出了基于 Bayesian方法的神经网络新学习算法—— BEM算法 .该算法解决了标准 EM算法的上述缺陷 ,同时还可防止标准 EM算法 Overfitting情况的出现 ,并可防止标准 EM算法有时只响应单一模式而失去泛化能力情况的出现 .实验结果表明了该算法的正确性和有效性 .该算法对研究和发展标准

滑动数据窗口驱动动的的贝叶斯-高斯网络及其在非线性系统辨识中的应用

工业控制场合中,需要获取非线性被控对象的结构特性,而系统动态响应的数据直接从外部特征上反映了非线性系统结构关系.为了充分利用非线性动态系统响应过程中的数据,本文提出了一种基于滑动数据窗口(sliding data window)的贝叶斯-高斯神经网络(SW-BGNN)模型.该模型将数据融合于网络模型结构中,借助于贝叶斯推理和高斯假设,利用滑动窗口数据,实现非线性动态系统的辨识和预测.整个SW-BGNN本身需要确定的参数很少,因此运算的时间很短,适合于非线性动态系统的在线辨识.将SW-BGNN应用于几个非线性动态系统的辨识和预测,仿真试验结果表明了SW--BGNN模型的有效性.

基于小波特征与动态高斯混合模型的动作电位分类研究

提出了一种结合小波时频特征提取以及动态高斯混合模型模式分类的动作电位分类新算法,以实现植入式脑电研究中非同源动作电位的非监督聚类。在阈值法检测动作电位信号的基础上,采用sym5小波变换基函数提取各个动作电位的时频特征,以提高动作电位信号在高频突变阶段的时间分辨率;考虑到动作电位信号的非平稳特性,对时频特征序列进行了分帧处理,然后分别采用高斯混合模型和贝叶斯网络模型对帧内和帧间数据进行建模,从而实现了基于动态高斯混合模型的动作电位模式分类。实验结果表明,该方法的分类性能抗干扰性及可靠性较好,仿真数据的错分率基本稳定在8.44%以内,真实数据的分类结果能较大程度贴近人工分类的结果。

基于改进贝叶斯优化算法的CNN超参数优化方法

CNN框架中,如何对其模型的超参数进行自动化获取一直是一个重要问题。提出一种基于改进的贝叶斯优化算法的CNN超参数优化方法。该方法使用改进的汤普森采样方法作为采集函数,利用改进的马尔可夫链蒙特卡罗算法加速训练高斯代理模型。该方法可以在超参数空间不同的CNN框架下进行超参数优化。利用CIFAR-10、MRBI和SVHN测试集对算法进行性能测试,实验结果表明,改进后的CNN超参数优化算法比同类超参数优化算法具有更好的性能。

考虑多种贝叶斯神经网络分布形式组合的设备剩余寿命预测方法

基于dropout NN(dropout Neural Network)的设备剩余寿命(RUL)预测方法因使用具有固定分布形式的先验与近似后验的贝叶斯神经网络(BNN)导致预测精度较低。为解决该问题,提出基于高斯近似后验BNN的RUL预测方法和基于混合高斯-伯努利网络的设备RUL预测方法,前者引入混合高斯分布作为先验,通过对参数梯度进行无偏蒙特卡罗估计以优化BNN,后者引入一种离散化的高斯先验分布以正确地定义KL散度,进而可以优化BNN。在PHM 2012轴承数据集上的验证结果表明所构建的混合高斯-高斯网络效果好于dropout NN,证明了改变分布组合可以获得更好的预测效果。

基于VBGMM-DCNN的列车卫星定位欺骗干扰检测方法

面向基于全球导航卫星系统的铁路列车定位实施欺骗干扰的主动检测,在卫星定位解算层次,运用深度学习建模学习方法的优势,提出一种基于变分贝叶斯高斯混合模型-深度卷积神经网络(variational Bayesian Gaussian mixture model-deep convolutional neural network,VBGMM-DCNN)的列车卫星定位欺骗干扰检测方法。该方法首先提取能够充分体现欺骗干扰对定位解算过程作用影响的卫星观测特征参数,构建干扰检测特征矢量;然后,采用VBGMM模型拟合经过预处理的特征向量的概率分布,得到二维概率密度图;最后,将概率密度图用于DCNN模型实施欺骗干扰的检测决策。结合现场实验所得运行场景数据,利用实验室搭建的欺骗干扰测试环境实施了干扰注入测试与检验,结果表明,欺骗干扰检测性能随着DCNN网络深度的增加而提升,相对于常规有监督决策方法F1值最高提升44.68%。基于VBGMM-DCNN的欺骗干扰检测能够适应测试验证中运用的列车运行特征及定位观测条件,所达到的检测性能优于对比算法。

基于贝叶斯的大数据异常值检测模型研究

随着物联网、云计算、移动互联网等信息产业的不断进步,数据规模越来越大、处理难度也逐渐加大。而海量的数据中,异常数据会干扰后续的挖掘、预测与分析。因此,有必要对异常数据进行检测,提高数据的准确性。但由于数据量过大,大数据常常不具备明显的分布特征,然而对非典型特征的数据进行建模是一个挑战,因为推理会变得更加困难。以空气质量大数据为例,研究了如何将不具备明显分布特征的大数据,利用独立的高斯分布混合分布描述此类数据。在前期研究的高斯混合模型+神经网络的基础上优化了均值和协方差的选取,使得结果更加准确。这对于异常数据检测具有重要意义,更大程度地提高检测的准确性。

非线性离散系统的贝叶斯-高斯神经网络逆模型设计

针对非线性系统逆模型的学习问题,提出一种基于贝叶斯-高斯神经网络(BGNN)的设计方法.BGNN模型的训练分为两个步骤,首先利用群智能优化算法进行BGNN的离线结构训练;然后用训练好的BGNN模型在线整合历史数据,进行非线性系统逆模型的获取.对水轮发电机组非线性系统进行了BGNN逆模型的仿真,结果表明了BGNN逆模型设计方法具有结构简单、在线辨识效果好等优点,适于非线性离散系统的逆模型设计.

贝叶斯-高斯神经网络非线性系统辨识

提出了一种贝叶斯－高斯神经网络用于非线性系统辨识。网络的拓扑结构和连接权值可以由训练样本直接得到；其输出是多信息合成的贝叶斯推理过程；其训练过程仅是用于学习输入因子，从而使训练速度远高于一般的反向传播神经网络。此外，网络的自组织过程根据某种最优准则实现，使得当系统动态特性发生漂移时，网络可以根据新的样本迅速优化其连接权值，而不需要重新进行学习，这对于实时应用是十分重要的。实际应用中，网络的工作过程可以是推广与自组织交替进行的过程。仿真研究表明，该网络的辨识效果可与经拓扑结构优选的反向传播网络相比，而其自组织能力则是权值不变的后者无法相比的。