贝叶斯支持向量回归及其应用

支持向量回归(SVR)是机器学习中重要的数据挖掘方法,当前关于SVR的研究大多基于二次规划理论,同时,利用交叉验证或一些智能算法选取模型中的超参数,然而,基于二次规划理论的SVR估计方法不仅计算量较大,而且不能进行后续的统计推断分析。文章基于贝叶斯方法研究SVR,通过引入两个潜在变量将SVR的ϵ不敏感损失函数表示为双重正态-尺度混合模型并构建似然函数,通过选取适当的先验分布获得兴趣参数和超参数的Gibbs抽样算法。为筛选重要变量和最优模型,引入0-1指示变量并选取回归参数的Spike and Slab先验来获得贝叶斯变量选择算法。数值模拟证明了所提算法的有效性,并在非正态误差下表现出很好的稳健性。最后将所提方法应用于房价数据分析,得到了有意义的结果。

中位数回归的贝叶斯变量选择方法

当数据呈现厚尾特征或含有异常值时,基于惩罚最小二乘或似然函数的传统变量选择方法往往表现不佳.本文基于中位数回归和贝叶斯推断方法,研究线性模型的贝叶斯变量选择问题.通过选取回归系数的Spike and Slab先验,利用贝叶斯模型选择理论提出了中位数回归的贝叶斯估计方法,并提出了有效的后验Gibbs抽样程序.大量数值模拟和波士顿房价数据分析充分说明了所提方法的有效性.

删失数据下自回归模型的贝叶斯变量选择

本文结合贝叶斯先验和删失数据自回归模型的拟似然,构造此类模型下的贝叶斯变量选择,通过连续spike和slab先验和0-1潜变量,运用EM算法得出有效的参数估计和变量选择方法,该方法计算量小且模型正确识别率高。在模拟研究和实证分析中验证了此方法的有效性。