贝叶斯支持向量回归及其应用

支持向量回归(SVR)是机器学习中重要的数据挖掘方法,当前关于SVR的研究大多基于二次规划理论,同时,利用交叉验证或一些智能算法选取模型中的超参数,然而,基于二次规划理论的SVR估计方法不仅计算量较大,而且不能进行后续的统计推断分析。文章基于贝叶斯方法研究SVR,通过引入两个潜在变量将SVR的ϵ不敏感损失函数表示为双重正态-尺度混合模型并构建似然函数,通过选取适当的先验分布获得兴趣参数和超参数的Gibbs抽样算法。为筛选重要变量和最优模型,引入0-1指示变量并选取回归参数的Spike and Slab先验来获得贝叶斯变量选择算法。数值模拟证明了所提算法的有效性,并在非正态误差下表现出很好的稳健性。最后将所提方法应用于房价数据分析,得到了有意义的结果。

分位数贝叶斯组变量选择及其在变点检测中应用

本文研究分位数回归的组变量选择问题。基于分位数回归和贝叶斯统计推断方法,通过引入系数的组“spike and slab”先验分布,提出了分位数回归的贝叶斯组变量选择方法,并给出易于实施的Gibbs后验抽样算法。进一步,本文还将所建立的贝叶斯组变量选择方法应用到变点检测中,变点的数量和位置的探测准确率较高。数值模拟和两个实例分析验证了所提方法的有效性。