广义线性模型Lasso惩罚回归估计的局部二次逼近

文章阐述了广义线性模型参数的极大似然无惩罚和1-范数约束即Lasso惩罚估计形式,但极大似然的Lasso惩罚估计不是逐片线性的。那么对Lasso惩罚估计形式进行局部两次泰勒展开,进行局部二次逼近,从而得到Lasso惩罚的重复加权最小二乘估计路径形式,实现估计的逐片线性,相关研究为广义线性模型的惩罚回归估计的深入研究和应用提供参考。

左删失数据的双惩罚贝叶斯Tobit分位回归方法

在含潜变量的纵向数据混合效应模型应用中,通常包含大量截尾数据,若直接采用一般贝叶斯Tobit分位回归模型,参数估计的马尔科夫链蒙特卡罗抽样算法将会极其复杂,造成计算效率低下且估计结果偏差较大。同时,在高维情形下,由于受大量未知随机效应的干扰,固定效应中关键变量的选择与系数估计变得更为困难。为了解决上述问题,文章提出了一种新的双Adaptive Lasso惩罚贝叶斯Tobit分位回归方法,主要研究响应变量左删失情形下高维纵向数据的变量选择与参数估计问题。通过将Adaptive Lasso惩罚同时引入固定效应与随机效应的先验分布中,构造了参数估计的Gibbs抽样算法。蒙特卡罗模拟结果表明,新方法较无惩罚法和Lasso惩罚法在重要变量选择及系数估计上均更占优势。

基于自适应惩罚的潜变量高斯图模型结构学习

采用自适应惩罚似然方法解决含潜变量高斯图模型的结构学习问题.模拟结果表明,自适应惩罚显著优于非自适应惩罚,可有效降低估计偏差,更准确地估计给定潜变量时观测变量间的条件独立性关系.

基于惩罚逻辑回归的乳腺癌预测

本文采用惩罚逻辑回归方法,利用威斯康星大学的乳腺癌数据对乳腺肿瘤进行预测。首先选取与乳腺癌相关的10个指标作为自变量,接着采用逻辑回归、LASSO惩罚逻辑回归、L_(2)惩罚逻辑回归和弹性网惩罚逻辑回归作为分类器,利用75%的数据集作为训练集建立模型,最后利用25%的测试集、混淆矩阵和ROC曲线评估不同模型的预测精度。结果表明,LASSO惩罚逻辑回归的预测表现最好,预测精度达到97.18%;弹性网惩罚逻辑回归的预测表现随着α的增大发生变化,特别当α=0.9时,预测精度达到97.18%,与LASSO惩罚逻辑回归的预测表现一样好;L_(2)惩罚逻辑回归的预测表现排第3,逻辑回归表现最差。因此,在乳腺肿瘤诊断中可借助LASSO惩罚逻辑回归和弹性网惩罚逻辑回归提高诊断精度。

变量惩罚效应在贝叶斯分位数回归模型的应用

尽管贝叶斯分位数回归方法能够有效克服经济金融数据的尖峰厚尾、结构突变等问题,充分借鉴已有研究成果信息,但是其并不能很好解决多维变量模型的维数灾难问题。为此,文章在贝叶斯分位数回归基础上,结合自适应Lasso变量惩罚作用,构建了基于MH抽样的自适应Lasso惩罚贝叶斯分位数回归模型。通过仿真模拟实验以及MCMC链条检验,证明上述模型具有优良拟合性质,尤其是在小样本情形下。

居民消费价格指数的LASSO分位回归分析

居民消费价格指数(CPI)变化的影响分析对制定国民经济政策、促进居民消费供给侧结构改革、提高居民生活水平有重要意义。本文基于分位回归及LASSO型分位回归方法,对我国2016年4月~2019年3月的CPI数据进行了实证研究。研究结果发现,近年来影响CPI的重要因素已经由传统的衣着类、生活用品及服务类及其他用品和服务类等消费价格指数更多地向食品烟酒类、居住类、教育文化娱乐类和交通通信类等消费价格指数转变。这反映出近年来居民消费结构的巨大变化,除满足于通讯等消费有了更高需求,积极推进这方面供给侧结构改革对促进现阶段居民消费转型升级,推进国民经济健康发展,提高人民生活水平有重要意义。

面板数据贝叶斯双惩罚分位回归方法研究

在面板数据混合效应模型中,大量未知随机效应的存在,给模型参数估计带来极大困难;同时随机误差的分布未知,不同分布下的随机误差会增加模型计算的复杂度,对固定效应与随机效应系数的变量选择与估计带来困难。为了解决这一问题,本文建立贝叶斯双Adaptive Lasso分位回归模型,将Adaptive Lasso惩罚函数同时引入到含固定效应与随机效应的面板数据中,构造参数估计的Gibbs抽样算法。蒙特卡罗模拟结果表明,该方法不仅能准确估计不同面板数据模型的参数系数,还能对重要变量进行选择。

面板数据模型的惩罚复合分位回归方法

针对含个体效应的面板数据模型,文章提出了一种带Adaptive Lasso惩罚的复合分位回归方法来估计回归系数。通过对模型两边左乘一个合适的幂等矩阵有效地消除了个体效应的影响,并使用MM算法迭代求解未知参数,用SIC准则对惩罚参数进行选取。同时,利用蒙特卡洛方法模拟了在不同误差和不同稀疏模型下回归系数的估计和选择情况,并与最小二乘回归、中位回归、复合分位回归估计结果进行对比,最后用实例数据进行验证。结果表明:带Adaptive Lasso惩罚的复合分位回归方法能够对回归系数进行精确估计,且其在稀疏模型上相比稠密模型具有更好的表现。在变量选择问题上,带Adaptive Lasso惩罚的复合分位回归方法能够很好地排除无关解释变量的影响。

半连续Bernoulli-Normal两部回归模型及变量选择

对于半连续两部回归模型,考虑到每个回归部分都会遇到大量的候选变量,此时就会产生变量选择问题。文章主要研究Bernoulli-Normal两部回归模型的变量选择问题。先提出一种基于Lasso惩罚函数的变量选择方法,但考虑到Lasso估计量不具有Oracle性质,又提出一种基于自适应Lasso惩罚函数的变量选择方法。模拟结果表明:两种方法都能够对Bernoulli-Normal回归模型进行变量选择,且自适应Lasso方法的变量选择性能往往优于Lasso方法。

贝叶斯LASSO正则加权复合分位回归及其应用

回归模型一般采取传统的最小二乘估计(LSE)方法,然而当数据包含非正态特征或异常值时该估计方法会导致不稳健的参数估计.与LSE方法相比,即使出现非正态误差或异常数据,复合分位回归(CQR)方法也能提供更稳健的估计结果.基于复合反对称拉普拉斯分布(CALD),本文提出了贝叶斯框架下的加权复合分量回归(WCQR)方法.正则化方法已经被验证可以有效处理高维稀疏回归模型,它可以同时进行变量选择和参数估计.本文结合贝叶斯LASSO正则化方法和WCQR方法来拟合线性回归模型,建立了WCQR的贝叶斯LASSO正则化分层模型,并导出了所有参数的条件后验分布以进行统计推断.最后,通过蒙特卡罗模拟和实际数据分析演示了所提出方法.

基于Knockoff的分位数回归变量选择方法及其投资组合决策应用

在数据驱动时代,变量选择广泛应用于投资组合,如何从众多资产中挑选恰当的资产并进行配比,对稳定收益、控制风险非常关键。现有选择资产的方法未考虑到控制错误发现率(FDR),不利于作出稳健的投资决策。为此,本文在Lasso分位数回归下基于Knockoff方法控制FDR,并用于求解条件风险价值(CVaR)投资组合决策模型。其中,用Lasso惩罚实现变量选择,用Knockoff方法通过模仿解释变量的相关结构构造Knockoff变量,将变量选择的FDR控制在给定水平。模型在两步迭代算法下采用线性规划求解,模拟分析从不同的误差分布、变量分布和维度下多角度展开。结果显示,与已有模型相比,基于Knockoff的Lasso分位数回归模型能良好地控制FDR且呈现出最好的预测效果。最后基于上证50指数成分股进行实证分析,利用滚动建模技术进行投资组合决策分析,发现新模型在收益指标和风险指标上均具有一定优势。

基于TLP经验模型的本体学习算法

将TLP和本体回归算法相融合,提出基于TLP经验模型的本体相似度计算和本体映射算法。新算法继承了TCP的特点,使其具有无偏参数估计的特征。将新算法应用于GO本体和物理教育本体,通过实验结果表明新算法对特定的应用领域具有较高的效率。

基于Hedonic分位数模型对城市住宅价格差异性的研究——以深圳市为例

城市住宅是一种典型的异质性商品,住宅价格由其特征带给人们的效用所决定.对于异质性商品,本文基于2016年深圳市商品房成交的样本数据,以Hedonic模型的相关理论为基础,分别应用逐步回归算法、Lasso惩罚构建对数住宅价格估计模型进行研究,结果表明,对深圳住宅价格影响最大的因素为住宅的绿化率;最后分别以对数住宅价格的5%、25%、50%、75%、95%分位点构建Hedonic分位数回归模型,发现在不同的住宅价格分位点上,显著特征变量的系数发生较大的变化,体现出在住宅不同价位上人们对住宅所具有的特征偏好不同.

突发公共卫生事件对系统性金融风险的冲击及传染效应研究

首先基于面板向量自回归模型考察了突发公共卫生事件对系统性金融风险的冲击影响,接着综合考虑突发公共卫生事件的影响及其所导致的收益率的非对称性构建单指标非对称CoVaR模型,最后借助LASSO惩罚函数与局部估计法进行求解,以此构建有向网络分析金融机构间的传染效应.研究发现:(1)突发公共卫生事件冲击会使系统性金融风险水平短暂上升;(2)突发公共卫生事件会增加证券类金融机构间的风险传染并且存在滞后效应;(3)中小型金融机构的传染性较强,并且证券类金融机构的风险传染最强.

变系数模型在医学纵向数据研究中的应用

为了对医学纵向数据进行建模研究,利用变系数模型探索时变的检测指标与时变的肿瘤大小之间的映射关系,提出基于B样条估计与adaptive-LASSO惩罚最小二乘结合的两步迭代法进行系数估计与变量选择,该方法在系数估计的同时分离变系数、常系数和零系数。将变量选择方法应用于医学肿瘤数据中,对各个变量进行系数估计,研究不同时刻的症状对肿瘤大小进展的影响,并最终对肿瘤大小进行预测。平均相对误差的计算结果表明该模型模拟效果较好。

删失混合效应模型的分位回归及变量选择

纵向数据常常用正态混合效应模型进行分析.然而,违背正态性的假定往往会导致无效的推断.与传统的均值回归相比较,分位回归可以给出响应变量条件分布的完整刻画,对于非正态误差分布也可以给稳健的估计结果.本文主要考虑右删失响应下纵向混合效应模型的分位回归估计和变量选择问题.首先,逆删失概率加权方法被用来得到模型的参数估计.其次,结合逆删失概率加权和LASSO惩罚变量选择方法考虑了模型的变量选择问题.蒙特卡洛模拟显示所提方法要比直接删除删失数据的估计方法更具优势.最后,分析了一组艾滋病数据集来展示所提方法的实际应用效果.