正则回归模型正则参数的选取策略及应用

针对路基沉降分析和预测中的正则回归模型算法,分析了正则参数的选取方法。根据矩阵条件数理论和最小二乘原理,提出了以控制信息矩阵条件数和残差平方和大小的正则参数选取新策略。结合二元回归模型的计算结果表明:提出的正则参数选取策略不仅降低了矩阵条件数,也能获得较小的残差平方和值。

正则化回归模型的最优调节参数选择

现代科学技术的发展使得各个领域中产生了大量的高维数据,即样本特征量大于或远远大于样本数量的数据.为了处理高维数据,近年来有大量关于正则化回归模型的研究,即通过引入调节参数将损失函数和正则项联合成一个目标函数,比如著名的~LASSO模型及相关模型.众所周知,对于正则化回归模型中最优调节参数的选择至关重要.理论上:该参数刻画了模型解的特征~(如稀疏性,低秩性等),从而决定了模型对数据的拟合效果;计算上:不同调节参数下模型的计算代价和计算效果不一样.除了几类特殊的不需要进行最优调节参数选择的模型外,目前最优调节参数选择的方法主要包含三类:交叉验证,信息准则及双层规划.交叉验证及信息准则需要比较模型在不同调节参数下的解,因此这两类最优调节参数选择方法需要多次求解模型.除此之外,如何更为合理地设置备选调节参数也需要进一步考虑.为了降低交叉验证和信息准则进行最优调节参数选择的计算成本,统计、优化及机器学习三个方向的研究者们建立了不同的筛选规则,即在不同调节参数下删除数据中不起作用的特征,从而加速模型解的计算过程以达到加速最优调节参数选择过程的目的.与交叉验证和信息准则不同,双层规划是将最优调节参数选择问题刻画为一个双层规划模型,通过求解模型来直接得到最优调节参数的选择结果.本文从最优调节参数选择的方法和加速两个方面回顾现有结果,并在此基础上提出未来的研究方向.