期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
大规模数据分析中基于外推的调节参数选取
1
作者 任好洁 邹长亮 李润泽 《中国科学:数学》 CSCD 北大核心 2022年第6期689-708,共20页
许多统计建模方法需要通过一个或多个调节参数来控制模型的复杂性.这些调节参数可以是非参数回归或密度估计中核光滑方法的带宽,也可以是在高维建模中利用正则化方法进行特征选择的相关正则化参数.调节参数选择在统计建模和机器学习中... 许多统计建模方法需要通过一个或多个调节参数来控制模型的复杂性.这些调节参数可以是非参数回归或密度估计中核光滑方法的带宽,也可以是在高维建模中利用正则化方法进行特征选择的相关正则化参数.调节参数选择在统计建模和机器学习中起着关键作用.对于大规模数据分析,诸如基于信息准则的网格点搜索等常用的调节参数选择方法往往需要巨大的计算成本.即使利用并行计算平台,常用方法的可行性仍值得怀疑.本文旨在开发一种快速算法来有效地近似最优调节参数.该算法需要(a)假设一个参数模型来描述最优调节参数与样本大小之间的趋势,(b)利用子采样数据拟合模型并建立趋势,进而(c)将这种趋势外推至大样本的情形.为了确定子采样样本大小,在给定总计算成本预算的约束下,本文推导子采样的理论最优设计,并进一步证明估计的设计具有渐近最优性.本文的数值研究表明,在多个统计应用中,即使利用一个简单的两参数幂函数模型,所提出的算法所挑选的调节参数与基于全数据集所得到的调节参数几乎一致,同时显著地减少了计算时间和存储空间,表现出明显的优势. 展开更多
关键词 渐近性 外推法 非线性模型 最优设计 预测误差 正则化方法
原文传递
An adaptive lack of fit test for big data
2
作者 Yanyan Zhao changliang zou Zhaojun Wang 《Statistical Theory and Related Fields》 2017年第1期59-68,共10页
New technological advancements combined with powerful computer hardware and high-speed network make big data available.The massive sample size of big data introduces unique computational challenges on scalability and ... New technological advancements combined with powerful computer hardware and high-speed network make big data available.The massive sample size of big data introduces unique computational challenges on scalability and storage of statistical methods.In this paper,we focus on the lack of fit test of parametric regression models under the framework of big data.We develop a computationally feasible testing approach via integrating the divide-and-conquer algorithm into a powerful nonparametric test statistic.Our theory results show that under mild conditions,the asymptotic null distribution of the proposed test is standard normal.Furthermore,the proposed test benefits fromthe use of data-driven bandwidth procedure and thus possesses certain adaptive property.Simulation studies show that the proposed method has satisfactory performances,and it is illustrated with an analysis of an airline data. 展开更多
关键词 Adaptive test asymptotic distribution divide-and-conquer algorithm massive dataset model specification test
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部