大数据背景下基于Huber回归模型的分布式优化方法研究

随着高科技的快速发展,大规模数据的涌入给现有的统计方法和理论带来新的挑战。大数据很容易被异常值污染,可能包含具有厚尾分布的变量,使得许多常规方法不再适用。为了消除异常值和厚尾变量的影响,本文以大数据为背景,采用Huber回归方法,用于鲁棒的估计和推断,为了达到仅使用局部样本就可有效评估全局损失函数的目的,本文构造出全局损失函数的一个交互有效的替代损失函数,将基于全局损失函数的优化转化为基于替代似然函数的优化。为了对Huber回归模型中的参数进行估计,本文设计Proximal-ADMM算法,并结合分布式优化的思想有效解决大规模数据导致的计算成本昂贵和机器之间交互复杂度过高的问题。

大数据背景下基于expectile回归模型的分布式优化方法研究

随着大数据时代的到来,运用统计的思维和方法挖掘隐藏在数据里的价值成为大数据领域的热门研究方向.数据挖掘的常用方法是回归分析,最小二乘回归只对因变量均值做出估计,而expectile回归可以估计因变量的整体分布.本文以大数据为背景,在expectile回归模型下,提出分布式存储数据的思想,并通过构造全局损失函数的一个替代损失函数,设计Proximal-ADMM算法对模型中的参数进行估计.达到了仅使用局部样本就可有效评估全局损失函数的目的,解决了大数据中样本量大导致的计算成本昂贵的问题.