大数据下分位数回归通讯有效算法及其应用

考虑风险度量中常见的分位数回归模型,给出在超大容量数据且复杂数据类型下的几类快速分布式算法.虽然仅考虑分位数回归模型,但本文提供的算法大多数可以应用到其它更一般的模型中.由于分位数回归模型的目标函数为非光滑函数,通常的分块集成法和光滑函数高效通讯算法并不适用.本文首先针对完整观测数据,给出了分位数回归模型参数估计的等度连续法,光滑函数逼近法和改进的数萃(Meta)方法三种分布式通讯有效算法.进一步,考虑了非平衡半监督数据,分别针对无标签数据样本量较小和较大两种情形,提出了加权损失函数法和改进的数萃方法两种数据融合方法.所提出的方法可以把分散在不同机器上的半监督数据进行数据融合,从而实现不同数据类型和不同样本量情形下的高效通讯分布式计算,提高算法的精度和参数估计的效率.本文通过大量仿真模拟研究了所提出的算法在有限样本下的表现,并将其应用到了洛杉矶流浪人口数的实际数据分析中,发现其均具有较好的准确性.