大数据下分位数回归通讯有效算法及其应用

考虑风险度量中常见的分位数回归模型,给出在超大容量数据且复杂数据类型下的几类快速分布式算法.虽然仅考虑分位数回归模型,但本文提供的算法大多数可以应用到其它更一般的模型中.由于分位数回归模型的目标函数为非光滑函数,通常的分块集成法和光滑函数高效通讯算法并不适用.本文首先针对完整观测数据,给出了分位数回归模型参数估计的等度连续法,光滑函数逼近法和改进的数萃(Meta)方法三种分布式通讯有效算法.进一步,考虑了非平衡半监督数据,分别针对无标签数据样本量较小和较大两种情形,提出了加权损失函数法和改进的数萃方法两种数据融合方法.所提出的方法可以把分散在不同机器上的半监督数据进行数据融合,从而实现不同数据类型和不同样本量情形下的高效通讯分布式计算,提高算法的精度和参数估计的效率.本文通过大量仿真模拟研究了所提出的算法在有限样本下的表现,并将其应用到了洛杉矶流浪人口数的实际数据分析中,发现其均具有较好的准确性.

通讯有效的DL回归与变量选择在冠心病数据中的应用

探讨了分布式Logistic(distributed Logistic,DL)回归模型的参数估计与变量选择方法,并在不同设置下有限样本中验证方法的有效性.模拟结果显示,所提出的DL回归变量选择方法不仅能正确选择出重要变量,而且对应的模型系数的平均估计误差也较小.最后将所提出的方法应用于冠心病的实例数据集,结果表明,性别、年龄等10个因素对是否患有冠心病具有显著影响.