基于Hadoop的并行共享决策树挖掘算法研究

共享知识挖掘是指通过学习不同事物之间的共享知识,将学习到的知识应用到未知事物来加快认知未知事物。针对大数据集中串行共享知识挖掘算法效率低下的问题,结合云计算技术,提出了一种基于Hadoop的并行共享决策树挖掘算法(PSDT)。该算法采用传统的属性表结构实现并行挖掘,但其I/O操作过多,影响算法性能,为此,进一步提出了一种混合并行共享决策树挖掘算法(HPSDT)。该算法采用混合数据结构,在计算分裂指标阶段使用属性表结构,在分裂阶段采用数据记录结构。数据分析表明,HPSDT算法简化了分裂过程,其I/O操作是PSDT的0.34左右。实验结果表明,PSDT和HPSDT都具有良好的并行性和扩展性;HPSDT比PSDT性能更好,并且随着数据集的增大,HPSDT的优越性更加明显。

基于并行共享挖掘算法的电力负荷预测

影响电力负荷的因素有很多,用于电力负荷预测的数据随着电网规模的扩大也越来越多。传统预测方法不能通过挖掘大量数据,有效地建立电力负荷预测模型。论文结合并行共享数据挖掘技术,综合分析了基于HADOOP的并行共享决策树算法(PSDT)以及SLIQ算法,提出了一种新的方法来构建电力负荷预测模型。试验结果表明,使用该方法构建预测模型实用性较强,并且有良好的扩展性。