基于Hadoop平台的并行数据挖掘算法研究

本文采用Hadoop分布式云计算平台的两大核心技术Map Reduce和HDFS,实现数据挖掘算法中分类聚类算法的并行化,这一算法是在传统算法的基础上的改进,通过实践论证了该平台的分类聚类算法具有良好的加速比、扩展性及分布式运算效果。随着大数据的发展,数据量在呈指数级增加,因此利用大数据平台处理数据将是一种趋势。