基于Spark Streaming的并行K-means改进算法研究

K-means聚类算法作为一种经典的聚类算法被广泛应用,但是传统聚类算法在对实时性聚类要求较高的场景已经不适用,特别是在基于聚类的一些实时推荐算法中。本文通过Spark Streaming框架对传统K-means聚类过程广播共享聚类中心并使用KD树对迭代过程进行二次优化。实验结果表明优化改进后的K-means聚类算法能够明显提升收敛效率和降低聚类时间,能够满足对实时性聚类的要求。