Spark协同过滤算法扩展性测试与分析

机器学习算法的线性扩展性要求算法的计算性能随节点数增加保持接近线性增长。针对当前ALS算法扩展性测试的不足,提出一种多维度扩展性测试方法,通过横向测试进行扩展性测试,使用纵向测试确定扩展性瓶颈。结合真实数据集在Spark MLlib上进行测试,实验结果表明,该算法对节点敏感,会出现任务聚集到某个节点上的问题,同时随着任务并行度增加,算法执行时间增加,效率降低。