基于Docker搭建Spark大数据集群数据挖掘平台

搭建大数据集群采用虚拟机部署的传统方法存在效率低、搭建步骤繁琐、时间成本高等问题,无法满足应用需求。随着虚拟化技术的发展,Docker技术由于具有占用资源小、启动速度快、部署快捷等优势,Docker技术能有效解决传统方法存在的问题,使得应用场景非常丰富。为此,提出基于Docker技术搭建Spark大数据集群实现数据挖掘平台。首先,介绍Docker技术的特点,通过与虚拟机技术对比阐述Docker技术的优势,并且介绍Spark集群架构和Kubernetes技术;然后,详细分析数据挖掘平台的搭建步骤,测试Docker技术和虚拟机技术的程序运行速度,测试表明Docker技术具有较短的运行时间,效率更高。为了Spark集群数据挖掘平台在节点扩展和管理更加灵活,提出基于Kubernetes技术改进原来集群,使得新增节点和管理集群更加高效。