Python与Spark集群在收费数据分析中的应用

随着智慧交通时代的到来,高速公路运营管理越来越依赖于大数据分析,如何有效利用现有硬件资源,更好地满足日益增长的数据分析需求是高速公路信息化建设中的重要课题。本文通过对数据库查询、Pyhon内存计算和Spark集群的效率实测分析,将可弹性扩展的内存计算架构应用于高速公路数据分析,为运营太教据分析提供了平台基础。