基于Hadoop和Spark的可扩展性化工类大数据分析系统设计

针对易制毒化学品数据的海量增长问题,如何对这些数据进行分析,进而为易制毒化学品交易提供参考,是当前思考的重点。对此基于易制毒化学品海量增长的数据,结合Hadoop和Spark各自的优缺点,提出一种基于Hadoop+Spark的易制毒化学品数据分析系统。为实现该系统,首先采用Hadoop+Spark的框架对系统进行搭建;将系统功能模块分为数据分析模块、ETL模块、可视化模块3个主要模块,并对上述功能模块进行详细设计与实现;提出用于易制毒化学品价格预测的保序回归模型。最后搭建集群服务器和系统运行环境,运行上述预测模型,得到价格预测的误差值较小,能较准确预测易制毒化学品价格。