基于Spark技术的大数据智能分析平台构建

针对大数据分析过程易受数据维度的影响,造成大数据分析平台运行时间长、数据分析平均绝对误差高的问题,构建了基于Spark技术的大数据智能分析平台。先采用局部约束学习方法降低大数据维度,再利用Spark技术建立兼具应用服务层、权限管理层、中间服务层和基础资源层的平台分层架构,参考映射-归约数据网络质量分析系统,结合数据分析编排器设计平台后台分析服务器,实现了基于Spark技术的大数据智能分析平台的构建。所构建平台加速比参数大于9,运行速度较快,运行效率在99%左右,数据分析平均绝对误差为0.5%~0.8%。