面向第三方支付的校园消费大数据系统及其数据采集与预处理设计

大部分住宿型学校各种校园消费支付的第三方电子业务系统已经部署实施,校园消费活动每天产生大量交易数据,这些数据蕴含隐藏着在学生生活管理、后勤服务和保障、关联活动预警、商户类型布局预测、商户活动评估和过程考核中的管理价值。但大多数院校对这些原始数据没能开展充分有效的数据分析和利用。该项目就是为解决这一管理痛点,由我校大数据竞赛团队设计开发的校园消费行为大数据分析系统,对接我校智慧校园建设项目,现已进入模块测试阶段。通过hadoop,hive,scikit-learn、flask、echarts等大数据分析、开发和可视化技术开发大数据分析系统。通过对住宿型学校学生消费行为和业务的数据结构梳理和形式化定义,发现并显式化这些业务的各种数据分析需求。设计模块化、参数化的应用架构,为校园智慧化建设赋能。该文阐述了项目起源、技术平台和设计架构。并重点介绍了数据采集、清洗和预处理的设计思路和理念。