基于大数据处理的现货计量自动化数据异常判定与处理

针对数据采集、数据推送、日常监控等方面出现异常数据的问题,构建了现货计量异常数据处理系统。在大数据处理平台的基础上,利用大数据挖掘Spark模块对从电表采集到的数据进行处理。首先,制定了表码和电量数据异常判定和处理方法,对检测到的异常数据按目标或者直线差值拟合表码。将需要拟合的数据分为工作日、双休日、国家法定节假日和大长假四类,针对每种类型数据采用不同的拟合方法。最后,对异常的数据问题生成预警工单,便于人员查看处理。