高吞吐量基础设施检测数据实时处理技术

为满足基于5G传输的车地无线传输系统中检测数据实时处理需求,提出融合分布式流处理平台Apache Kafka(简称Kafka)和分布式处理引擎Apache Flink(简称Flink)的高吞吐量实时检测数据处理方法。基于Kafka构建实时检测数据仓库,实现对实时检测数据的有序快速读取与存储;以Flink作为实时计算引擎,实现高吞吐量数据流下对检测数据的实时处理与分析。为缩短实时检测数据关联台账数据的时间,提出基于时空索引的台账关联方法。通过对综合检测列车采集的实时检测数据的处理,证明了所提方法能确保高吞吐量数据流下数据处理稳定高效进行,且实时检测数据平均处理时间在1 min以内,能满足地面工作人员对综合检测列车检测设备状态的远程实时监控需求。