地面自动气象站数据流式处理设计与实现

针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。

基于云服务的食品安全监理实时化研究

为了及时发现食品安全问题,降低食品安全问题的发生率,从食品供应链角度出发,通过对影响食品安全的各要素分析,利用蝙蝠算法优化的Elman神经网络,并结合Storm云服务平台,构建了食品安全监理实时分析预测模型,对食品安全数据实时分析。通过对该模型的建模分析,形成有效的食品安全实时监理机制,期望能进一步降低食品安全隐患。