气象基础信息一张图设计和实现

气象基础信息一张图作为气象数据资源与行业间数据融合的应用示范,通过构建时空联动的气象大数据应用基础,解决多源气象数据融合应用服务问题。气象基础信息一张图基于高分辨率气象网格数据空间化处理、长序列海量网格数据任意时空范围检索以及气象数据与三维地形融合服务3项关键技术,实现多源异构时空数据的统一接入、处理、存储、管理和服务。气象基础信息一张图整合基础地理、自然资源、生态环境、社会经济、气象五大数据资源,面向不同气象应用场景,通过动态组合构建专题服务,实现多源数据快速服务和高效应用。气象基础信息一张图为2022年北京冬奥会及冬残奥会的圆满举办等国家重大活动、2021年郑州“7·20”特大暴雨气象预报复盘服务以及气象数据的社会化服务共享提供应用服务保障,在服务“生命安全、生产发展、生活富裕、生态良好”方面提供有效支撑。

气象管理数据中心设计与实现

为满足气象部门政务数据高效管理和共享应用需求,推动气象政务数据融入国家政务大数据体系,中国气象局依托国家级气象专有云设计、建设了气象部门首个一级集中、四级应用的集约统一的政务数据中心,直接支撑气象政务和业务应用。本文介绍了该数据中心系统的核心架构设计、主要业务功能、关键信息流程、基于气象政务数据特征的数据分类和分层数据体系、关键实现技术、应用成效等。系统的实现采用了一系列的新兴信息技术,包括支持多源异构的数据汇聚、基于策略的数据清洗和整合治理、全局统一的数据服务和接口管理、基于ElasticSearch引擎的全文检索、基于消息驱动的管理应用协同、主备中心数据同步等。作为气象部门政务管理数字化转型升级的数字底座,系统建成后为国省市县四级气象部门提供了一站式的政务数据管理和共享应用服务,在有力支撑中国气象局行政办公、科学决策和履行公共职能中发挥了良好效益。

北京全球信息系统中心的数据缓存功能优化

世界气象组织信息系统(WMO Information System,WIS)是一个支撑全球气象数据交换共享的通用信息服务平台,北京全球信息系统中心作为WIS的核心功能中心之一,必须缓存最近24 h内的WMO全球交换数据以提供高效的数据访问服务。为了检查收集到的全球交换数据的合法性,需要校验每条数据是否存在与之匹配的元数据,这些元数据信息以关系型数据库方式存储在北京全球信息系统中心中。由于每日接收到的WMO全球交换数据文件个数多且收集时间分布不均,大量频繁的数据库查询操作导致处理性能下降,特别在数据密集收集的情况下容易产生较大延迟,直接影响业务的实时性。设计并实现一种基于内存对象缓存的应用优化现有通过数据库查询的校验方式,实现在内存中一次性载入元数据信息,并在内存中完成缓存数据校验的操作,以此来减少磁盘的读写访问,提升处理效率。此外,还通过多线程方法实现与缓存数据相关的功能,使该方案具有良好的扩展性。实际应用表明:数据缓存功能优化后能满足实时业务性能要求。

基于情境感知和序列模式挖掘的气象学习资源推荐算法

随着互联网的快速发展,气象部门职工作为学习者可以获得的学习资源得到极大丰富。信息超载导致检索合适的在线学习资源时遇到了困难;学习者在不同学习环境和序列访问模式上也有不同的学习需求。但是,现有的推荐系统,如基于内容的推荐和协同过滤,没有结合学习者的情境和序列访问模式,推荐结果准确度不高。本文提出了一种结合情境感知、序列模式挖掘和协同过滤算法的混合推荐算法来为学习者推荐学习资源。混合推荐算法中,情境感知被用来整合学习者的情境信息,如知识水平和学习目标;序列模式挖掘被用来对网络日志进行挖掘,发现学习者的序列访问模式;协同过滤被用来根据学习者的情境数据和序列访问模式为目标学习者计算预测并生成建议。实验和应用效果表明,该混合推荐算法推荐的质量和准确性方面优于其他推荐算法。

面向气象信息业务的自动化运维设计应用

面对气象信息化建设的多重挑战,气象部门传统单一的运维模式已经严重制约其业务发展。DevOps工具为气象信息系统运维提供一种新的解决方案,文中结合自动化运维框架和目标开发体系设计思路,提出一种面向国省气象行业通用的自动化运维平台设计方法。对配置管理数据库(CMDB)配置项关系构建、自动化运维功能设计、Activiti流程编排可视化等关键技术进行阐述,并采用SaltStack和Django开源技术对自动化运维Web平台进行实现,该平台作为气象综合业务实时监控系统(天镜)自动化运维的核心功能,已在全国气象部门进行推广。应用结果表明,该功能能够增强气象信息运维业务工作实效。

地面自动气象站数据流式处理设计与实现

针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。

气象业务综合监视数据标准化设计与应用

打造开放的气象综合业务实时监控体系,全面提升气象业务的运行质量与效率是气象信息化发展的重要工作。针对气象综合业务监视范围广泛、内容多样以及传输密集等特性,为实现海量监视数据高效、完整及准确的采集、传输与处理,本文设计了一种基于标准化数据分类的可扩展的监视数据内容模型。该模型对种类繁多的监视数据进行抽象与概括,划分了监视数据的类别;描述了每一类别监视数据的通用属性;同时依据核心监视功能的数据需求,在通用属性的基础上进一步设计了典型的监视数据属性域内容。该模型具备通用性、可扩展性特点,在中国气象局“气象综合业务实时监控系统(天镜)”的建设中得到广泛应用,并在2022年发布为气象行业标准,为国省共有核心监控功能的实现以及各省特有监控范围的扩充提供了有效的监视数据支撑。

气象部门终端入网控制系统的设计与实现

气象信息网络的快速发展,促进气象内部网络的设备种类和数量不断增加,对传统的入网管理方式提出新的挑战。现阶段,气象内网办公区网络接入设备数量超过7000台,在网设备的种类和数量难以梳理,违规占用网络资源的现象时有发生。由于接入设备的合法性难以确定,在违规接入设备后无法第一时间发现和阻断,对业务系统和气象数据安全带来威胁。在网设备可能存在恶意程序运行,接入气象网络后可能对其它设备的安全产生重大影响。传统控制技术需要维护本地的数据信息,存在数据准确性滞后和泄露风险。该文以解决以上问题为出发点,设计和实现适应气象网络需求的无客户端模式终端入网控制系统,通过与统一信任服务系统和终端安全管理系统数据共享,实现身份认证信息的自动更新和维护,同时促进终端安全管理软件在气象园区的广泛应用,及时发现和阻断违规设备的接入,消除潜在的安全隐患。

视频分布式系统在全国高清气象视频会商系统中的应用

视频分布式系统自21世纪出现以后,经过近二十年的发展,已经成为一个成熟、先进的音视频处理系统,其出色的性能可以弥补全国高清气象视频会商系统以视频矩阵为核心的传统音视频处理系统的不足,因此在新一代全国高清气象视频会商系统中得以应用。视频分布式系统的应用提升了会商系统的稳定性和便捷性,在国省两级视频会商业务中发挥了重要作用。阐述了视频分布式系统的技术特点,分析了视频分布式系统在新一代全国高清气象视频会商系统中的应用。

全球及中国海洋气象数据产品研发进展

基于多来源海洋气象观测数据,制作高质量、长序列的海洋气象数据产品是海洋气象监测、预报、服务及数值模式同化等业务及科学研究应用的重要支撑,对提升海洋气象业务能力具有重要意义。从海洋气象数据产品属性、产品生产技术流程及应用等方面,系统概述目前全球代表性海洋气象数据产品及我国自主研发的全球海洋气象数据产品;从产品研发计划、数据共享机制等方面提出加强我国海洋气象数据产品研制及应用建议。

数值预报中气象卫星资料同化前处理技术进展

在数值天气预报变分同化中,利用同化前处理将卫星资料完成有效信息优选、资料拼接和稀疏化、初级通道选择、下边界参数耦合等处理,实现卫星资料同化对数值天气预报业务的正贡献,是决定海量卫星资料同化效率、质量和效果的重要环节。针对多种格式的卫星资料,中国气象局研发标准格式的高时效卫星资料拼接等技术,有效减小整轨卫星资料时间滞后对数值天气预报业务的负面影响。对于风云气象卫星资料,将云和降水检测、资料质量分析等处理置于同化前处理中,实现多光谱资料融合的同化预质量控制,保证了风云卫星微波温度探测资料和红外高光谱资料的同化正贡献。利用统一资料格式对预处理卫星资料进行再处理,拓展针对卫星成像和主动探测资料的处理,将卫星资料同化的部分质量控制功能置于卫星资料同化前处理中,是风云卫星资料同化前处理技术发展的重要趋势。

基于容器调度技术的气象产品加工系统应用研究

随着研究型业务的快速发展,业务和科研人员急需一种在不降低计算效率、充分利用计算资源情况下支持可独立运行、高可用、高并发、个性化研发环境、快速部署移植的新技术支撑气象业务和科研发展。针对该需求对容器技术在产品加工系统(DPL)中的应用进行分析研究,研究表明Docker容器从系统逻辑层面可实现研发环境的个性化、作业执行的独立性和算法的高效快速移植,并在业务执行完后释放资源,保障资源的充分共享利用,同时采用基于容器的分布式架构Kubernetes技术实现容器的高并发和负载均衡调度,满足气象产品固定时间高并发执行的需求,且执行效率相对物理机集群并无降低,该技术可应用于国家级和省级气象产品加工系统(DPL)中常规气象产品业务和科研算法的调度运行。

气象大数据云平台算法集约化环境设计与应用

气象业务系统集约化发展和“云+端”业务技术体制改革是实现气象业务高质量发展的重要措施。2020年中国气象局提出构建以气象大数据云平台为云、气象业务系统为端的“云+端”业务技术体制,明确气象大数据云平台作为关键基础技术平台的定位。加工流水线作为气象算法的集约化环境,应用数算一体、高效任务调度、可视化流程编排、容器等技术,实现气象算法的统一管理与高效集约调度运行。2021年加工流水线业务运行,支撑全国202个业务系统的实时运行,业务系统性能提升1~10倍,集约化程度显著提高,对提升业务系统的运行效率、增强业务系统的协同性、加速“云+端”业务技术体制改革进程和推进气象业务集约发展发挥了重要支撑作用。

铁路沿线气象灾害数据识别技术研究与应用

铁路是气象部门防灾减灾工作的重要服务领域。为简化和方便开展铁路沿线的气象灾害监测、预警和服务研究,基于气象灾害作用的主要气象要素,采用气象数据元数据信息和铁路路段的地理信息,利用搜索匹配和空间分析等技术,并结合专家经验,设计了一套数据清单的识别流程。以暴雨为例详细说明了数据识别的方法,并完成了原型系统软件功能设计和开发,采用Restful方式为专业技术人员提供铁路沿线有效的气象数据清单。以7·31北京暴雨过程对系统验证分析,识别结果符合预期,后续将为铁路气象防灾减灾工作提供有力的支持。

参加世界气象组织全球信息系统中心任务组会议总结

1概况2018年9月18—20日,世界气象组织(WMO)全球信息系统中心(GISC)任务组(TT-GISC)会议在摩洛哥卡萨布兰卡举行,澳大利亚、中国、法国、德国、印度、日本、韩国、摩洛哥、俄罗斯、南非、沙特阿拉伯、英国、美国等GISC代表以及WMO秘书处官员共23人与会。国家气象信息中心李湘和王鹏应邀参加了会议。

基于OkHttp与Jexl3技术的气象信息网络现代化能力动态采集评估方法

气象现代化是一项长期性综合性工作,也是一个动态的发展过程。为了能够持续、客观、实时评价气象现代化能力发展水平,依托分布式的气象综合业务实时监控系统(天镜)的技术框架,基于Okhttp与Jexl3等技术的同步高效请求、高稳定的通信机制和自定义规则引擎等功能特性,本文提出了一种针对多源气象监控大数据的现代化信息网络能力动态评估方法。该方法可以高效采集国省两级气象业务实时监视数据和性能指标,通过表达式动态逻辑规则实时统计评估和对比分析,有效解决静态统计评估方法标准不统一、时效滞后、评价与反馈不畅等问题。2021年以来,应用该方法实现了国家和省级气象现代化信息网络能力指标的自动采集和实时评估,将采集时间缩短到秒级,为气象信息网络的高质量发展提供了业务数据化解决方案。

基于数据感知的气象算法调度框架设计与应用

气象产品加工任务往往由不同算法组合而成,其状态对数据源具有高依赖性。高效感知数据状态,并及时合理启动调度,对提升气象产品加工的时效性至关重要。设计并建设了基于数据感知技术的气象算法调度框架,对比测试结果分析表明:在实时分析数据源到报状态的基础上,数据感知调度实现数据到报即算法启动运行,任务调度延迟较定时调度显著降低,由3784 ms降至11 ms。数据感知调度作为气象大数据云平台加工流水线的核心能力,已在国省部署并实时运行。目前在国家级业务中支撑19种核心业务算法的高效调度,日调度次数约为6.67×10^(5),平均调度延迟为31 ms;在省级业务中支撑14种算法的高效调度,日调度次数约为8×10^(4),平均调度延迟为156 ms。此外,数据感知调度实现了气象业务上下游算法的无缝串联,可为解决气象业务间的脱节问题、提升气象业务间的协同性提供解决方案。

气象大数据云平台仿真环境容器调度性能优化研究

为实现2025年气象关键核心技术自主可控的目标,气象大数据云平台(简称天擎)建立了基于海光X86服务器和麒麟操作系统的仿真环境。在仿真平台运行中发现,基于容器技术的产品加工与流水线子系统容器调度性能较差,不能满足用户融入算法的时效要求。针对此问题,本文采用对比分析法,选取天擎仿真环境和业务环境的3种CPU芯片服务器和3种操作系统为研究对象,设计了一系列组合对比测试用例,找到了影响容器调度性能的关键因素—操作系统内核,并进一步分析了操作系统内核设置对系统实时性和吞吐量的影响以及适用的业务场景。最后给出了麒麟操作系统内核调整方法,通过调整内核设置,容器调度性能大幅提高,满足了产品加工系统的时效要求,为实现天擎的关键核心技术自主可控奠定基础。

省级降水实况分析产品在北京地区的适用性评估

利用自动气象站观测数据,采用误差分析、有效降水时次占比等方法评估2022年9月—2023年8月省级降水实况分析产品在北京地区的一致性和准确性,并从累积降水量、降水强度、逐小时降水量误差等方面对“23·7”极端降水过程进行分析。结果表明:省级降水实况分析产品在北京地区的均方根误差不足1 mm,平均绝对偏差低于0.16 mm,与自动气象站观测结果接近。省级降水实况分析产品误差随降水量等级增加而增大,小雨等级降水被高估,中雨及以上等级降水被低估;误差空间分布差异明显,在中雨和暴雨等级下,最大负偏差均出现在延庆区,最大正偏差均出现在昌平区。“23·7”极端降水过程中,省级降水实况分析产品的平均均方根误差为1.8 mm,平均绝对偏差为0.806 mm,降水强度与自动气象站观测随时间变化趋势一致,较真实地反映了降水强度的变化趋势。

中国南方地区夏季地闪和降水协同变化的特征及气象要素分析

利用ADTD地闪定位数据和地基-卫星-雷达融合降水数据,通过耦合自组织映射网络(SOM)的聚类方法,分析了2016—2021年中国夏季地闪和降水协同变化的时空分布特征。研究区域位于我国南方地区(105~122°E,20~35°N范围内),覆盖了地闪密度和降水气候态的大值区。聚类结果显示我国地闪-降水耦合分布型可归为5类,其中第一类和第五类中地闪密度和降水异常的协同变化最一致。第一类表现为江淮地区降水-地闪活动偏多且华南地区降水-地闪活动偏少的偶极型分布,第五类与其分布相似,但符号相反。不同类型的地闪-降水耦合分布型对应着不同的地闪密度和降水异常中心,并且地闪密度和降水关系呈现出明显的地域差异性、非线性和非对称性。进一步研究发现,不稳定的大气层结、显著的中低层湿度差和有利的大尺度大气环流背景场是造成我国南方地区地闪-降水协同变化的重要因素。