基于Hadoop的海量气象水文数据并发处理模型

针对关系型数据库以及单节点处理难以满足海量气象水文数据存储与处理的问题,提出了一种基于Hadoop的海量气象水文数据并发处理模型(CPHDH)。该模型结合云计算技术,利用计算机集群以及HDFS文件系统实现海量气象水文数据的分布式存储;同时,基于MapReduce编程框架完成海量气象水文数据的高效并行处理。仿真实验中,CPHDH能够有效利用Hadoop平台的分布式存储和并行处理框架实现海量降雨要素信息的高效存储和处理,相比单机运行基于遗传算法的气象观测数据区间值属性约简算法(MOIvGA)进行降水影响因子属性约简,CPHDH中的属性子集对无雨、小雨和中雨预测效率分别提高了10. 74%、6. 19%、4. 42%。

广域网加速在FY-3气象卫星数据传输中的应用

风云三号(FY-3)极轨气象卫星数据传输系统需通过广域网链路,将海量卫星观测数据从卫星接收站快速传送到资料处理中心。该文研究广域网加速技术,解决广域网链路中传输气象卫星海量观测数据延迟高、带宽利用低等难题。文中针对FY-3气象卫星观测数据传输量大、时效要求高的特点,分别分析了数据压缩、数据缓存和协议优化3种不同加速技术对卫星数据的传输优化效果,并根据分析结果提出了一种适用于气象卫星数据的广域网传输加速架构。该架构结合3种不同加速技术设计了TCP代理模块、数据段索引模块和HS-TCP传输模块以及相应算法分别实现了数据压缩与缓存和协议优化等功能。通过测试和实际运行表明:在该加速架构下卫星数据广域网传输速率提高了50%～243%。

基于WebGIS的气象及大气污染数据仓库系统的构建研究

气象及大气污染数据仓库系统作为21世纪新一代的气象信息存储发布管理系统,可以大大提升现有海量气象以及大气污染数据的管理水平和对业务科研的支持。气象及大气污染数据仓库系统是基于B/S架构的系统,采用OpenLayer作为前端WebGIS框架,后端则以强大的RDBMS数据库ORACLE为支撑,ETL过程使用PL/SQL和Java语言实现,业务逻辑则利用Java语言实现,以此构建基于WebGIS的海量气象及大气污染数据仓库系统。该系统以用户可见的方式进行共享数据发布、展示和数据管理,同时使用系统中的联机分析处理技术可以使决策人员从数据仓库中获得有用的信息,以提供科学和及时有效的辅助决策支持。

基于Cassandra的气象信息综合处理平台的分析

近年来,随着气象信息化建设的快速发展,气象数据量呈现爆发性增长,气象数据的种类繁多,实效性高,数据量大等特点,使传统的数据存储方式面临极大的挑战。国家气象信息中心自发布Micaps4系统后,解决了海量实时气象数据的存储,处理等一系列重要难题,完成了从集中式存储到分布式存储的迁移。Micaps4采用基于Cassandra的分布式存储,结合spark的分布式流计算,提高了Micaps4客户端对实时气象数据的检索效率,具有很高的稳定性和数据访问性能。