-
题名基于HBase的数值预报产品存储检索应用
- 1
-
-
作者
王建荣
唐怀瓯
金素文
-
机构
安徽省气象信息中心
-
出处
《电子技术与软件工程》
2017年第10期159-162,共4页
-
基金
中国气象局关键技术集成项目(CMAGJ2015M29)
安徽省气象局科技发展基金项目(编号:KM201604)
-
文摘
数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。
-
关键词
HBASE
MAPREDUCE
要素grib文件
解码日志文件
SolrCloud
-
分类号
TP311.1
[自动化与计算机技术—计算机软件与理论]
TP391.3
[自动化与计算机技术—计算机应用技术]
-