摘要
现在对土地适宜性分析的需求日益复杂化、多样化,传统的将数据与GIS技术相结合的土地适应分析方式已经满足不了系统的性能需求。本文针对现有的土地适应性分析的需求,研究分析了一种将Net CDF存储与Spark分布式计算相结合的高性能数据处理方式。我们将数据处理的各个关键步骤分解成标准的构件,针对土地性适应分析我们将分析过程分解为了三个主要的标准构件分别为:数据存储构件是将数据用Net CDF模型进行存储,以便将多数据源数据统一存储,减少数据检索时间,提高数据的存储效率;数据插值构件是利用分布式计算框架Spark对土地适宜性分析中的数据进行并行插值(离散点数据插值为格点数据);每个格点适宜度的计算构件是利用分布式计算框架Spark并行计算每个格点的适宜性等级,以提高数据处理效率。最后以人工草地建植适宜性综合管理系统为例,给出了一个基于Spark及Net CDF构件的实例,研究结果表明将Net CDF与Spark技术应用于土地适宜性分析以及将其以构件的形式进行开发可大大提高分析的效率。
出处
《电子技术与软件工程》
2017年第2期207-208,210,共3页
ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING
基金
国家公益性行业(气象)科研专项(GYHY201506025)
项目名称:气象大数据的高效应用技术研究