基于Hadoop云平台的水利普查数据挖掘系统的设计和实现

针对水利普查数据量大、属性维度多等特点,论文通过探讨和分析Hadoop的组成和运行机制,提出了一种基于Hadoop云平台的水利普查数据挖掘系统,介绍了系统的设计思想及架构,详细阐述系统内各个模块的功能作用。该系统利用Hadoop云平台实现了一种改进后的并行关联规则算法,既充分利用了Hadoop平台并行处理数据的能力,又降低了开发所需的成本。通过进行单机对比测试和集群测试,证明了系统具有更好的可用性和较高的挖掘效率。

基于Hadoop的水文时间序列相似性研究与应用

传统DTW算法复杂度高,特别当处理海量数据时,耗时长。为了从算法和实现手段两方面同时入手,提高DTW运算效率,提出基于Hadoop平台,以FastDTW方法实现的水文时间序列相似性查找方法。首先利用小波变换对数据去噪,接着对水文时间序列进行语义化,然后在Hadoop的MapReduce过程中调用FastDTW方法实现DTW距离的云计算,得出与查询序列最相似的匹配序列。通过实验与串行查找进行对比,验证该方法用时短,匹配效果好,能够满足实际应用需求。

基于Hive的水利普查数据仓库

针对水利普查数据海量、多维的特点,研究近年来在"大数据"概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设计特点,通过分桶、消减维度表和冗余事实表的方法来改进传统的多维分析模型,最后搭建集群系统对水利普查数据集进行查询与分析测试。测试结果表明该数据仓库可以满足海量多维水利普查数据的存储与查询要求。

基于BI的水利普查成果数据展现分析研究

第一次全国水利普查设计了8大专题共33小类近一亿个基本对象,水利普查数据具有数据量大,结构复杂且包含层级关系等特性。为了从多角度展现与分析水利普查成果数据,文中基于商务智能(Business Intelligence),运用Oracle BIEE工具设计了一套展现模式,在管理工具上构建物理层、逻辑层、展现层的三层模型,实现OLAP操作并生成报表组成仪表盘,为水利普查成果数据分析提供保障。