大数据环境下地震观测数据存储方案研究

大数据技术为处理海量地震观测数据提供了一种新的数据存储与计算模式。为了解决现有基于关系数据库存储方案的读写速度低、用户并发度低和可扩展性差等问题,以地震前兆观测数据为例,在详细分析业务需求的基础上,提出了基于HBase和Open TSDB的地震大数据存储方案,搭建了大数据测试平台,完成了不同存储方案下查询、插入性能实验和并发性实验。实验结果表明,与关系数据库存储方案相比,基于HBase和Open TSDB的存储方案具有很好的可扩展性和并发性,经过优化后的HBase存储方案具有更高的读取和存储性能。

地震前兆大数据可视化相似度评价技术研究

在web环境中,降采样是解决地震前兆观测大数据可视化中数据显示过于密集和用户交互体验差的一种常用方法。为解决常用降采样算法不能同时保留原数据整体趋势和峰谷细节问题,提出了一种基于最大三角形算法的地震前兆大数据可视化解决方案。为评估此采样算法对基于原始观测数据可视化方案的影响,还提出了一种基于哈希算法的图像相似度评价算法。以17万条地震前兆观测数据为实验数据,对比研究了均值、最大值、最小值、中位数和最大三角形算法(LTTB)等多种采样算法,并使用图像哈希算法对降采样前后的折线图进行相似度评价。实验结果表明,LTTB算法不仅具有较低的时间复杂度,而且能保持原有数据形态和峰谷细节信息,非常适合于地震前兆大数据可视化展示。