GWAC海量星表数据处理的数据库系统选型研究

为应对我国的宽视场地基广角相机阵在大数据管理和实时处理上带来的挑战,提出一种基于列存储数据库Monet DB的时序数据处理与管理系统设计方案。本方案充分利用Monet DB兼具数据处理和管理于一体的数据库平台特点,通过将交叉认证等核心数据处理算法内嵌于数据库中,从而实现将"计算带到数据中"的设计理念。同时,对本方案开展了多项关键技术的研究与测试:TPC-H基准性能测试;大数据加载能力测试及优化研究;基于Monet DB的Zone算法实现与测试;可定制函数开发功能的测试。初步的预研结果表明,列存储切实可行,同时对本设计方案作详细的介绍。提出的基于列存储Monet DB数据库设计的海量星表数据处理应用方案,是高效的数据处理与管理为一体的天文数据库解决方案。