一种实时大数据查询技术-对象分布式查询

分布式查询是大数据计算的研究热点之一。在电力信息化、精益化的建设过程中,业务复杂度不断提高,数据量与日俱增,这使得数据查询性能日益劣化,难以满足用户实时性要求(<10s)。在对象化并行计算中,大数据拆分成小数据,分布式存储在集群内存中。论文在此基础上,借鉴了分而治之和归并树的思想,将分布式查询分成两个阶段:本地并行查询和多级查询融合。数据对象实现本地并行查询,结果排序后,得到本地部分查询结果,查询结果经多级查询融合得到最终结果。对象分布式查询技术应用在国家电网公司工程生产管理系统(PMS)中,应用效果表明该技术稳定、可靠,性能提升几十至数百倍,可满足实时性需求。