基于分布式对象缓存的电力信息系统任务调度方法

根据电网数据特征,提出基于树形结构分布式对象缓存的任务调度算法。算法将业务数据封装成数据对象,将工作任务抽象成任务对象,按照树形结构将数据对象和任务对象分布到集群计算机各节点,实现对象分布式的并行计算。设计了对象化并行计算框架并选取电网可靠性计算典型业务场景,对算法进行了验证和应用。算法对大幅提升数据型电网统计分析的计算效率具有重要作用。

一种实时大数据查询技术-对象分布式查询

分布式查询是大数据计算的研究热点之一。在电力信息化、精益化的建设过程中,业务复杂度不断提高,数据量与日俱增,这使得数据查询性能日益劣化,难以满足用户实时性要求(<10s)。在对象化并行计算中,大数据拆分成小数据,分布式存储在集群内存中。论文在此基础上,借鉴了分而治之和归并树的思想,将分布式查询分成两个阶段:本地并行查询和多级查询融合。数据对象实现本地并行查询,结果排序后,得到本地部分查询结果,查询结果经多级查询融合得到最终结果。对象分布式查询技术应用在国家电网公司工程生产管理系统(PMS)中,应用效果表明该技术稳定、可靠,性能提升几十至数百倍,可满足实时性需求。

基于OPC框架的高效计算服务应用

大数据计算是当前云计算研究的热点之一.在电力信息化、精益化的建设过程中,业务复杂度不断提高,数据量与日俱增,这使得传统的数据加工性能日益劣化.在复杂的业务场景下,由于海量的电力数据,使得数据指标加工计算的效率非常低下,传统方式的加工任务经常耗时数个小时,难以满足用户的体验要求.为了解决这个问题,全面提升数据指标加工任务效率,基于对象化并行计算(Objectification Parallel Computing,OPC)框架实现了一种高效计算服务,OPC是分布式并行内存计算框架.在OPC框架中,大数据集被拆分成小数据集,并分布式地存储在集群内存中.OPC计算任务借鉴了分而治之和归并树的思想,将计算任务分成两个阶段:本地计算任务和计算结果收集汇总.计算任务基于本地计算数据进行计算,得到本地计算结果,然后将计算结果通过收集结点进行汇总合并,最后得到最终结果.OPC框架技术应用在国家电网公司工程生产管理系统(PMS)中,应用效果表明该技术稳定、可靠,性能提升几十至数百倍,可满足高效计算需求.

一种高效的大数据实时性解决方案

大数据计算是物联网和云计算的研究热点之一。针对大数据中的结构化和非结构化数据,Hadoop技术在实时性要求不高的场景中应用效果较好,但在实时性要求高的场景中不能满足需求。针对这一问题,论文利用对象化并行计算提出了一种高效的实时性解决方案。对象化并行计算融合了对象化、Hadoop、内存计算等技术。在方案中,业务数据格式化成对象并分布式存储到集群计算机内存中,任务拆分成子任务通过并行计算来完成。对象化并行计算系统应用在国家电网公司电网资产质量监督管理系统中,应用效果表明该方案可大幅度提升系统性能,满足实时性需求。