电力全业务统一数据中心突发性数据处理任务调度方法

国家电网有限公司正在开展电力全业务统一数据中心的建设,以实现全业务范围、全数据类型、全时间维度数据的统一存储、管理分析。在全业务范围数据全量推送过程中,尤其在突发性海量数据涌入时,全业务统一数据中心的处理能力面临着巨大挑战,数据处理任务调度方法是提高其数据处理能力的关键。通过对电力全业务统一数据中心设计方案和架构的分析,给出一种数据处理任务控制调度模型,从任务的时间和有效价值两方面综合分析任务的优先级。提出了基于多级队列的动态实时优先级调度(DRPS)算法,并分析了不同类型处理任务的优先级动态变化趋势。采用CloudSim平台模拟全业务统一数据中心的数据抽取—转换—加载(ETL)任务,并进行仿真测试。结果表明DRPS算法相比于动态价值密度(DVD)算法及最早截止优先(EDF)算法,在截止期错失率方面有明显下降,任务完成率也有明显提高。

海量高速突发信号采集系统设计与实现

突发信号的采集是数据处理中一个非常重要的课题,突发信号因其抗干扰能力和抗截获能力强在通信系统中得到了广泛的应用,必须设计专门的数据采集系统对突发信号进行数据采集和存储,这是对其进一步处理的基础;一种基于多核Xeon高速记录控制器S5000的高速海量信号采集系统设计方案被提出,该设计利用PCI-E载板加双通道210MHz A/D采集卡实现高速采样,并采用0级盘阵方式(RAID0)构成磁盘阵列实现海量存储;实际测试设定采样率100MHz,连续采样1小时,完整地捕捉到了间隔不确定、持续时间为1秒钟的突发信号;测试结果表明,该方案设计可以用于对突发信号的数据采集。