电力系统动态信息数据库关键技术

在介绍了基于时间序列的动态信息数据库结构的基础上,结合电力系统数据特点,分析了并发数据处理、内存映射文件、磁盘缓存、关联数据存储等构建动态信息数据库的关键技术,并着重研究了数据采集流程和混合压缩算法。经实际应用案例表明,采用该关键技术构建的动态信息数据库满足了电力系统海量数据高速存储的要求。

智能电网时序大数据实时处理系统

针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据的高速、可靠采集;基于流计算技术,实现了各类时序数据的高速预处理;设计了面向时序数据的混合存储模型,综合应用键值模型与关系模型,实现了时序数据的可靠存储和高效访问。通过模拟某省用电信息采集应用场景,验证了系统性能:单节点数据采集能力超过1 000万/秒,查询可达到秒级甚至微秒级响应。

基于数据流转发的实时数据交换系统设计

针对传统的基于全量转发机制的消息中间件应用于电力信息系统大规模数据交换时效率低的问题,设计并实现了基于数据流转发的实时数据交换中间件。基于队列缓冲技术,实现了消息型数据的异步发送与批量确认;设计了流式数据转发机制,消除数据在传输节点上的缓存延迟与缓存资源代价,提高了数据传输的及时性与并发性;结合分布式与数据路由思想,实现了对第三方系统透明的节点组网与数据路由功能。通过模拟某省电力信息系统数据交换场景,验证了系统性能,数据交换能力达3 000并发,千兆带宽环境下系统传输速度达980 MB/s,交换延迟在毫秒级。

基于大数据技术的量测数据处理系统设计

针对传统关系型数据库用于电力信息系统量测数据处理效率低的问题,文章设计并实现了基于大数据技术的量测数据处理系统。基于分布式消息队列技术,该系统实现了大规模量测数据的缓冲接入;基于流计算技术,提高了量测数据在入库前的实时处理效率;设计了量测数据列式存储模型,实现了大规模量测数据的高效存取。