国网大数据平台中的安全存储与访问控制机制研究

文章通过引入安全哈希函数、数字签名、分布式存储、动态数据加密及基于属性的访问控制等技术,构建了一套完善的安全管理体系。实验基于Linux平台、VMware虚拟机、Hadoop大数据平台的仿真环境,验证了所提出方法的可行性和性能。实验结果表明,哈希函数和数字签名有效保障了数据的完整性和真实性,分布式存储方案具有较强的冗余和容错性,基于属性的访问控制机制能够精确控制用户访问系统资源。

节能减排监管系统中数据统计服务的实现与应用

在电力行业节能减排监管系统中,从发电厂接入的大量实时数据,通常需要经过计算统计。为解决计算统计工作繁琐、计算量大、浪费人力等问题,设计开发了数据统计系统,通过建立自动计算,缩短计算时间,提高计算结果准确度,使接入的实时测点能在业务应用中充分发挥作用。介绍了数据统计系统的功能及实现。

基于SOA的海量准实时数据服务平台接入/访问研究

电网数据已成为电力企业发展的重要资产,但缺乏有效的技术手段对准实时数据进行高效的接入/访问;从松耦合、可重复性、标准化等架构设计原则考虑,通过数据接入方案和数据访问方案设计并实现了基于SOA技术的海量准实时数据服务平台;平台通过设计的数据接入/访问工具将不同业务系统的准实时数据统一接入,以测点形式有序集成,并统一对外提供订阅、查询和获取所需数据访问服务来支撑业务应用;同时通过平台电网模型同步与模型树建立和高级应用支撑的关键技术,建立主网模型,并借助变电站设备模型挂接完成主网与配网模型拼接,形成电网标准的模型树,实现电网准实时数据的高效集成和访问,更好的满足电力企业准实时数据纵向贯通和横向交互的需求。

多源异构电网运行时标量测数据接入方案设计

海量准实时数据服务平台是电网运行时标量测数据集中存储的场所;为了满足电网调度自动化、计量自动化等电网运行数据的接入需求,提出一种多源异构电网运行时标量测数据接入方案;该方案综合采用关系数据库和实时数据库存储数据,结合实时数据库存储数据的测点特性定义了电网时标量测数据存储命名规范,通过配置服务实现数据接入任务的启停控制和运行状态监控,使用接入调度器调度接入插件执行接入任务并引入主备冗余技术保证调度器的高可用;方案引入组件化程序设计思想,通过可插拔、易扩展的插件设计满足多源异构数据的接入需求;方案在南方电网公司海量准实时数据服务平台建设项目中得到实际应用,很好地满足了南方电网运行时标量测数据的接入需求。

基于PostgreSQL的海量准实时数据服务平台访问方案

大数据服务平台在电网系统中具有重要的应用价值.海量准实时数据平台作为电网重要数据中心,存储了大量有价值的数据,其存储的数据多为非结构化数据,无法直接通过SQL语句获取.为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能.为此,本文基于PostgresSQL Foreign Data Wrapper (Postgres_fdw)开发了SQL引擎.通过分析PostgresSQL的功能特点以及已有UAPI接口的不足,针对原有大数据平台框架,采用分层策略,基于Postgres_fdw开发了SQL引擎,并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案,以此实现数据平台运用SQL的方式获取底层海量平台数据的功能.现场功能和性能测试,验证了该引擎的有效性.