基于hadoop云平台的智能电网HDFS资源存储技术研究

面对未来智能电网海量存储资源的管理困难、可靠性低、维护分布式数据成本高等难题,文章首先在Hadoop云计算平台基础上搭建HDFS(Hadoop Distributed File System),论证了其强大的数据存储性能,并通过实验发现HDFS在进一步提高存储性能方面的诸多瓶颈——节点状态信息缺失、系统负载不均、存储效率下降等。随后考虑HDFS原始方案的弊端并给出完善数据节点状态信息、设定数据副本系数的HDFS架构改进方案,最后通过在仿真平台上的实验,有效地平衡了节点间的负载,显著提高了存储效率,同时增强了用户体验,证明了该策略提高HDFS系统存储性能的可行性。

基于区块链且可验证的智能电网多维数据聚合与分享方案

针对如何支持轻量级多维数据聚合,实现系统整体过程中多维数据的双端完整性验证,以及处理云服务器集中化等问题,提出了一种基于区块链且可验证的智能电网多维数据聚合与分享方案。首先,为了满足智能电网对电量数据细粒度分析的需求,利用掩蔽值和霍纳法则实现了隐私保护多维数据聚合。在此基础上,针对现有数据聚合方案在云存储数据与第三方分享方面存在的数据完整性验证问题,借用基于RSA的乘法同态承诺方案和同态哈希函数的同态性设计了一种新的签名算法,使云服务器不仅可以验证聚合数据的完整性,还可以验证数据分享阶段的完整性,即实现了云存储数据的双端可验证性,并且可以抵抗内部攻击。同时,提出了一种基于联盟链多链的聚合数据分享体系结构,有效地避免单机处理瓶颈和易受攻击等集中化问题。理论分析证明了所提方案的安全性。性能实验表明,所提方案比已有方案具有更低的计算和通信成本。

基于Hadoop的智能电网状态监测数据存储研究

智能电网需要收集海量设备状态监测数据,这对数据存储与查询提出了更高的要求。为处理这些海量数据,设计并实现了基于Hadoop技术的数据存储系统,包括Hadoop集群、存储客户端和查询客户端。通过基准测试、存储结果验证和查询性能分析,验证了该系统具有分布式海量存储及高效查询的优势,适合智能电网环境下设备状态监测数据的存储。

基于Hadoop的智能电网数据安全存储设计

针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于Hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密钥与密文的管理分离,具有安全性好、密钥管理方便及效率高等特点。开发了基于Hadoop的原型系统,对方案的时间开销进行了分析,并通过相关实验证明了方案的有效性和可行性。

基于hadoop云平台的智能电网MapReduce数据计算技术研究

为应对未来智能电网海量数据信息带来的实时计算、分析等难题,文章首先在Hadoop云计算平台基础上搭建MapReduce框架,论证了其良好的数据计算性能,并通过实验发现MapReduce在进一步提高计算效率方面的诸多问题——任务调度不均、数据偏移、异构环境下适应性差等。随后考虑MapReduce原始调度方式的弊端并给出均衡数据映射、评估节点性能的MapReduce架构改进方案,并提出了动态匹配的调度算法(DMSA——Dynamic Matching Scheduling Algorithm),最后通过在仿真平台上的集群实验,减少了系统计算资源的消耗,缩短了运行时间,显著地提高了集群性能,同时增强了数据本地性,证明了该策略提高MapReduce计算效率的可行性。

基于纠删码和动态副本策略的HDFS改进系统

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。

Hadoop大数据技术应用分析

Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机制及原理。对目前Hadoop的应用场景作了详细的论述,并对其在使用过程中存在的问题进行了总结,最后给出这些问题目前的研究状况及部分解决方案。后期的使用证明,该方案可在一定程度上解决使用Hadoop过程中所遇到的问题。

基于hadoop的电网大数据处理探究

由于我国电网发展迅速、日趋壮大、大量新设备投入使用,需要对海量的设备状态数据和动态信息进行在线收集并在指定的时间内完成处理,这就对海量数据储存与处理提出了更高的要求、带来了严峻的挑战。为了处理这些海量数据设计并实现了基于Hadoop技术的数据储存处理系统,包括Hadoop集群、HBase、集群管理客户端。通过基准测试、IO处理性能验证和查询性能分析,验证了该系统具有分布式海量储存及高效查询的优势,适合电网大数据的储存与处理。

基于Hadoop技术的智能电网监控平台的设计

针对智能电网监控系统平台处理大数据困难的问题,搭建了基于Hadoop的智能电网监控平台系统,建立了hive和HBase的数据库,并对系统进行了模拟测试,测试结果表明:设计研发的监控平台系统具有高效的大数据集群处理能力,数据库之间能实现较好的交互,系统具有较好的容错能力。

基于Hadoop的云存储系统研究与实现

大数据时代,各种信息数据日益迅猛增长,Hadoop为海量数据的处理提供了良好的解决方案.针对云计算环境中的海量数据存储问题,介绍云存储技术的概念和体系结构,分析Hadoop两大核心机制HDFS和MapReduce,利用Hadoop成功搭建分布式计算平台,并将其应用到海量社交网络数据的存储.实践证明,系统运行良好,为未来进行社交网络大数据分析提供平台和数据保证.

Hadoop技术在海上智能电网状态监测数据存储中的应用

船舶智能电网技术快速发展,海上智能电网状态监测平台在设备监控、维护等方面发挥着重要作用,同时,也对海量数据处理提出了更严格的要求。本文设计基于Hadoop技术的海上智能电网状态监测平台,以满足平台对海量数据处理性能的要求。

基于Hadoop的智能电网时序大数据处理方法

为了提高电网数据处理的安全性和效率,提出基于Hadoop的智能电网时序大数据处理方法。依据智能电网时序大数据简析,结合Map、Reduce及Partition三个函数具备的过滤器和工厂法以及监听器等一系列模式,实现数据清洗处理。依据分布式计算思想,结合近邻分类法和Map-Reduce模型设计的并行分类混合法,实现数据分类处理。对分类数据进行安全存储,通过消息摘要算法针对需要存储的智能电网时序大数据生成相应数字摘要;根据密钥生成函数获取随机密钥,同时利用上述密钥针对待存储数据实行加密,获取对应密文。针对获取的随机密钥实行信息隐藏处理;把密文存储至云中;当密文成功存储至云之后,把获取的密钥和数字摘要两种信息并同文件名至HBase中,实现数据存储。仿真结果表明,上述方法具有较强的安全性与时效性。

基于Kubernetes的智能电网多源数据安全存储系统设计

智能电网数据具有多源、高维等特点,当受到外界攻击时,易发生损坏或丢失,影响电网正常运行,而安全存储智能电网多源数据能够有效地确保智能电网的稳定运行。为此,设计了基于Ku⁃bernetes的智能电网多源数据安全存储系统。通过目录服务器、存储服务器以及缓存服务器搭建系统硬件架构,利用二叉树算法进行数据校验,实现数据分析。通过数据更新,利用多个服务器配合实现安全存储。基于Kuberbetes技术进行自动更新、传输、优化迭代算法、简化数据检索,采用轨迹平滑算法计算多源感知数据异常数值,通过数据训练得到存储结果。实验结果表明,基于Kuber⁃netes的智能电网多源数据安全存储系统响应时间仅为0.27 s,能够有效阻挡外界攻击,具有较强的防御能力。

基于随机森林的智能电网多源数据异常检测

智能电网多源数据具有海量化与复杂化特征,导致智能电网多源数据异常检测的难度增加,为此设计基于随机森林的智能电网多源数据异常检测算法。构建随机森林应用模型,根据评估指标选取结果,计算暂态稳定裕度指标的具体数值,实现对智能电网多源数据的暂态稳定性评估。设置Hadoop检测框架,通过求解多源数据负荷特征判断异常值检测系数所属取值范围,完成算法的设计。实验结果表明,异常多源信息的最大传输速率只能达到2.36 MB/ms,而常规数据传输速率却不会受到明显影响,说明设计方法能够有效提升智能电网主机对异常数据的检测能力。

基于Hadoop架构的电能质量监测云模型研究

随着智能电网建设进程的加快,电能质量监测点不断增多,系统逐步完善,各种类型的监测和计算数据量急剧增加,呈大数据趋势。对于大数据的计算处理,云计算平台具有先天性优势。文章提出并初步实现了一种基于Hadoop架构的电能质量云模型,旨在整合传统计算存储资源,解决电能质量大数据的存储和计算问题。模型采用分层结构,以电网自然分层为基础,搭建分层电能质量云计算平台。整体采用面向服务的架构,各层以Hadoop架构搭建子云,并向上层主云提供服务。基于Hadoop架构的电能质量云模型不仅可以解决电能质量监测大数据的存储和计算问题,对解决智能电网中其他信息系统的大数据问题也具有参考意义。

基于Hadoop的数据资源管理平台设计

海量电网状态监测数据的高效管理是智能电网建设中的关键问题。为此,在Hadoop开源架构的基础上,提出基于Hadoop集群的海量数据分布式存储方法和基于MapReduce的海量数据检索算法,并设计基于Hadoop的海量电网状态监测数据管理平台。测试结果表明,该平台具有分布式海量存储和高效数据检索的优势,适合用于智能电网海量状态监测数据的存储与管理。

基于HDFS和NVME的机载航电云储存技术研究

随着飞机性能的提高,航空电子设备功能的日益复杂,航电系统产生的数据量在呈指数增长。现有航电存储系统已很难满足未来先进航电系统必须具备多平台网络互联能力和数据共享能力。为更好地存储、管理飞机飞行过程产生的数据,本文提出了基于HDFS和NVME固态盘的航电云存储系统设计,充分体现了航电云存储系统的高性能、高可靠性以及海量数据的管理能力,且能满足未来航电大数据的存储和管理要求。

基于Hadoop架构的电力企业数据共享模型研究

随着智能电网和电力企业信息化水平的纵深发展,企业积累了海量结构多样、来源复杂、规模巨大的数据资源。为了有效提高海量异源异构数据的集成与共享,实现企业统一数据交换以及数据价值发现,文章以临沂供电公司现有的数据集成架构和数据管理现状为依据,搭建了基于Hadoop架构的企业数据共享平台整体架构。然后,在基于数据仓库的数据集成模式的基础上,进一步构建了基于Hadoop架构的电力企业数据共享模型。该模型主要包括HDFS元数据管理方案、黑板模型、"发布-订阅"的数据分发策略以及基于Hbase的数据共享运行模式。此模型对于海量数据共享与处理具有廉价扩展、高效容错、高可靠性等优势,从而逐渐消除信息壁垒,促进数据共享与业务融合,实现电力企业数据的集中管控、综合治理和高度共享,为电网企业的正常运营管理提供科学决策和参考依据。

面向用电数据的HDFS数据读取策略

随着智能电网的发展,数据的访问并发量在不断增加,如何对这些海量的用电数据进行高效读取是现今电力企业亟待解决的问题。文章在基于HDFS读策略的基础上,提出一种面向用电数据的HDFS数据读取策略。综合节点的网络距离、带宽利用率和CPU使用率3种因素,通过评判函数找出性能最优的节点并进行访问。实验验证,该策略可以有效提高数据的读取效率,提升了数据的读性能服务。

基于状态估计的海量多元异构智能电网数据压缩存储方法

海量多元异构智能电网数据未经处理就进行压缩与存储,存在压缩误差大、运行时间长的问题,影响压缩储存效果。因此,提出基于状态估计的海量多元异构智能电网数据压缩存储方法。融合海量多元异构智能电网数据,推导出准确的智能电网数据,通过Tucker分解智能电网大数据压缩方法,压缩海量多元异构智能电网数据。采用可扩展标记语言(XML)技术预处理数据,结合非关系型的数据库技术,实现海量多元异构智能电网数据的快速存储。试验结果表明,该方法的线路电阻、电抗动态参数估计准确性高,数据压缩平均绝对误差、F-范数误差低,运行时间短,具有一定的实际应用性能。