Storm流处理平台中负载均衡机制的实现

Storm流处理平台解决了传统的基于Hadoop的批处理系统实时性不高的问题,为多源异构大数据处理提供了高效、快速、实时的数据处理框架。然而Storm平台在任务分配过程中只考虑了不同节点之间可用Slot的排序,并没有充分考虑节点的实际负载情况,从而容易产生负载不均衡的问题。针对以上问题,本文在Storm分布式流处理系统上实现对可用Slot和节点负载情况的加权排序改进Storm调度算法,通过数据结构设计,保证rowkey的随机性和唯一性,确保Region Server的负载平衡;同时通过批量写入的机制,提高Hbase数写入速度,从而提高流数据存储效率。通过与原生Storm系统的对比实验,表明本文算法的改进和机制优化保证了数据的快速写入,提高了集群资源的利用率,改进后的系统在实用性与效率上具有明显的优势。

一种Hadoop YARN的资源调度机制

YARN是Hadoop中广泛应用的资源管理系统,支持MapReduce,Spark,Storm等多种计算框架,已成为大数据生态中的核心组件。然而,在Hadoop YARN现有的资源调度器中,采用基于资源预留的资源保障机制,会产生资源碎片,导致资源浪费。为提高集群的资源利用率和吞吐量,本文提出一种基于预约回填的资源分配机制。在该机制中,基于作业的优先级来决定是否对资源进行预约,并引入回填策略,在不影响预约作业执行的情况下,对资源进行回填使用。实验表明,使用基于预约回填的资源调度机制能够有效提高Hadoop YARN集群的资源利用率和吞吐量。

面向拟态防御系统的存储校验模型

针对当前分布式存储系统,数据块的校验机制单一,功能比较简单、脆弱,在复杂的分布式环境下,数据块校验机制存在未知漏洞后门^([1])等安全隐患。本文基于拟态防御^([2])系统,扼要分析了分布式存储系统中数据一致性和数据校验问题,提出了一种动态高效的拟态存储校验模型,深度剖析了校验模型中动态分发、数据校验异构执行体,以及校验判决等关键技术。面向拟态防御系统存储校验模型具备多灵活、高安全、高扩展的体系结构,为分布式环境下数据高效、安全校验提供了全新的思路和方案。

Storm集群下基于性能感知的负载均衡策略

Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率计算其性能感知值,并通过贪心调度保证节点的任务量与节点处理能力相匹配,以达到负载均衡的目的.通过与默认调度算法实验比较,结果表明该算法能够有效降低Storm处理时延,提高吞吐量和实现集群负载均衡.