基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型:基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。

基于访问热点预测的油田大数据负载均衡研究

油田生产数据量巨大,而大数据在生产网络中反复流转给整个系统的稳定与性能带来了极大的压力.为解决这一问题,本文提出了基于访问热点预测的油田大数据负载均衡算法,该算法基于就近访问原则,通过测算大数据块在存储网络中的访问热点,将其部署在对应的服务器上,从而避免其反复在生产网络中生灭与流转.实地测试表明:该算法具有良好的存储负载均衡效能,能够节约大量的流量与存储开支,具有一定的实用价值.

基于热点访问的分布式数据库HBase负载均衡算法研究

为了规避数据库集群中部分节点过载风险,提升分布式数据库的可靠性,分析了HBase数据库的数据格式及总体架构。通过综合对比各类实现方法,选择成本低易实现的软件算法实现负载均衡。针对原有负载策略的缺陷设计了基于热点访问的改进算法,综合考虑region迁移成本、region本地化成本与集群负载情况后选择迁移策略。在VMware搭建环境,利用shell读写数据进行分析,验证结果表明改进算法无论在region count还是request方面均衡效果均更佳,为HBase分布式数据库的负载均衡策略提供了可参考方案。

基于HDFS的图书馆特色数字资源云存储系统及其改进策略研究

[目的/意义]针对基于HDFS的图书馆特色数字资源云存储系统性能提升的"瓶颈"问题,提出更优化的体系方案。[方法/过程]在原有的HDFS体系的基础上,添加"元数据服务器"来分担名称节点元数据访问的任务量,进而优化整个系统的性能,同时提出改进后体系元数据访问的算法。再通过性能测试,比较改进后的体系与原体系在整体系统性能上的区别。[结果/结论]性能测试结果显示,"元数据服务器"的添加极大减轻了名称节点的负荷,确实能够提升整体系统的性能。