基于haloop的虚拟化云数据中心研究与设计

针对传统数据中心ETL与联邦数据库技术在应对大数据处理时存在的不足,采用模块化和弹性设计,整合hive、hbase和impala等多种交互式数据引擎,构建基于haloop的虚拟化云数据平台,为各类数据应用请求方提供快速的数据访问服务.研究结果表明,虚拟化云数据中心集成方案数据处理能力强,具有良好的扩展性,能够实现对现有的各种应用及业务系统的集成和配置,从而为新一代数字校园提供了更加有效的支持.

云存储系统中数据冗余策略优化问题

针对云存储系统现有冗余策略及其改进策略的不足,提出一种将完全备份与改进的RS(Reed-Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下,提出一个动态副本管理优化模型DRMO(Dynamic Replication Management Optimized)对其进行改进。实现副本数和副本位置的动态调整。分析表明,RIRS充分融合了完全备份和纠删码冗余的优势,能节省存储空间,降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时,进一步节省存储空间并实现负载均衡。

MapReduce迭代式计算发展与应用

MapReduce的优势集中体现在并行计算上,而在迭代计算上则存在诸多不足。科研人员不断对MapReduce并行计算模型进行迭代计算优化,使MapReduce可以支持显示迭代式计算。介绍了传统MapReduce框架与迭代式MapReduce框架,通过K-means算法测试了iMapReduce、Hadoop MapReduce的迭代性能,给出了实验结果及分析。