异构云环境下MapReduce高效性的优化研究

为提高MapReduce在异构云计算环境下的执行效率,提出一种异构环境下基于负载类型的自适应调度算法——adaptive scheduler based on workload type in heterogeneous environment(ASBT-HE),通过反馈运行结果到Job Tracker,将后续任务根据负载类型分配到相应的Task Trackers上。但为满足用户的Qo S需求、更好的平衡系统负载,将该算进一步法优化为Better ASBT-HE(BASBT-HE)。BASBT-HE能够在考虑Qo S约束的基础上根据负载情况自动调整ASBT-HE中队列的长度。仿真实验结果表明优化后的MapReduce在异构云计算环境下具有高效性,并且考虑了用户Qo S需求,简化了系统参数配置。

基于云计算的校园网综合数据服务平台设计

随着高校教育信息化建设的不断深入,校园网中的各种软硬件资源越来越多,同时用户对基于"云"+"端"的服务需求日益迫切,有效整合资源,增强业务协同,就成为了校园网服务工作的重中之重。在充分考虑到高校基于"云"+"端"服务的需求基础上,综合运用云计算技术,设计了一个基于云计算的校园网综合数据服务平台。

数据密集型计算中负载均衡的数据布局方法

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.