基于Hadoop的空间科学大数据的区域检索算法

针对空间科学大数据的快速检索需求,提出了分布式区域检索算法。算法主要包括四维空间科学数据的索引方法和分布式四维空间科学数据的索引架构两部分。在KTS存储结构下,通过基于立方体的Block-Grid三维网格剖分方法建立两级空间索引结构,包括分布式节点间的全局索引和分布式节点内的局部索引;在分布式系统架构下,确定了索引在分布式主从节点的分布策略以及数据在分布式环境下的容错机制。基于Hadoop基础架构设计了NSSC-Hadoop系统,通过多组试验数据测试算法效率,并与直接基于Hadoop无索引遍历数据方式相比较,数据检索效率提高了将近50倍,随着数据量的增大,算法优势会更加明显。

云计算环境下多GPU资源调度机制研究

资源调度是云计算中的关键问题之一,它的调度机制与算法直接影响到云计算系统的性能及成本.GPU(graphics processing unit)正越来越多地被应用到通用计算领域,作为高性能云计算系统中的特殊计算资源,对GPU计算资源的调度有其特殊性.综合考虑计算任务在节点间以及节点内部的数据传输延迟,以充分利用系统GPU计算资源、掩藏传输延迟为目标,研究了云环境下多GPU的"传输&传输&执行"三段调度问题.提出一种云环境下GPU计算资源调度机制MGSC(Multi-GPU resource Scheduling scheme in Cloud environment):考虑了GPU计算中传输与计算的因素,讨论了在GPU计算中出现的四种资源需求情况,建立GPU计算资源模型;为了减轻中心节点的任务处理压力,设计了基于树型结构的GPU资源分布式检索算法.实验结果说明,MGSC在满足多用户共享GPU计算资源的同时,能够较好地提高云计算系统中GPU计算资源利用率,获得较高的服务质量,有效地减少资源闲置,降低服务提供者的服务成本.