基于MapReduce和GPU双重并行计算的云计算模型

由于MapReduce模型进行Map和Reduce操作时需要频繁的CPU计算,面对大量并行计算任务时,CPU占用率甚至达到百分之百。而GPU有比CPU更好的并行计算能力,适度使用GPU,可降低了CPU的占用时间,又能用GPU的参与来平衡系统的计算能力。论文结合GPU技术和MapReduce技术的不同优势,设计出一种基于MapReduce和GPU双重并行计算的云计算模型。通过理论建模与实验验证,结果表明此模型可实现多GPU的MapReduce任务并行处理,提高了高性能计算的性能。

HPMR在并行矩阵计算中的应用

为了解决传统并行编程难度大、效率低的问题,提出一种基于MapReduce模型的并行编程方法,在高性能MapReduce平台上实现矩阵并行LU分解。实验结果表明,相比传统并行编程模型,MapReduce模型并行程序可较好满足高性能数值计算需求,其编程简洁性和可读性能有效提升并行编程效率。

HPMR：多核集群上的高性能计算支撑平台

HPMR是建立在多核集群上的高性能计算支撑平台,它继承并改进了MapRedcue并行编程模式,使其适合高性能计算需求.HPMR让并行程序的编写和运行变得非常简单,同时又保持很高的性能.HPMR的实用功能不但使并行程序变得易于扩展和移植,而且增强了并行程序的健壮性.

面向结构化篇级科技文献数据治理的高性能分布式计算框架研究

[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

HPMR系统KV路由算法设计

提出一种针对HPMR系统的KV路由算法。HPMR系统是MapReduce模型的一个实现,改进了MapReduce模型以适应高性能计算的需求。HPMR的KV路由算法生成KV路由表,所有数据的收发动作将依据该路由表进行。KV路由算法产生的KV路由表直接决定HPMR系统在通信阶段的时间开销。实验结果表明,该KV路由算法产生的KV路由表可以提高HPMR系统的通信性能。

面向高性能计算机的海量数据处理平台实现与评测

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.

基于Linux构建Hadoop高性能服务器集群

随着大多数企业在生产过程中对并行计算要求的提高,而且Hadoop框架已成为当今大数据时代的关键部件,构建高性能的Hadoop服务器集群已成为大势所趋。文章介绍了如何在Linux下实现Hadoop高性能服务器集群的搭建,并且创建了一个hadoop账号,对帐号的home目录下的hadoop文件夹中相关的6个配置文件进行配置。针对这些关键的配置文件,设置hdfs.replication配置文件块的副本数,完成Map和Reduce任务数的配置,通过和硬件的结合来使Hadoop服务器性能达到最优。