面向MapReduce计算的大规模集群通信优化

为了优化大规模集群运行MapReduce作业时的通信效率和减少shuffle数据传输量,首先采用存储局部性换取通信局部性的策略建立一个分布式协同数据映射模型;其次通过随机抽样和机器学习方法来提取作业数据的局部性特征,实现map计算数据的有效部署;最后,利用软件定义网络的全局灵活控制能力,优选通信链路好的节点并将计算任务映射到该类节点中。实验表明对于中间数据混洗密集类作业有较好的优化效果,通信延迟降低了4.3%~5.8%。该方案能减少shuffle流量和数据迁移延迟,并且适合各种调度策略和网络拓扑结构。

关于通信数据网络优化问题近似模型的研究

主要利用函数的非精确信息,构建通信数据网络优化问题的近似模型,并利用惩罚束方法和指示函数对通信数据网络优化问题的近似模型展开研究.基于对偶理论,给出其原问题与对偶问题最优解的显式表达式,并得到了非精确近似优化模型的一些相关结论.

通用处理器加速器研究综述

加速器是一种辅助通用处理器实现某些特定应用高效处理的硬件部件,可以用来解决当前通用处理器设计过程中存在的性能瓶颈问题。目前主流的加速器研究主要包括高效的加速器设计和有效地与通用处理器协作两个方面,这些研究对扩展加速器的应用领域和更有效地利用加速器所提供的计算资源来提升应用程序的性能有着十分重要的意义。对当前加速器研究领域中的热点问题进行调研和归纳,在对各个研究项目进行分析和评价的基础上,也对加速器可能的发展方向进行展望。