Reduce函数的不可交换性检测

MapReduce是一种流行的编程模型,通过分而治之的思想很好地解决了许多并行计算问题。然而,在其广泛应用的背后还存在着非常严峻的考验。MapReduce程序可能因为输入数据到达Reduce函数的顺序不同而产生不确定的输出结果。为了使MapReduce程序的输出更加可靠,需要对Reduce函数的不可交换性进行检测。针对上述问题,提出了一种Reduce函数的不可交换性检测方法。首先,通过简化循环的符号执行方法及程序分析方法,生成具有针对性的原始测试用例;其次,通过一种能够快速改变记录行间相对位置的置换函数Ex生成后继测试用例;最后,通过比较原始测试用例及后继测试用例的执行结果是否相同,来检测Reduce函数的不可交换性。实验结果表明,该方法扩大了可以测试的Reduce函数种类,将测试用例集的大小从阶乘级别缩小到线性级别,降低了检测Reduce函数不可交换性的复杂度和难度。

MapReduce分布编程模型

MapReduce是分布编程模型,是Hadoop平台的核心算法。文章介绍MapReduce特点、函数式编程范式、映射函数与化简函数、MapReduce模型理论基础和应用方法等内容。

MapReduce在科学计算中的研究与改进

针对Haloop模型不能实现各个计算节点的通信和Twister模型出现大量的数据重叠,提出了以下的改进:在Hadoop模型中增加各个节点的通信机制和缓冲机制。具体的实施如下:首先,在Map函数中引入了一个参数M来区分科学计算中的四类算法;其次,并将经常用的函数封装成适配器;再者,静态数据声明成保护类型并存放在缓冲池中。在文章的最后利用Hadoop做的相关实验,实验表明:随着计算节点数的增多,其加速比是越来越大的。