-
题名Reduce函数的不可交换性检测
- 1
-
-
作者
朱晨璐
王熙
常博博
杨振
-
机构
航空工业西安航空计算技术研究所
-
出处
《电脑编程技巧与维护》
2024年第1期37-39,共3页
-
文摘
MapReduce是一种流行的编程模型,通过分而治之的思想很好地解决了许多并行计算问题。然而,在其广泛应用的背后还存在着非常严峻的考验。MapReduce程序可能因为输入数据到达Reduce函数的顺序不同而产生不确定的输出结果。为了使MapReduce程序的输出更加可靠,需要对Reduce函数的不可交换性进行检测。针对上述问题,提出了一种Reduce函数的不可交换性检测方法。首先,通过简化循环的符号执行方法及程序分析方法,生成具有针对性的原始测试用例;其次,通过一种能够快速改变记录行间相对位置的置换函数Ex生成后继测试用例;最后,通过比较原始测试用例及后继测试用例的执行结果是否相同,来检测Reduce函数的不可交换性。实验结果表明,该方法扩大了可以测试的Reduce函数种类,将测试用例集的大小从阶乘级别缩小到线性级别,降低了检测Reduce函数不可交换性的复杂度和难度。
-
关键词
MAPreduce模型
reduce函数
不可交换性
并行计算
符号执行
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
-
题名MapReduce分布编程模型
被引量:2
- 2
-
-
作者
陈明
-
机构
中国石油大学计算机科学与技术系
-
出处
《计算机教育》
2014年第1期104-107,共4页
-
基金
北京市教育委员会共建项目(京教函[2008]411号)
北京市高教学会"十二五"高等教育研究规划课题(京高学会[2011]28号)
-
文摘
MapReduce是分布编程模型,是Hadoop平台的核心算法。文章介绍MapReduce特点、函数式编程范式、映射函数与化简函数、MapReduce模型理论基础和应用方法等内容。
-
关键词
Map函数
reduce函数
分布计算
-
分类号
G642
[文化科学—高等教育学]
-
-
题名MapReduce在科学计算中的研究与改进
- 3
-
-
作者
刘锋
周飞凤
-
机构
安徽大学计算机科学与技术学院
-
出处
《无线互联科技》
2013年第3期113-114,共2页
-
文摘
针对Haloop模型不能实现各个计算节点的通信和Twister模型出现大量的数据重叠,提出了以下的改进:在Hadoop模型中增加各个节点的通信机制和缓冲机制。具体的实施如下:首先,在Map函数中引入了一个参数M来区分科学计算中的四类算法;其次,并将经常用的函数封装成适配器;再者,静态数据声明成保护类型并存放在缓冲池中。在文章的最后利用Hadoop做的相关实验,实验表明:随着计算节点数的增多,其加速比是越来越大的。
-
关键词
Mapreduce技术
科学计算
Map函数
reduce函数
-
Keywords
Mapreduce technology
scientific computing
map function
reduce function
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-