MapReduce:新型的分布式并行计算编程模型

MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干个Reduce任务合并这些中间文件获得最后的输出文件。用户在使用MapReduce模型进行大规模数据处理时,可以将主要精力放在如何编写Map和Reduce函数上,其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给MapReduce系统处理,在很大程度上降低了整个编程难度。MapReduce日益成为云计算平台的主流编程模型。Apache Hadoop项目提供开源的MapReduce系统还有待进一步完善。

基于MapReduce海量视频数据并行计算系统的设计

在总结视频图像数据处理现状的基础上,针对海量视频数据的并行化处理问题,提出一种基于MapReduce的并行计算系统设计方法。该系统使用NVIDIA JETSON TK1搭建并行计算集群,在此基础上利用Hadoop实现了MapReduce。在此平台上设计基于CUDA的并行数据处理算法对千万条文本数据进行处理,分析了其数据装载时间、处理时间和全部任务处理时间。结果表明,该系统当前加速比约为4.73,与C/S单机相比,处理速度有较大程度的提高,为实现实时海量视频图像处理奠定了良好基础。

基于MapReduce并行计算模型的报警聚合算法

随着网络攻击以及网络流量的飞速增长,分析入侵检测系统产生的海量报警信息越来越困难。MapReduce是由Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算,提出了一种基于MapReduce并行计算模型的报警聚合算法,用于执行高效的报警归并。最后使用DARPA 2000数据集,验证了本算法可以高效地聚合报警信息,大量减少冗余报警数量。

基于MapReduce的CME参数识别模型并行计算技术

日冕物质抛射(Coronal Mass Ejection,CME)参数识别模型是太阳风预报过程的重要组成部分.在空间环境预报业务中,为提高太阳风预报的准确率,需要提高CME参数识别的精度.模型以计算任务串行的方式运行,运算效率低导致模型运算时间长,不能满足这种需求.CME参数识别模型的物理运算过程相互不独立,其在单节点上的运行方式不能满足并行化要求.基于MapReduce的并行计算框架,改进了CME参数识别模型的计算流程,提出CDMR(CME detection under MapReduce)方法,实现了CME参数识别模型的并行计算,并对比分析CME参数识别模型在串行计算和MapReduce并行计算下的运行时间,提高了模型的识别精度和计算效率.

基于MapReduce模型的并行计算平台设计

现如今人们的生活已经进入了互联网时代,每天网络上都会形成海量的数据。对于互联网企业而言,需要对大量的数据进行系统分类,以便能够找寻对自身有价值的信息。MapReduce是一款能够用于大型计算机集群并发处理大量网络数据的模型,本文对该模型进行了系统的分析与研究,提出了一种更为通用且可扩展的平台。

基于MapReduce并行计算的网站日志数据分析处理

随着信息技术的快速发展,大数据正以成倍的形势增长。数据也越来越呈现出数量巨大、结构复杂、类型众多、富有价值等特点。然而挖掘出数据中的价值才是关键,面对海量的数据,单靠传统的计算方式已经不能满足数据处理的需要。并行计算的优越性已经得到了的认可,MapReduce已经得到了广泛的应用。阐述MapReduce的原理基础,应用MapReduce计算模型的特性,将分布式文件系统中的大规模数据集切分成独立的数据块将计算均匀的分布到多台异构计算机上,来分析log日志,是一个很好的处理方案。大型网站的服务器往往会产生海量的log日志进行处理,这些log日志记录的其他机器访问服务器的IP、时间、HTTP协议、状态码等信息。

基于GPU-Hadoop的并行计算框架研究与实现

针对原生的Hadoop云平台处理海洋环境信息可视化效率不高的问题,提出了一种GPU嵌入Hadoop云平台的并行计算框架。该框架以原生Hadoop为基础,GPU并行计算与MapReduce相结合,实现了高效的海洋流场可视化和特征可视化。实验结果表明,提出的并行计算框架在处理数据密集型和计算密集型的海洋数据的效率上优于原生的Hadoop云平台,可达到6～8倍的加速比。因此,提出的云平台框架可以有效提高海洋信息可视化的计算效率,对我国海洋事业的信息可视化发展具有重要的推动作用。

面向对象有限元并行计算框架PANDA

为提高我国工程数值模拟软件的开发能力,面向武器工程大规模并行计算需求,基于层次化、模块化及面向对象的现代软件设计技术,分析探讨有限元并行计算框架的设计方法,形成初步的基础开发框架PANDA 0.1版;详细描述PANDA框架的层次结构设计,并探讨该基础开发框架设计中的底层网格数据结构设计、有限元共性管理模块及并行策略等部分关键技术;简要介绍PANDA框架的扩展应用方法.研究表明:采用框架技术进行结构力学有限元程序开发,具有高效、快速和便捷等优点.

JASMIN框架中多块结构网格拼接并行计算及其应用

基于JASMIN框架,本文设计了多块结构网格拼接的并行算法并研制了相应的软件模块。该模块设计实现了网格块间关系统一描述算法,及网格片间统一通信调度策略,从而有效解决了多块结构网格拼接并行计算中的通信性能瓶颈问题。同时,该模块封装了数据分布存储、数据通信等并行计算细节,提供了规范接口,能够支撑用户简便地实现多块结构网格拼接并行计算。数值测试表明,该模块具有很好的并行性能,可以支撑应用程序扩展到上千核。

JASMIN框架中联邦并行计算及其在多物理耦合中的应用

多物理耦合是一类普遍的复杂应用问题。并行计算时,在充分考虑各个物理过程的基础上,还需要在不同物理过程之间建立数据依赖关系并交换物理量值。这无论对并行算法设计,还是对并行编程实现来说,均具有较大的难度。JASMIN框架提供联邦计算功能,很好地封装和实现了单层结构网格上的多物理耦合并行计算。该功能实际应用于激光聚变和地球系统模式等领域,支撑研发了多个应用程序,可以有效使用成千上万个处理器核进行数值模拟。

基于JASMIN框架的抛物方程有限差分解法并行计算及其应用

抛物方程有限差分解法的网格步长严格受波长限制,在求解城市小区电波传播问题时,计算速度明显变慢,为此,基于JASMIN框架研究了抛物方程有限差分解法的并行方法,通过将同一步进面划分成多个网格片,并分配到不同的处理器进行运算,实现了抛物方程有限差分解法的并行计算。与解析解的对比验证了并行程序的正确性,同时通过实例分析了并行程序的高效性,算例表明,抛物方程有限差分解法的求解效率得到了有效的提高。最后,模拟和分析了某一电信基站天线在包含9栋规则建筑物的城市小区环境中的电磁特性,结果表明,该方法能够得到基站在空间各处的信号覆盖强弱,可以为基站选址提供参考。

考虑楼板作用的钢筋混凝土框架有限元模型及并行计算效率

对于钢筋混凝土框架,考虑楼板与梁的协同作用可以更充分地体现结构静动力性能。本文首先采用分层壳单元模拟楼板,通过刚臂耦合梁板,建立了可以较好模拟梁板协同工作的框架结构有限元模型,并与其它3种采用简化假定的模型进行了比较。为了控制这种模型的分析误差,必须将梁、板划分为较小单元,所以需要耗费大量的计算机内存和时间。为此,比较分析了采用集群并行计算与普通串行计算的求解时间,结果说明对于中等到较大的框架模型,集群计算均可以大量减少计算时间。

面向对象有限元并行计算框架PANDA的并行机制

为实现面向对象有限元并行计算框架PANDA对高性能计算的支持,分别从并行计算流程、区域分解、分区信息和通信封装等部分设计PANDA框架在并行计算方面的数据结构.在计算流程中建立区域分解和并行求解器的配合协作方式,进而描述进行区域分割的3种网格剖分方法;对分区边界单元和节点信息的组织以及对并行通信操作的封装使复杂的并行通信调用简单、易行.用PANDA框架开发有限元程序时,只需以串行方式编写代码就可得到并行计算服务.对某夹具的算例表明PANDA框架并行计算实现的正确性和可靠性.

一个层次式面向对象并行计算框架的设计

本文讨论了一个层次式并行应用软件开发框架的设计思想 ,将并行计算底层细节进行逐级抽象 ,采用面向对象封装与继承机制 ,为科学计算领域提供了快速原型实验和应用开发环境 .该框架的层次结构使之成为独立于体系结构的并行开发环境 。

基于MapReduce框架的并行蚁群优化聚类算法

传统蚁群优化聚类算法在处理大规模数据时存在内存不足,不能体现蚁群算法的并行优势,无法处理分布式数据等问题。为此,提出一种并行蚁群优化聚类算法。通过借鉴搜索空间复制和搜索空间分块的思想,解决大数据处理问题,逐行读取信息素和数据,避免当数据规模过大时,将信息素一次性读入而造成内存不足的风险。实验结果表明,该算法在处理大规模数据时具有较好的可扩展性和较高的加速比。

面向对象有限元并行计算框架PANDA的多物理场耦合服务

针对结构分析软件面向多物理场的应用,分析讨论面向对象有限元并行计算框架PANDA的多物理场耦合服务设计,即多物理场分析类型的扩充能力、不同物理场间的数据传递和多物理场耦合分析的求解策略.在PANDA提供的多物理场耦合服务的基础上,开展热-力耦合分析功能的程序开发,实现热弹性分析功能.热弹性分析算例计算结果与ANSYS的计算结果完全一致,表明基于PANDA框架的多物理场耦合功能开发已取得一定进展.

支持多种并行计算模型的面向对象框架研究

为了支持并行程序设计，几乎所有的程序设计语言均通过提供并行与同步通信机制来支持某一高级并行计算模型，如Ａｄａ语言的任务与会合机制以及Ｊａｖａ语言的线程和同步方法．显然，这样的程序设计语言仅能支持一种高级并行计算模型．尽管单模型的途径对某些应用来说简单而有效，但由于现实世界中的问题往往较为繁杂而难以完全用单一模型来解决．文章采用面向对象的语言机制和框架技术来解决此问题．通过分析现有各种语言中高级并行计算模型的共性，提出了若干新的面向对象语言机制．以此为基础，提出了并行面向对象框架的概念，并讨论用其表达和使用高级并行计算模型的方法．结果是，可在某种意义下将高级并行计算模型从语言中分离出来，而单一语言可由多个并行框架加以支撑，从而使得在单一面向对象语言中支持多种高级并行计算模型成为可能．

基于分布式对象的并行计算框架(英文)

在为工作站机群构造并行软件的过程中,计算特征和组成特征非常重要.但是,由于缺乏有效的支撑环境,当今的分布式并行计算软件系统效率低下,这在计算特征方面尤为明显.提出一个基于分布式对象的并行计算框架,目的在于保证高效的并行计算开发,提供封装和复用并行程序的机制,并保证系统的动态平衡和容错性.框架是4层模型,包括对象组层和移动对象层.实验结果证明了方案的有效性.

一种对象化并行计算框架

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域.在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组件、对象管理服务组件和客户端代理组件,并将该架构和组件在国家电网资产质量监督管理系统中进行了验证应用,其效果表明该框架能大幅提升大数据处理效率.

面向对象有限元并行计算框架PANDA的应用模板

为解决面向对象有限元软件框架PANDA的应用问题,降低使用PANDA框架进行并行应用程序开发的难度,提高软件开发的重用性,从PANDA的框架设计、PANDA的应用模板和应用测试等3方面介绍针对不同物理问题的程序建立机制,即PANDA框架的使用方法──应用模板方法.PANDA框架的开发目前处于初始阶段,为提高其易用性仍需进行大量的研究工作.