分布式流体系结构及其编程模型与资源管理

利用互联网资源提供大数据计算服务面临着资源异构性、动态性与通信长延迟等方面的挑战,现有分布式计算模型仍存在一些不足。运用流计算模型提出分布式流体系结构,包括分布式流编程模型与资源管理等,能够高效支持多种并行执行模式。在10个CPU-GPU异构结点上实现了原型系统,仿真实验验证了7个不同的测试用例。实验结果表明,与本地串行计算相比,分布式流体系结构可以平均提高39倍计算性能,具有较大的应用潜力。

WAPM:适合广域分布式计算的并行编程模型

早期的MPI与OpenMP等编程模型由于扩展性限制或并行粒度的差异而不适合于大规模的广域动态Internet环境。提出了一个用于广域网络范围内的并行编程模型(WAPM),为应用的分布式计算的编程提供了一个新的可行解决方案。WAPM由通信库、通信协议和应用编程接口组成,并且具有通用编程、自适应并行、容错性等特点,通过选择合适的编程语言,就可形成一个广域范围内的并行程序设计环境。以分布式计算平台P2HP为工作平台,描述了WAPM分布式计算的实施过程。实验结果表明,WAPM是一个通用的、可行的、性能较好的编程模型。

基于图的分布式并行基因编程模型

基因编程(GP)算法具有天然的并行性,因此出现了并行分布式GP模型,如主从模型、岛屿模型和网格模型等。但是实现这些分布式模型的算法过程复杂,不具有可重用性,很难依据不同拓扑结构来快速实现大规模的GP计算。针对这些缺点,提出了基于图的并行分布式GP模型,形式化地描述了图中的各种GP操作,使其能够支持不同拓扑结构的GP分布式并行计算。经过实验测试,该模型能够实现上述三种GP模型,并具有稳定、高效、易实现的特点。

基于MPI的分布式水循环模型并行计算性能研究

为满足分布式水文模型快速模拟的需要,引入并行计算技术。基于MPI编程模型实现了WEP-L分布式水循环模型产流模块的并行编程,采取子流域任务划分和对等模式实现了模型的并行设计。为了减少进程间的通信时间,在产流计算之前,数据按随年、月、日变化以及不随时间变化分成四类,分批进行通信;产流计算完成之后,采用聚合通信方式中的数据收集,快速统计结果。模型并行化后应用于黄河流域,结果如下:(1)随着参与计算的进程数增加,并行计算的加速比呈先增加后减少的趋势,并行效率随进程数增加呈线性下降趋势。(2)模型并行性能受通信开销制约,当通信开销增量大于产流计算时间减少量时,加速比达到峰值4.8。

实时分布式系统的客户/服务器编程模型

分析了分布式操作系统下的客户／服务器编程模型的原理，并通过分析在ＱＮＸ多任务实时操作系统下的一个在线聊天程序Ｃｈａｔ，介绍了利用该模型进行应用软件设计的方法。

分布式并行编程模型MapReduce及其应用研究

在传统的并行编程模型中,对大量数据如何进行并行计算、如何为每个任务分发数据、如何处理单点故障等问题,都需要大量的程序分析和设计,这些问题的有效处理都需要程序员显式地使用有关技术来解决.对于程序员来说,这是一项具有极大困难的工作,使得原本简单的运算反而变得非常复杂,这些问题的存在也在一定程度上制约了并行程序的普及.而MapReduce计算模型能有效地解决上述问题,阐述了Google的MapReduce计算模型的实现机制,并通过实例描述了该模型的执行过程.

面向地震数据处理的并行与分布式编程框架

本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CPU核的调度、通讯与节点故障恢复、模块之间的数据传输等并行编程细节。经过实验评估,GeoPF框架从串行到并行的线性加速性能有所提高,处理相同任务的时间从21h33min缩减到15min27s,效果显著。GeoPF与商用的地震数据处理系统相比,在业务流程方面有一些相同特点,其不同之处就是GeoPF的处理模块具有自动并行特点,而大部分地震处理模块只能是串行方式。

基于CORBA的分布式异构数据模型优化研究

提出了一个基于CORBA中间件的分布式多层异构数据库信息共享结构模型,在该模型中将数据库的访问集成到CORBA中间件中,并重点提出了一种对数据库的操纵以及应用服务器与数据库服务器连接的优化策略和设计方法;笔者采用Java和CORBA技术结合的方法构建分布式异构系统,以解决系统的通信及交互性、安全性、扩展性问题,从而实现了一个不依赖于表示层编程语言的透明访问机制.

CC＄:一种面向分布式众核平台的并行编程语言

CC＄是一种并行编程语言,目的是解决分布式众核并行计算机的编程困难。CC＄的编程模型以Multi-BSP模型为基础,将分布式众核并行计算机的硬件架构抽象为3层。数据按照存储的层次和共享范围分为5类,以便在不同层次上提供共享。CC＄还提出一类虚拟指令来解决不同层次之间的数据交换,实现数据访问的逻辑化描述。并行程序按照3层Multi-BSP超步嵌套执行。CC＄具有统一的编程风格、内建的多层公共地址空间、数据访问请求的表达式描述和数据传输编译优化4大特点。测试表明,CC＄程序的运行效率高,易学易用,大幅地缩短了开发周期。

基于简化分布式模型与数据结构理论的SPARK教学方法研究

针对高校云计算或大数据课程SPARK编程章节中的学生难懂问题进行分析,提出从数据结构理论的角度理解SPARK函数式编程的特点,从简化的分布式模型分析SPARK框架的结构,从而帮助学生轻松掌握SPARK编程。

彩虹表技术分布式密码破解

彩虹(Rainbow Table)可预先计算并绘制加密散列逆运算过程的表格,它专门为破解密码散列值而准备,目前主流的彩虹表都有100 G以上的空间容量,可实现基于时空权衡策略的密码破解过程。不过,它的破解速度严重受到计算机系统硬件性能与存储空间影响。针对上述问题,笔者展开了彩虹表的算法研究,论述了彩虹表MPI并行框架设计与密码加密流程,最后对彩虹表技术分布式密码破解实验进行针对性设计。

谈分布式计算模型MapReduce与搜索引擎系统

MapReduce是一种编程模型,它通常被用在处理大型的数据集的程序设计中。基于这种功能的程序能够在大规模的普通商用机器上自动并行的执行。实时系统处理输入数据的划分,制定程序执行计划,处理机器失效,内部机器通信等。这样使得程序员无需并行分布式系统的开发经验也可以很容易的利用大型分布式系统的资源。

一种支持多种访存技术的CBEA片上多核MPI并行编程模型

现有的CBEA（Cell Broadband Engine Architecture）编程模型多侧重于支持类似于流处理的“批量访存”（Bulk Data Transfer）应用,传统非规则访存应用性能较低.文中基于Cell架构提出了一种同时支持“批量访存”与非规则访存应用的MPI并行编程模型,将通信分解在PPE（PowerPC Processing Element）上,拓宽模型的适用范围;在统一访存接口下,通过运行时访存剖分信息指导选择和优化访存以提高计算效率.实验结果表明,文中提出的编程模型支持多种访存模式并具有很好的并行加速比,可获得较同类相关技术30%-50%左右的性能提升.

基于MapReduce的分布式网络数据聚类算法

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在MapReduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限MapReduce轮数,控制混洗过程所需时间,利用Map内合并技术对网络流量进行控制,在进行中间结果合并时仅对社团合并,而不考虑社团内部节点,以控制内存开销。使用模拟生成的数据在集群中进行实验,结果表明,当数据规模和集群规模增大时,该算法具有较好的加速比和扩展性。

MPI+OpenMP混合编程模型在大规模三对角线性方程组求解中的应用

分布式共享存储系统的特点是每个节点内是共享存储的,而节点间是分布式存储.为了更好地利用这种多级体系结构,讨论了MPI+OpenMP混合编程模型的性能及实现方法,建立了大规模三对角线性方程组的MPI+OpenMP混合并行算法,并在上海大学高性能计算集群上与单纯MPI算法进行了性能方面的比较.结果表明,MPI+OpenMP混合并行算法具有更好的加速比和扩展性.

MPI+TBB混合并行编程模型在分子动力学中的应用

为了提高分子动力学模拟在对称多处理(SMP)集群上的计算速度,在分子动力学并行方法中引入MPI+TBB的混合并行编程模型。基于该模型,在分子动力学软件LAMMPS中设计并实现混合并行算法,在节点间采用MPI及空间分解技术实施进程级并行,节点内采用TBB及临界区技术实施线程级并行。在SMP集群中的测试表明,该方法在体系较大以及节点数较多时可以明显减少通信时间,使加速比在纯MPI模型上提高45%。结果表明,MPI+TBB混合并行编程模型可促进分子动力学并行模拟且效率明显提升。

.NET远程处理构架及分布式对象处理

Microsoft○R.NET远程处理为在不同的应用域(AppDomains)、不同的进程和不同计算机中活动的对象的交互提供了系统框架支持,使其相互之间能够进行畅通无阻的通信。分布式对象处理(Remoting)依托 NET远程处理框架运行库及编程模型的支持,使得分布式对象处理变得异常简捷透明。本文探索了可利用的 NET远程处理方案,并详细探讨了分布式对象的处理实例。

包装生产线分布式网络实时监控系统的研究

随着Internet网络应用技术的普及,为企业生产和管理人员及时了解远程生产现场的状况提供了可能。针对包装生产线的分布式网络控制,分析了控制系统的总体结构,Socket网络通信的数据格式和故障诊断机理,实现了小型包装生产线的远程控制和故障诊断。

新一代的分布式系统Jini

Jini是基于 Java的新一代的分布式系统 ,它的把大量设备和软件服务简单而可靠地组织起来协同工作的原理和概念为分布式计算开创了一个新的纪元。本文介绍了 Jini的工作原理、基本结构 ,论述了 Jini应用系统开发的一般过程 ,并分析和比较了 Jini与传统的分布式系统在各种性能上的差别。

燃气轮机分布式仿真的现状与展望

燃气轮机仿真正在从单一的、定制的仿真程序,向多学科综合的、适应各种需要的仿真环境发展。由于燃气轮机各个部件模型通常使用不同的编程模型和编程语言,需要在系统层次采用统一的编程模型来进行集成,同时屏蔽编程语言的差异。本文从编程模型的角度出发,对各种分布式仿真技术进行比较分析,并介绍了国内外燃气轮机仿真的发展现状。最后对国内燃气轮机分布式仿真的发展方向进行了探讨。