一种有效的高维Cube划分与并行分布式处理方法

提出一种高维Cube的划分和并行分布式处理方法PHD_Cube,将高维Cube分割成若干个低维立方体mini-Cube,利用数据网格技术和并行分布式处理系统等并行处理技术来创建这些分割的分段共享mini-Cube及其聚集Cuboids。实验结果表明,PHD_Cube方法的性能优越。

一种分布式并行处理模型的研究

分布式并行处理能够满足基于计算机网络的快速计算的需要。分析了分布式并行处理及几种常见的分布计算模型的特点，给出了适用于ＭＲＣＷ系统的分布并行处理模型及其实现方法，并对该系统的任务分配、容错处理等问题进行了探讨。

DNA序列拼接的分布式并行处理

针对分布式存储环境,本文提出一种DNA序列拼接的并行算法,分别对序列拼接中OVERLAP、LAYOUT 和CONSENSUS阶段的串行处理过程和并行算法进行了描述,并给出了算法复杂性分析。数值试验结果表明,算法是高 效的。

基于分布式并行处理的远程监控通信系统设计

论文针对小区泵站远程监控系统中的被控设备来源不同地区和不同的厂家,所使用的通信协议各异、通信效率较低的特点,通过对计算机监控中的协议的剖析,提取了该类型通信协议的主要特征,采用了分布式并行处理技术,在每个小区引入一个具有路由功能的通信单元,缩短了各个小区的通信时间,取得了很好的效果。文中给出了系统的设计思路,并进行加速比等效率的分析。

一种分布式并行处理模型的研究

分布式并行处理能够满足基于计算机网络的快速计算的需要。本文分析了分布式并行处理及几种常见的分布计算模型的特点， 给出了适用于ＭＲＣＷ 系统的分布并行处理摸型及其实现方法， 并对该系统的任务分配。

MUSIC算法在分布式并行处理机上的实现研究

介绍了一种基于分布式并行处理平台的并行MUSIC实现方法。在实现过程中,针对MUSIC算法运算量大难以实时实现的特点,采取了有效减少计算量的措施。并根据MUSIC算法各个子任务的不平衡性,提出了一种基于软件流水的并行任务划分方法。经仿真试验证明,经过上述并行处理后可有效加快算法的完成时间,在工程实践中具有广泛的实际意义。

基于分布式计算的what-if分析并行处理策略

根据基于OLAP的what-if分析的查询特点,使用分布式并行处理技术解决what-if分析性能较低的问题。以星座模型为基础的what-if分析中,将多维聚集查询分布到不同计算节点进行聚集计算,然后将各个计算节点的聚集计算结果合并输出。该方法根据基于OLAP的what-if分析中其维表远远小于事实表的特性,将事实表中的记录进行水平分片,充分利用各节点计算和I/O处理能力,以解决OLAP查询中计算密集型及I/O消耗过大的难题。在该方法中,随着计算节点数目的增加,其查询时间随之减少,有效地提升了分析效率。

基于服务总线浮动车数据分布式并行处理算法

FCD(Floating Car Data,浮动车数据)是一种新型的交通信息检测技术,其核心是利用具有GPS/北斗定位和通讯功能的车辆(如城市出租车等)采集的位置、时间、速度等数据,并把这些数据与电子地图进行单点匹配,以及路径推测等,最后可直观描述道路的交通流状况。然而,海量浮动车数据处理存在性能方面的瓶颈,为此,本文针对大规模浮动车数据进行分布式并行处理等关键性算法研究,在单机多线程处理的基础上,通过服务总线,实现了FCD分布式并行处理系统及FCD实验平台,该平台不仅能够对处理任务按车辆分配,还能根据实际需要,按浮动车时间段进行分配,并且实现了计算单元的动态弹性扩展。通过北京市实际浮动车数据集和路网数据测试,实验结果表明,处理效率得到较大幅度提升,并且通过负载均衡优化,进一步降低处理时间,验证了该算法的有效性,更好地解决了大规模复杂空间数据运算的效率问题。

第26届IEEE并行及分布式处理国际会议(英文)

IPDPS travels to Shanghai in 2012.Our hosts from Shanghai Jiao Tong University have been working with us to prepare for an event that offers our rich program of workshops,a PhD Forum,and the technical program of contributed papers。

一个基于CORBA和Java技术的分布式并行有限元计算环境

本文结合CORBA （Common Object Request Broker Architecture）和Java技术，提出了一个能在支持TCP/IP协议的异构网络环境下实现分布式并行有限元计算环境的具体方案.为了验证方案的可行性,在西南交通大学应用力学与工程系计算中心的局域网上实现了分布式并行计算环境的基本框架,并进行了10000阶矩阵相乘的计算。

分布式并行信息检索系统的设计与实现——基础教育资源搜索引擎个案研究

在大规模信息检索领域,随着高速网络技术的迅速发展,分布式并行信息检索技术由于其高效性与经济性而受到越来越多的重视。结合基础教育资源搜索引擎的设计开发,讨论分布式并行信息检索系统中涉及的数据分布、查询任务分解及节点冗余等关键技术。

基于高性能云的分布式数据挖掘方法

为实现数据在同一个地点进行处理而无须移动,介绍一种基于高性能云的分布式数据并行处理方法。使用一个专用的网络服务分层结构,适用于高性能广域网络连接的计算机集群所产生的大型分布式数据集的数据挖掘。实验结果表明,与Hadoop方法相比,该方法的性能有显著提高。

雷达预警系统多目标轨迹预测的并行处理方法

多目标实时轨迹预测是空中目标预警的核心任务之一.随着雷达(组网)监测范围的扩大,数据量激增,现有的串行处理方式已不能满足实时性要求.本文针对多目标实时轨迹预测中对同一批目标定轨及轨迹修正需进行数据回溯的特点,采用目标任务与计算节点绑定的方法,设计出一套完整的分布式异构并行方案,解决了通常的分布式雷达数据处理系统在处理该任务时因任务与计算节点相互独立导致的通信量大的问题.方案包括系统架构、进程设计等,并根据轨迹预测任务并行化设计特点进行建模,提出两种任务调度策略,在分布式集群上加以实现,结果表明该方案获得了良好的性能.

应急遥感影像高性能集群处理系统的设计与实现

深入分析了PixelGrid高分辨率遥感影像数据一体化测图系统在生产单位中存在的问题,提出并实现了以控制资料服务体系为基础,依托高速局域网的分布式并行处理模块,集成PixelGrid,解决了控制点自动量测并实现了流程化定制作业,提高了应急遥感影像快速处理效率。

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。

基于云计算Hadoop平台的文本挖掘预处理方法

随着信息社会的快速发展,网络数据正在指数级地增长,其中大部分都是文本数据.如何在有限的时间内完成大规模的文本数据挖掘分析,已成为当前的热点研究问题.文本预处理是整个挖掘过程中最耗时的环节,分布式并行处理可以缩短该过程的挖掘时间.设计分析了基于云计算Hadoop平台的文本预处理MapReduce并行化过程,并对预处理的Map函数和Reduce函数进行了详细介绍.通过实验证明,和单节点运行相比,改进后的并行化方法具有更好的性能.

量子行为网络资源并行分配优化模型及其应用

通过建立博弈量子场数学模型,探讨了具有量子行为的分布式并行处理模型。利用博弈量子场由非平衡状态到平衡状态的演化过程与分布式系统演化过程之间的相似性,分析了量子力学系统与分布式演化模型之间的对应关系。建立了具有量子行为的分布式并行演化模型,并研究了模型的自治性、平衡态和稳定性。最后通过宽带网络的带宽分配问题中的应用实例,验证了模型的性能。

IncPR:一种基于增量计算的并行PageRank算法

广泛的互联网的商业应用使PageRank算法有重要地位.网络规模不断地增大,同时网络变化带来的时效性要求,也使PageRank计算对计算资源的要求不断地提高.为降低该问题对计算资源的消耗水平,降低计算成本,一种基于增量计算思想的PageRank算法:IncPR被提出.IncPR通过重用已有的结果,增量地获得数据变化后的结果.该算法在并行计算环境中,能够有效地降低计算量,缩短计算时间.理论分析表明,该算法计算结果的误差范围与蒙特卡罗PageRank算法相当,其时间复杂度优于其他已有的相关算法,且不引入额外的存储开销.在分布式集群Hama上进行的实验验证了理论分析的结果,IncPR在得到与蒙特卡罗PageRank算法同等(甚至更高)结果精度的情况下,显著地降低了计算量.

航天控制系统中国产化海量数据处理优化技术

信息化的发展使得航天武器装备在控制系统试验和使用中产生了海量数据。针对国外设备安全性无法保障和国产化软硬件平台性能不足的问题,本文提出一种基于国产化平台的海量数据处理优化技术,确保数据处理系统可以安全、快速地处理控制系统的试验数据。首先,采用多处理技术和分布式并行计算2种方式,提升系统数据计算能力。随后,采用最小单元UNIT模式对数据进行分级抽样等预处理,减小数据入库、出库的压力。数据查询实验结果表明,系统的数据查询速率有了大幅提升,且实现了任意试验时间段数据的秒级加载。

基于Hadoop的智能家居信息处理平台

智能家居包含门禁系统、温湿度系统、室内滴灌系统、照明系统等。每一个系统包含了不同的终端,每一个终端安装有不同的传感器,传感器感知周围环境产生大量数据。用户数的不断增加将产生海量数据。文中针对传统的海量数据处理方法会出现硬件成本高、计算瓶颈等问题,在云计算理论的基础上针对智能家居中的门禁系统、温湿度系统、滴灌系统和照明系统搭建了基于Hadoop的数据处理平台。该平台对大量传感信息进行分布式并行处理,并根据处理结果向底层设备发送指令以实现智慧化服务,有效解决了成本和计算瓶颈问题。