考虑局部密度的电力通信大数据并行聚类算法

由于电力通信大数据分布广、数量庞大且无规律可循,难以取得理想的并行聚类效果,为此,提出考虑局部密度的电力通信大数据并行聚类算法。利用欧式距离计算数据之间的相似度,获取数据局部密度,根据相似度得到并行聚类质心的准确位置;对并行处理过程提出约束条件,并加权处理数据距离,完成高效率的大数据并行聚类。将所提方法与其它方法展开实验对比,结果表明,所提方法有着高于另外两种算法的聚类准确度和纯度,对于无序且数量庞大的典型电力数据也实现了精准聚类,有效降低了漏聚类和误聚类现象的发生概率。

基于hadoop的舰船通信网络数据并行处理方法

舰船通信网络数据量的显著提升对数据处理性能提出更高要求,为提升数据处理效率,研究基于hadoop的舰船通信网络数据并行处理方法。设计由数据应用层、数据处理层和数据存储层共同组成的基于hadoop的舰船通信网络数据并行处理架构:数据应用层作为用户与数据处理架构的交互工具,将所采集的数据上传至架构内;数据处理层运行MapReduce程序实现数据存储、解析与聚类等并行化处理;数据存储层采用HBase与HDFs等多种不同的存储方式存储舰船通信网络数据。实验结果显示,该方法可实现准确的舰船通信网络数据聚类,大幅节省数据处理时间,在数据量较大的条件下具备较好的数据处理加速比。

大规模问题数据并行性能的分析

从应用的角度建立了评价大规模问题数据并行处理性能的模型 ,分析了区域的不同划分对解整个问题算法的收敛速度有影响时的并行性能 ,进而就操作重叠、数据规模以及算法选取等几个方面的问题对大规模数据并行性能所产生的影响进行了分析 .最后 ,给出的例子证明了模型的有效性 .

提升小波变换的数据并行计算方法研究

研究了基于SIMD PE阵列对G级像素帧进行9/7提升小波变换的数据并行计算实现方法.首先,在分析9/7提升小波变换运算公式的局部计算特点的基础上,提出了PE状态标识法和基于PE标识的条件计算方法;其次,提出了SIMD PE阵列的虚拟化实现方法.研究表明,该方法提高了计算的并行度和规则性,并行度仅受限于阵列的规模且具备可裁减性和通用性,很适合于MPP系统芯片实现.

区域生长法图像分割的数据并行方法研究

针对基于区域增长的图像分割方法,讨论和研究了其数据并行实现方法,证明了这种数据并行方法的正确性,并简要对算法性能进行了分析。对有关结论进行了仿真验证,结果表明,这种基于区域生长法的图像分割的数据并行方法是正确且切实可行的。

遥感卫星图像几何粗校正的数据并行方法研究

主要研究星上遥感图像的实时几何粗校正问题 卫星遥感图像现在一般都大到上万个像素行和列 ,采用传统的单个处理器的串行方式在星上进行实时处理是难以满足应用要求的 提出了一种在一维PE阵列的SIMD计算机上采用基于处理元阵列平移的数据并行校正方法 ,并根据NASA的LANDSAT 1卫星的有关的参数 ,对该方法进行了详细讨论 ,给出了具体的实现方法 通过对复杂性和加速比的讨论 。

一种数据并行中的群通信优化策略

群通信是影响大规模数据并行系统效率的关键因素,其主要发生在程序不同阶段间的数组重分布与循环划分后的数组重映射这两种情况.在一次通信中显著影响群通信效率常被忽视的因素是消息冲突和消息长度的不一致.因为它们会导致进程间大量的空闲等待时间.然而以前的研究要么不能完全避免消息冲突,要么针对某些特殊情况.对此,提出了在数组分布为Block_Cyclic(k)情况下的一种更具有普遍适用性的通信调度策略CSS.通过证明表明该策略能使一个通信步内的消息互不冲突且消息长度尽量相等.从而最小化通信调度生成时间和实际通信时间.最后的测试结果也表明,与传统的通信优化算法和MPI_Alltoallv实现相比,CSS策略使得通信效率得以明显提高.

科学计算可视化并行处理建模及其数据并行技术研究

科学计算规模的不断增长使得对科学数据的可视化也必须采用并行处理技术。针对可视化应用的特点,一方面,分类建立了可视化并行处理模型,给出了形式化描述,并对其并行性进行了定量的分析;另一方面,提出了一种可扩展的可视化数据并行体系结构,并深入探讨了实现该结构的数据划分技术和并行绘制方法;最后基于上述理论实现了一个数据并行可视化处理软件原型系统YH-PView,并通过实验验证了理论分析的正确性。

一个用于数据并行语言计算划分的时序优化模型(英文)

一个程序中数据并行语句的计算划分 (CP)对该程序的运行性能有决定性的作用 .尽管人们对这一问题已经进行了广泛的研究 ,但这些研究的重点都集中在如何提高被选择计算划分的空间局部性上 .针对并行循环结构的计算划分问题 ,提出了一个时序优化模型 .在该模型中 ,一个计算划分被表示成一个有向图 ,在把并行语句中的操作映射到各个处理器的同时 ,给出了被分配到不同处理器上的操作之间的相关性 .对于一条数据并行语句 ,时序优化模型对它的每个计算划分选择方案分别采用多种有效的优化策略进行优化 ;并综合考虑各个计算划分选择方案的负载平衡性、处理器间的操作依赖性、数据访问的空间局部性和时间局部性四个方面的因素 ,估算每个方案的执行效率 ;最后从这些方案中选择一个执行效率最优的方案作为该语句的计算划分 .作者已在 HPF编译器 p-HPF采用时序优化模型实现了对 FORAL L结构的支持 .实验结果表明 ,该模型具有非常好的通用性 ,对不同领域多种数据并行问题均取得了理想的加速比 .同时 ,只需略微改动 ,该模型也可用于其他类型数据并行语句的计算划分 .

数字图像几何变换的数据并行方法研究

针对SIMD计算机上的数字图像的几何变换问题,提出了一个新颖的基于阵列平移的数据并行实现方法。在此基础上,给出了数字图像几何变换的数据并行实现算法,并详细分析和讨论了算法的复杂性以及精度要求。

直方图计算的数据并行实现方法

灰度直方图计算是图像分割与图像灰度变换等图像处理操作中一种重要的分析工具。本文将首先讨论直方图计算在单处理机上的执行效率,并讨论两维处理元阵列上直方图计算的数据并行实现方法,然后以每个处理元中至少有256个寄存器的一维处理元阵列为应用背景,提出了一种新的直方图计算的数据并行实现方法,使处理元阵列的执行效率达到了每个像素只需1次数据并行的计数操作。

基于动态冗余机制的数据并行型计算网格模型

在由多个普通计算机机群构成的网格环境下,为了解决大规模数据并行型计算加速比问题、容错问题和动态负载均衡问题,提出了一个基于动态冗余机制的数据并行型网格模型。给出了由多个计算机机群组成的数据并行型计算网格等一系列形式化定义。利用逻辑计算机机群、机群逻辑环、计算节点逻辑环和m-冗余策略,研究了动态冗余、动态负载均衡技术。根据这些技术,描述了网格环境下的数据并行型计算过程。理论分析和实践表明,该模型有效地解决了大规模数据并行型计算所需的负载均衡、容错和资源优化问题。该模型适合基于网格的数据并行型计算。

MCC-SIMD数据并行卷积计算方法的研究

主要研究卷积计算的数据并行方法在MCC-SIMD计算机的设计和实现问题。在参考国内外现有资料的基础上，从图论的角度用卷积路径的方法对卷积计算的有关概念进行了严格的形式化定义；分析了4-连接卷积路径下数据并行卷积计算时处理元阵列的移动规律;在此基础上给出了数据并行卷积计算算法；最后对算法的计算复杂性和通信复杂性进行了简要分析。文中还对有关结论进行了证明。

数据并行程序中的动态负载平衡模型

在研究分析已有的负载平衡策略算法的基础上．应用Ｄｅｍｐｓｔｅｒ－Ｓｈａｆｅｒ的信任函数理论，提出了一种基于信度网络的负载平衡策略算法，此算法较适应动态负载平衡，而且优于负载平衡的随机算法，若忽略系统的通信花费则可达到系统的完全负载平衡，综合各种费用，提出的算法通过状态管理器，在不完全信息的状态下可使系统达到较满意的平衡．此外，基于信度网络的负载平衡策略算法不仅适应于虚拟非规则网络，也适应于虚拟规则网．

大规模数据并行问题的可扩展性分析

大规模数据并行处理的性能受到处理机数量、I/O速度、通信速度等多方面因素的制约。增加处理机数量或提高处理机的计算速度 ,可以提高计算机的整体处理速度 ,但是通信和I/O会成为影响并行效率的主要因素。为了综合分析这些因素对计算性能的影响 ,用一种比较典型的大规模数据并行的计算模型 ,具体分析了处理机数量、处理机速度与处理机间的通信延迟、通信速率以及输入输出速度之间的关系。得到了大规模并行机的通信和I/O性能与处理机速度与数量之间存在的关系。指出 ,增加处理机数量、提高单节点处理速度的同时 ,必须按照一定的关系相应增加节点间的通信性能和I/O性能。单纯以增加处理机数量、提高单处理机速度提高计算机峰值速度的方法会降低系统的计算效率 ,不能达到计算速度与计算机处理能力同步增长的目的。

LS MPP数据并行C语言编译器实现的研究

大规模并行处理技术是并行计算研究的一个热点问题，文章针对 LS MPP嵌入式大规模并行处理机提出了一个数据并行 C语言编译系统的实现方案，并对其中的代码分离、数据分布、节点程序生成等关键技术的实现进行了详细的阐述。

考虑节点信誉度的传感器网络数据并行聚集

为降低传感器网络的数据积聚量、提高数据并行聚集精度,提出了一种考虑节点信誉度的传感器网络数据并行聚集方法。将传感器网络数据并行聚集过程分为两个阶段。首先,采用减法聚类的方法来获取节点簇头。通过保障簇头地理位置的合理分布,提升节点分簇效率。然后利用以云理论为基础的节点信誉度度量模型获取信誉云的数值特征值,量化局部窗口内传感器节点的信誉度。在数据传输阶段,以多属性决策过程描述簇头节点确定下一跳数据转发节点的建模过程,结合节点信誉度分析结果,确定由整体评价最佳的簇头节点转发聚集数据。仿真结果表明:本文方法的精度最高可达98.1%,由此可知,利用该方法可实现高精度的传感器网络数据并行聚集。

物联网数据并行传输路径预测仿真

对物联网数据并行传输路径的预测,能够有效提高并行数据的传输效率。对物联网数据并行传输路径的选择,需要同时获取多条最优路径,制备出两种备用方案。传统方法采用自适应随机参数方法,但只能得到一条最优转换路径,导致路径预测结果不理想。提出基于小生境萤火虫算法的路径转换方法,能够得到多条最优路径,避免了算法陷入局部最优,加快了萤火虫收敛速度;两种路径切换方案的启用,解决了当前方法计算量较大的问题,适用于复杂物联网环境下的数据并行传输。实验结果证明,所提方法具有更高的效率提出的两种路径切换方案能够高速提升数据传输效率。

几何操作的数据并行实现

为简化几何操作数据并行实现的复杂度,特别是简化几何操作中重采样数据并行实现的复杂度,提出了通过SIMD(S ingle Instruction Mu ltip le Data)处理元阵列内的数据并行传送,而不是通常所采用的处理元阵列与阵列存储器之间的数据流传送实现几何操作的处理方法。讨论了几何操作正向映射的零阶内插与一阶内插的数据并行实现方法;几何操作反向映射的零阶内插与一阶内插的数据并行实现方法;以及正向映射与反向映射的3种特殊情况。结果表明,该方法使几何操作的数据并行实现方法的复杂性为Ο(M+N),而不是数据流传送实现方法的Ο(MN),从而更好地满足了数字图像快速实时处理的需要。

虚拟无线电航天测控系统数据并行同步传输技术研究

虚拟无线电测控模式是航天器测控发展的必然趋势,虚拟无线电测控与软件无线电测控在多路数据并行传输和时间同步方式上有着本质的区别。本文在分析数据并行同步传输基础上,提出利用动态分时复用的传输模式,解决在较大传输时延情况下,传统软件无线电帧结构造成并行传输的高速数据被低速数据阻塞的现象;并针对虚拟无线电测控系统采用的异步工作模式造成数据传输和处理时延不确定性的问题,提出基于数据帧结构的时间同步方法,以较为通用化的方法实现测量同步。