Spark-GPU框架下海洋地理空间数据分布式并行处理任务调度

大规模长时间序列海洋地理空间数据处理属于计算密集型任务。本文重点介绍Spark框架下如何利用GPU并行计算机制实现海洋地理空间数据分布式并行处理的任务调度,以提高大规模长时间序列海洋地理空间数据处理效率,满足实时交互需求。Spark-GPU框架包括Spark-GPU调度器和Spark-GPU运行时两部分。任务计算量和GPU设备计算能力作为调度策略因子,采用一个多项式时间的2近似算法求解,是一个著名的无关并行机任务调度问题。本文以流场可视化线积分卷积算法作为测试用例,1 000~2 000场的任务调度测试结果表明与原生Spark调度算法相比,Spark-GPU框架执行时间减少了14%~18%,GPU占用比提高了10%~20%。

HECC除子标量乘并行集群算法设计

为了加快超椭圆曲线密码体制(HECC)中除子标量乘的运算速度,进行基于大数据技术的除子标量乘并行算法研究。根据"空间换时间"的策略对除子标量乘法常规方法进行改进,在任务规模为1016的条件下,运算耗时减少16.28%,提出基于负载均衡的任务划分优化方案。此方案分别将Hadoop集群平台、Spark集群平台、Spark-GPU集群平台的并行技术应用于改进后的除子标量乘算法中,研究并行算法与串行算法的运行效率。当问题规模一定时,随着节点个数的增加,不同集群平台的加速呈上升趋势,其中Spark-GPU并行算法的增长趋势最为明显,当节点个数为4时,Spark-GPU并行算法的加速比达到了261.84。通过对比3种集群平台的并行算法,发现Spark-GPU可以最有效地缩短运算耗时,加快除子标量乘法的运算速度。

海洋地理空间数据处理Spark框架异构任务处理研究

海洋地理空间数据具有分布时间长、范围广、类型复杂、时效性强等特点。如何使用分布式并行计算系统(云平台)高效地计算和处理大规模海洋地理空间数据,是一个具有挑战性的问题。本文提出了一种支持Spark、MPI、GPU三种异构任务异构应用的Spark框架(Heterogeneous Application Spark Framework,HASF),适用包含检索、计算和可视化的海洋地理空间数据计算和处理的全过程。HASF包含异构应用Spark调度器(Heterogeneous Application Spark Scheduler,HASS)和异构应用Spark运行时(Heterogeneous Application Spark Runtime,HASR)两部分。HASS扩展了Spark的默认调度机制,使得应用调度不仅依赖于Spark核心数还依赖于MPI进程数和GPU设备数。HASS中使用了一个简单的贪心策略来分配Spark核心数和GPU设备数,而MPI进程绑定到Spark核心。HASR用来支持异构应用在Spark平台上的运行。实验结果表明,HASS对实验中采用的异构海洋地理空间数据处理应用队列进行调度,相较于默认的Spark应用调度,应用任务队列总执行时间缩短了10%~15%。HASS明显提高了异构海洋地理空间数据计算和处理任务的批处理效率。

基于并行计算的抛光轴表面缺陷检测研究

针对在生产实践中抛光轴表面缺陷检测的实时性和缺陷分类需求问题,对抛光轴表面缺陷检测系统、缺陷图像采集、图像特征、传统检测方法等方面进行了研究,归纳了轴表面缺陷检测的处理方法。提出了两种基于并行计算的检测系统,即基于云的Spark多机并行的分布式计算机集群检测系统和单机多核的CUDA并行处理检测系统;通过Spark架构多机分布式并行计算机理的分析,以及结合CUDA单机多核并行运算原理,从数学角度进行了并行化处理,最后进行了相应的实验。研究结果表明:基于CUDA的单机多核的并行处理检测系统适合实时检测,基于Spark的多机分布式并行检测系统不适合实时检测系统,但适合大数据处理系统。