数据密集型计算编程模型研究进展

作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.

数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点.遥感数据具有多源化、海量化特点,是名副其实的大数据.研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法.在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以"5并行1加速"的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试.结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.

面向新型处理器的数据密集型计算

近年来,随着数据量的不断增大,数据密集型计算任务变得日益繁重.如何能够快速、高效地实现在大规模数据集上的计算,已成为数据密集型计算的主要研究方向.最近几年,研究人员利用新型的硬件处理器对数据密集型计算进行加速处理,并针对不同新型处理器的特点,设计了不同形式的加速处理算法.主要对新型硬件处理器基于数据密集型计算的研究进行了综述.首先概述了新型硬件处理器的特点;然后,分别对新型处理器FPGA和GPU等硬件进行性能分析,并分析了每种处理器对数据密集型计算的效果;最后提出了进一步的研究方向.

一种面向数据密集型计算环境的聚类算法

针对数据密集型计算环境下数据具有海量、分布、异构、高速变化等特点,分析传统的基于密度的分布式聚类(Density Base Distributed Clustering,DBDC)算法,借助MapReduce编程模型,提出一种新的分布式聚类算法,采用局部和全局的方式处理海量、异构数据,解决具有以上特点的数据密集型计算环境下数据的分析挖掘问题。得出算法的复杂度为O((nlog2n)/p),实验验证在数据量与节点数变化时算法具有较高的稳定性和可伸缩性,与原算法对比该算法具有较高的准确度。

面向海量数据处理的数据密集型计算发展研究

随着信息技术的发展和普及,当今社会的信息量呈现出爆炸式增长的趋势,数据信息在无论是在量上还是在增长速率上均相当惊人,数据密集型计算应运而生。数据密集型计算是指获取、存储和管理大规模数据集,并基于这些数据集进行计算和分析。概述了数据密集型计算的概念和特点,研究了数据密集型计算的数据并行和数据本地性的两个基本原理及应用情况,分析了数据密集型计算最新技术的国内外研究现状与发展趋势。

资源失配时低代价的数据与计算密集型服务重配

随着边缘计算的广泛应用,近年来在网络边缘侧激增了一些延迟敏感的用户请求,这些应用对边缘网络中物联网设备提供的资源提出了较高的服务质量(Quality of Service,QoS)需求,例如严格的地理空间约束、时延/能量及其他资源约束.物联网设备提供的功能通常被封装为运行在边缘节点上的服务,用户请求可以通过组合数据和/或计算密集型的物联网服务来实现.考虑到物联网设备的资源稀缺性以及用户请求的在线持续部署和潜在长期执行特征,边缘服务运行期间对物联网设备资源的占用和释放导致边缘网络中资源动态变化.由于物联网设备的资源通常难以得到有效补充,且消耗差异可能较大,有些设备可能会过载,导致在当前时间点适配的物联网服务,在随后时间点可能难以适配用户请求,并导致QoS降级.针对边缘网络高负载时新请求持续部署导致特定强约束难以满足的挑战,本文开展资源失配时低代价的服务重配研究,提出了一种资源高效的服务重配方法,旨在通过服务迁移技术重调度物联网设备所提供的服务,以满足更多具有一定QoS约束的用户请求.基于上海电信基站数据集进行了大量实验,实例验证本文方法的有效性.实验结果表明,本文所提方法在满足用户服务请求时延约束、降低物联网设备能量消耗、提高边缘网络资源利用效益等方面表现均优于对比技术.

数据密集型计算中负载均衡的数据布局方法

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.

高能物理实验的数据密集型计算

高能物理一直是信息技术发展的主要推动者之一。现代高能物理产生的海量数据对计算机技术提出巨大的挑战。为了应对这些挑战,国内外高能物理领域的科学家根据数据处理的特点建立新的计算平台用于传输、储存及分析处理PB量级的数据。文章介绍了现代高能物理实验及数据处理的发展,并描述了高能物理的计算模型以及以网格技术为代表的数据密集型计算平台;详细介绍了数据密集型网格平台在LHC实验、BESIII实验中的应用以及中国的数据密集型网格平台。并对云计算等新技术在高能物理领域的应用进行了展望。

一种适应数据与计算密集型任务的私有云系统实现研究

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连接计算数据流,使该方案更加精简和适应处理数据与计算双重密集型任务。实验结果表明:该方案能够减少额外的计算消耗,处理速度能得到显著提升,有很高的实用性。

计算密集型体系集成DDR SDRAM控制器设计

文章介绍了计算密集型体系解决存储器访问瓶颈的研究趋势。针对计算密集型体系的高数据访存需求,提出并在FPGA上实现了一种集成的DDR SDRAM控制器,其关键部分为固化初始化系列和专有的定制系统总线。仿真结果和分析表明,该控制器解决了计算密集型体系的数据访问瓶颈。

计算密集型海量数据查询处理关键技术分析

随着大数据时代的到来,计算密集型的海量数据查询的应用范围越来越广,在大数据环境下,从数据结构的特点出发实现分布式存储架构,并以高效查询为目的实现非结构化数据的索引机制,同时处理和优化聚集查询操作,分析与平台无关的并行编程模型。

计算高度密集型应用在异构多核DSP上的运行方法研究

研究实现了计算高度密集型应用在异构多核DSP上运行的方法.即利用存储在RISC核外设总线上的FLASH中的应用程序,通过异构多核DSP目标板加电,自动加载到RISC核RAM执行,该应用程序将计算高度密集型应用的DSP程序加载到DSPs核上,并利用RISC核向DSPs核点火执行.主要介绍了异构多核DSP中的RISC核和DSP核的复位、启动方法,DSP核的多种冗余降级工作模式,详细分析了RISC核控制DSP核的原理及操作方法.提出的运行方法完整有效,为相关的研究人员打下了良好的基础.

H.264计算密集型任务在可重构处理器上的映射

可重构系统具有领域内灵活,性能和专用电路接近的优点,是视频解码的优秀硬件方案。然而在可重构系统上进行高清实时解码还有一定的难度,其中占80%计算量的主要是IDCT(反离散余弦变换)、MC(运动补偿)、Intra-prediction(帧内预测)、deblocking(去块效率滤波)等计算密集型任务。本文基于一款粗粒度可重构处理器,提出了上述计算密集型算法的映射方案,性能优于M.Ganesan与D.Peng在2007、2009年的方案,满足H.264高清实时解码的要求。

计算密集型空间信息服务技术实现架构研究

OGC(OpenGISConsortium)组织所提出的空间信息服务框架中包含多种需要消耗大量计算资源的计算密集型服务,如海量空间信息的存储与获取服务、影像处理服务等,但该组织并未对这类服务的具体实现方式及技术作出规定和说明。针对这类计算密集型空间信息服务,文章从技术层面研究了基于PC集群并行计算环境的计算密集型空间信息服务的实现方法及技术架构,为研究开发高性能的空间信息服务进行了探索。

Hadoop在气象数据密集型处理领域中的应用

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。

边缘环境下计算密集型任务调度研究综述

随着移动设备数量的急剧增长及计算密集型应用如人脸识别、车联网以及虚拟现实等的广泛使用,为了实现满足用户QoS请求的任务和协同资源的最优匹配,使用合理的计算密集型应用的任务调度方案,从而解决边缘云中心时延长、成本高、负载不均衡和资源利用率低等问题。阐述了边缘计算环境下计算密集型应用的任务调度框架、执行过程、应用场景及性能指标。从时间和成本、能耗和资源利用率以及负载均衡和吞吐量为优化目标的边缘计算环境下计算密集型应用的任务调度策略进行了对比和分析,并归纳出目前这些策略的优缺点及适用场景。通过分析5G环境下基于SDN的边缘计算架构,提出了基于SDN环境下的边缘计算密集型数据包任务调度策略、基于深度强化学习的计算密集型应用的任务调度策略和5G IoV网络中多目标跨层任务调度策略。从容错调度、动态微服务调度、人群感知调度以及安全和隐私等几个方面总结和归纳了目前边缘计算环境中任务调度所面临的挑战。

一种多计算任务及节点的协作平台

随着计算技术的发展,有些应用需要非常大的计算能力才能完成,如果采用集中式计算,将耗费相当长的时间。分布式计算解决了这一问题,成功地将应用分解成许多小的部分,分配给多台计算机进行处理,节省了整体计算时间,大幅提高了计算效率,分布式计算在计算密集型领域得到了广泛应用。目前,常见的分布式计算框架主要由一个任务管理和多个任务执行集群组成,其内部包括了一整套调度规则和计算任务分配规则,需要耦合真实的计算任务与分布式计算模型。

Python多进程在计算密集型服务场景中的应用

Python线程模型存在全局解释器锁,在计算密集型场景下应用受限,有效的解决方法是使用Python多进程技术。在分析Python多进程计算模型的基础上,针对计算密集型服务应用开发,提出了两种典型的多进程应用模式,在实际作业系统工序优化应用中取得了很好的效果。

通信密集环境下基于内存利用率的预计算方法

针对通信密集型图计算环境下原静态最大消息数阈值方法由于内存不足导致的频繁低效I/O问题,提出了一种基于内存利用率的预计算方法。该方法利用了图应用的计算满足交换律和结合律的特点,根据当前进程的内存利用率判断是否将本轮超步通信过程中的部分消息进行预计算,同时在预计算过程中使用细粒度锁以增大预计算线程的并发度;在下轮超步的正常计算时合并上轮的预计算结果,实现了通信和计算的重叠,达到减少作业响应时间和磁盘I/O开销的目的。实验结果表明,在通信密集场景下,该方法在性能和I/O开销上均优于已有的MMT方法,作业响应时间减少了5.9%~79.0%,同时计算过程中的磁盘开销减少了9.99%~79.87%。