数据密集型计算编程模型研究进展

作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.

数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点.遥感数据具有多源化、海量化特点,是名副其实的大数据.研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法.在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以"5并行1加速"的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试.结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.

面向新型处理器的数据密集型计算

近年来,随着数据量的不断增大,数据密集型计算任务变得日益繁重.如何能够快速、高效地实现在大规模数据集上的计算,已成为数据密集型计算的主要研究方向.最近几年,研究人员利用新型的硬件处理器对数据密集型计算进行加速处理,并针对不同新型处理器的特点,设计了不同形式的加速处理算法.主要对新型硬件处理器基于数据密集型计算的研究进行了综述.首先概述了新型硬件处理器的特点;然后,分别对新型处理器FPGA和GPU等硬件进行性能分析,并分析了每种处理器对数据密集型计算的效果;最后提出了进一步的研究方向.

一种面向数据密集型计算环境的聚类算法

针对数据密集型计算环境下数据具有海量、分布、异构、高速变化等特点,分析传统的基于密度的分布式聚类(Density Base Distributed Clustering,DBDC)算法,借助MapReduce编程模型,提出一种新的分布式聚类算法,采用局部和全局的方式处理海量、异构数据,解决具有以上特点的数据密集型计算环境下数据的分析挖掘问题。得出算法的复杂度为O((nlog2n)/p),实验验证在数据量与节点数变化时算法具有较高的稳定性和可伸缩性,与原算法对比该算法具有较高的准确度。

面向海量数据处理的数据密集型计算发展研究

随着信息技术的发展和普及,当今社会的信息量呈现出爆炸式增长的趋势,数据信息在无论是在量上还是在增长速率上均相当惊人,数据密集型计算应运而生。数据密集型计算是指获取、存储和管理大规模数据集,并基于这些数据集进行计算和分析。概述了数据密集型计算的概念和特点,研究了数据密集型计算的数据并行和数据本地性的两个基本原理及应用情况,分析了数据密集型计算最新技术的国内外研究现状与发展趋势。

数据密集型计算中负载均衡的数据布局方法

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.

高能物理实验的数据密集型计算

高能物理一直是信息技术发展的主要推动者之一。现代高能物理产生的海量数据对计算机技术提出巨大的挑战。为了应对这些挑战,国内外高能物理领域的科学家根据数据处理的特点建立新的计算平台用于传输、储存及分析处理PB量级的数据。文章介绍了现代高能物理实验及数据处理的发展,并描述了高能物理的计算模型以及以网格技术为代表的数据密集型计算平台;详细介绍了数据密集型网格平台在LHC实验、BESIII实验中的应用以及中国的数据密集型网格平台。并对云计算等新技术在高能物理领域的应用进行了展望。

一种适应数据与计算密集型任务的私有云系统实现研究

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连接计算数据流,使该方案更加精简和适应处理数据与计算双重密集型任务。实验结果表明:该方案能够减少额外的计算消耗,处理速度能得到显著提升,有很高的实用性。

Hadoop在气象数据密集型处理领域中的应用

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。

基于云计算的数据管理技术研究

从云计算和互联网发展关系的角度出发,借鉴传统数据管理技术的理念和优势,以实现研究、设计和开发新的基于云计算的数据管理技术的目的。通过对云计算的服务器虚拟技术、数据分布存储技术、海量数据管理技术和分布式并行编程模型4个关键技术的剖析,结合云计算对数据管理的特殊需求,详细阐述了GFS、Map Reduce和Big Table3种数据管理技术的功能、特点和管理数据的过程。证明云计算数据管理技术基础理论建设与完善是传统数据管理技术向云计算管理方式的改造与迁移。

大数据计算范式的分野与交融

大数据问题纷繁芜杂，相对应的计算模型和架构万万千千，无法以数据密集型计算一言概之：有的注重体量和水平扩展性（从RDBMS／EDW到MPP到Hadoop），有的偏爱实时或低延迟（从分布式缓存到内存数据库到NoSQL到流式计算），有的强调精确性和一致性（从低活性到高活性，从ACID、CAP^JBASE），有的要求非结构化（schemaless）。那么，是否存在一些有普遍性的计算范式、抽象或模式能分而治之呢？本文试图枚举一些常用的计算范式，讨论它们的分野和交融。

Hadoop在多数据中心分布式计算环境中的应用研究

针对Hadoop和MapReduce在空间大数据处理上存在的局限性,研究Hadoop平台在分布式计算环境中跨多数据中心的应用。提出了层次化Hadoop分布式计算框架,通过虚拟HDFS文件视图实现全局数据访问,由任务调度器自动将任务分解到对应的数据中心所在计算节点上,给出了任务处理和调度流程。

消息代理机制下的MapReduce数据流优化

MapReduce编程模型是广泛应用于云计算环境下处理海量数据的一种并行计算框架。然而该框架下的面向数据密集型计算,集群节点间的数据传输依赖性较强,造成节点间的消息处理负载过重。提出基于消息代理机制的MapReduce改进模型,优化数据流。经实验数据表明,基于消息代理机制的MapReduce框架能提高数据密集型应用上的负载均衡。

E-Science环境中研究图书馆的新角色:科学数据管理

科学数据管理正迅速成为科学领域、图书馆学和大学图书馆的关注热点。文章介绍科学数据浪潮和数据密集型计算的新型研究范式,阐述了e-Science环境下数据管理的概念演变和科学内涵,从生命周期的角度理解科学数据管理统一连续体的作用边界,重点探讨研究图书馆的未来角色,旨在引发和推动国内图书馆界尽快开展相应的研究和实践。

大数据对图书馆信息咨询服务的影响及对策

基于大数据和图书馆信息咨询服务的内涵与特点的分析,探讨大数据对图书馆信息咨询服务产生的影响,并从树立大数据时代的图书馆信息咨询新思维与新理念、强化国家层面战略设计与不同领域的合作、搭建信息安全机制与开发数据密集型计算方法、加强相关大数据的人才队伍建设、构建多维信息咨询服务形态等方面着手,提出迎接大数据冲击与挑战的措施。

机遇与挑战:第四范式时代的科研档案管理

伴随着信息技术的广泛应用,科学研究的发展在经历了实验型科研范式(第一范式)、理论型科研范式(第二范式)、计算型科研范式(第三范式)之后,正在进入以数据密集型计算为主要特征的数据密集型科研范式(第四范式)。基于数据密集型计算的第四范式,不仅更加依赖数据,也将形成更多的数据,这对科研档案管理提出了更高的要求,使其面临严峻的挑战;同时,第四范式的新场景也为科研档案管理带来了新机遇。

云计算技术的发展与挑战性问题

云计算是一种基于网络的计算机应用技术,它利用高速网络把数据的处理过程从个人计算机或服务器转移到网络中的服务器集群中。云计算以其优点和巨大的商业价值,在各个领域得到了广泛运用。在云计算环境下,如何保证存储在云数据的安全和保密、如何统一标准,如何把云技术推广,怎样解决云计算所带来的软件兼容性问题,将是云计算面临的挑战性问题。

数据层可配置任务生成方法及其应用研究

为提高数据层的任务处理性能,提出一种可配置任务生成方法。通过分析数据库运行日志和跟踪信息,按照负载时空特性生成数据层任务处理脚本,并获取对应的资源消耗模式和关键任务处理性能。测试结果表明,该方法可以模拟实际应用系统的执行情况,由此获得服务器资源占用率,该资源占用率与实际资源占用率之间的误差可线性消除,为数据库服务器容量规划、存储结构设计、关键功能设计、性能优化,以及云计算平台资源实现和计算能力按需优化配置提供依据。

突破云计算的瓶颈

云计算为数据密集型计算提供了一种廉价方式，让各公司能够从在线供应商那里便捷地租赁数据处理功能。但是，向云计算系统上传大量数据仍然是费钱费时的。

数据密集型网格平台示范站点与应用

高能物理一直是计算机技术发展与应用的先驱者。随着大型强子对撞机LHC和北京正负电子对撞机BEPCII等新一代高能物理实验开始运行,网格计算已经成为高能物理研究的重要工具。世界各地的大批科研单位参与了国际高能物理网格系统的建设。高能物理网格不仅成功地为国际高能物理提供分布式高性能计算服务,同时还成为大量非高能物理领域采用的科学计算平台。在中国科学院、国家自然科学基金委及科技部的支持下,高能物理研究所建立了一个数据密集型网格平台站点并加入了国际高能物理网格。数据密集型网格站点目前由1600个CPU内核的集群和600TB的磁盘存储组成,与欧洲和北美的高速网络带宽分别达到1Gbps和622Mbps,每年提供数百万CPU小时的计算服务,支持的应用包括高能物理、天体物理与宇宙线物理、生物信息以及地球动力学等等。高能物理研究所还帮助国内的若干大学和研究所建立了网格站点,形成国内跨地域的网格平台。