基于Hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的GPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapRe-duce框架中,可高效处理海量数据。

面向高性能计算机的海量数据处理平台实现与评测

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.

《海量数据处理》专辑前言

1965年，数据库领域第一个获得图灵奖的计算机科学家Charles Bachman发表了他的重要论文“Integrated Data Store”，向世人介绍了世界上第一个数据库系统IDS．这一事件标志着数据库的诞生．到现在，数据库概念已经耳熟能详，深入人心，数据库被认为是信息化社会的重要基础设施之一．

基于Hadoop的PB级海量数据处理系统的设计与实现

随着互联网的普及,PB级海量数据的存储、处理需求越来越大,传统数据库和存储架构已不能满足如此大数据量下的快速响应需求。作为一个开源的分布式系统基础架构,Hadoop提供了高可靠性的分布式存储架构和高速的海量数据计算方式,被视为解决海量数据处理瓶颈的有效途径。文章通过搭建Hadoop集群平台对1PB海量数据进行存储、处理,大大提高了系统处理性能。

AMS-02海量数据处理环境的研究

AMS实验是近年来具有重要影响的大型国际合作太空物理实验,AMS-02探测器即将在2011年初发射升空。AMS-02实验将产生总量超过1PB的海量数据,这些数据不但类型多样,而且处理过程非常复杂。首先介绍了AMS-02海量数据处理环境的功能需求和主要构成部件,然后分析了AMS-02海量数据的主要类型及其处理流程,最后以AMS-02 SOC为重点,详细描述了AMS-02 SOC的分布式架构、主要功能以及基于网格的AMS-02 SOC@SEU系统实现框架等,从而为AMS-02海量数据处理环境的研究和建设提供了有益的参考。

高性能计算机的海量数据处理平台实现与评测

随着信息科学技术不断进步与完善,计算机技术逐渐被应用于社会生产的各个领域。然而在社会经济高速发展时代,大量的网络数据存储和处理成为制约计算机技术发展的瓶颈。随着云存储技术的推出,数据密集型应用程序成为当今时代的"翘楚"。因此具备海量数据处理功能的高性能计算机成为时代的迫切要求。本文以Map Reduce技术模型为支撑,力图构建一款支持海量数据存储和处理的高性能计算机平台,经过严格的评测试验下,证明这种开放式数据处理服务能够方面用户在不同环境下简单方便地完成海量数据处理任务。

支持语言监测的海量数据处理技术

基于大规模语料库进行语言监测是近年来国家语言资源监测与研究中心实施的一个项目,其目的是对语言使用的实际状况进行记录、调查,调查的内容包括年度字词语的使用情况、年度流行语、新词语等。本文介绍了支持这些调查项目的海量数据的处理技术,包括语料的获取方法,年度字、词语表的提取,流行语、新词语的提取技术。最后对语言监测中存在的问题和需要继续深入的研究进行了探讨。

海量数据处理策略

所谓"海量数据",一般具有几个特点:首先是数据量很大,目前已经达到TB级甚至PB级;其次是区别于传统的数据结构,海量数据中的数据结构比较复杂,超过80%都是非结构化数据。第三是数据更新快,比如视频监控每秒钟都在进行,微博随时都有人在更新;最后是对数据的随机访问,这些更个人化的数据在存储后被再次访问的时间是不确定的。针对海量数据的这些特点,本文就海量数据处理中的一些策略进行了分析。

“基于大规模集群的海量数据处理技术”新型课程教学探索

本文通过对一个全新的实践课程"基于大规模集群的海量数据处理技术"的教学课程内容与教学设计的分析,对引入工业界最新的技术到教学实践过程进行了有益的尝试。通过实践表明,在现有的本科课程体系中选取适当的工业界实践技术能够有效激发学生的学习热情,提高学习兴趣,并通过小组项目的形式有效增强了学生的创新能力,合作能力和动手能力。

基于云计算的海量数据处理系统框架研究

为了有效地解决物联网系统中海量实时感知数据流的存储和处理问题,本文在深入分析和研究现有国内外相关先进技术和研究成果的基础上,提出了基于云计算的海量数据处理系统框架,在构建的虚拟数据中心拓扑结构上,实现了面向大规模异构感知数据存储的分布式数据库集群系统架构,在此基础上结合MapReduce编程模型设计了适合大规模异构感知数据流并行计算的优化策略。

GeoEast海量数据处理资源优化配置技术研究与应用

本文着重介绍GeoEast海量数据地震处理系统软硬件资源的优化配置技术,重点从几种不同类型的并行文件系统(GPFS、PANFS、ONEFS)与GeoEast软件I/O读写的匹配及兼容性研究、GeoEast系统的oracle数据库服务器优化和应用软件优化等几个方面对GeoEast海量数据处理系统进行优化配置,从而提高海量数据处理系统的整体性能,并为海量数据处理系统的软硬件资源配置提供一定的理论参考。

ACCESS在测试软件中做海量数据处理应用

在以 VC++为开发工具,按 ADO 方式访问 ACCESS 数据库的测试软件中,当要处理的数据为数百兆以上的海量数据时,对其进行存储、删除、查找、显示及画图等操作耗时非常长。文中利用了递归原理,采用滑动窗口显示以及二分法与顺序法相结合的查询方法,使得操作时间缩短数百倍,很好的解决了这个问题。

基于人工智能的海量数据处理技术研究

为提高海量数据的处理效率,提出基于人工智能的海量数据搜索技术。采用人工智能方法进行海量数据搜索区间的自适应分组,结合人工智能特征信息融合方法对分组后的关键信息点定位匹配,在定位的数据聚类中心进行海量数据特征分析,依据数据特征实现海量数据的准确查询。仿真结果表明,采用所设计的人工智能方法进行海量数据的处理,经过多次迭代后,所提方法的查全率可达到100%,在数据量达到一定量时,时间开销被大大缩短。信息的主要媒体网络遍布生产与生活的各个领域,通过互联网共享和交流信息已经成为人们的习惯与共识。然而,在网络给人类带来便利的同时,也带来了一定的负面影响,海量数据不断增长,数据重复、信息检索困难.

一种海量数据处理平台的解决方案

该解决方案采用构建高性能计算的大型集群系统,进行海量数据处理,并可以减少分散投资的建设成本,降低整体管理成本,为科研机构提高科研水平及企业高效运营提供统一的高性能平台。

海量数据处理系统框架关键技术研究

随着科学技术的飞速发展,为了更好的解决物联网中海量数据的处理问题,对海量数据处理系统框架关键技术予以有效研究,通过多项技术策略分析探究,提升海量数据处理效率。

引进创新科研团队 填补相关领域国内空白——海量数据处理及生物信息学超算系统研发基地

“海量数据处理及生物信息学超算系统研发基地”由深圳华因康基因科技有限公司和中国科学院深圳先进技术研究院联合组建，基地致力于开发基因数据分析平台、处理海量的数据、快速有效地完成序列读取等各项生物信息学分析，同时开发各种具有用户友好操作界面的高通量测序分析软件，满足基础科学研究和临床实践的需要，填补相关领域的国内空白。

海量数据处理要瞄准信息服务

过去，计算机以计算为中心，而近几年，国内外专家都意识到了数据的重要性，认为新的科学时代已经到来，即从海量数据中寻找科学规律。通过参加的一些项目，发现目前我国对收集海量数据还有些办法．但对处理海量数据基本没有办法。“数字海洋变成智慧海洋”等概念．其中就涉及到海量数据的收集和处理技术。到底收集来的数据是为何种对象服务？

海量数据处理生态系统

O’Reilly Strata Conference议程主席Edd Dumbill的The SMAQ stack for big data一文从架构上全面精辟地展示了海量数据处理的生态系统。本文以这篇文章为基础，对海量数据处理生态系统做了进一步展示和分析。

海量数据处理引擎现身

新一代数据处理引擎技术的领先者Greenplum公司，近日宣布将联手大中华地区优秀的软件分销，培训和服务商AsiaSoft共同建立合资公司。新公司名为Greenplum（中国）有限公司，总部设在北京，新公司将为大中华区的企业级客户提供世界领先的数据仓库解决方案和服务。

整体协调确保海量数据处理

随着互联网应用日益深入,信息流的迅速膨胀成为电信、金融、税务、政府、军队等高密度Web服务器环境和网络应用服务环境的焦点问题。于是,各种海量计算、海量处理、海量存储、海最通道的服务器产品相继出台,为海量数据的处理带来了各式各样的解决方案。