分布式海量数据管理系统Bigtable主服务器设计

针对海量网络数据的存储问题,介绍了Bigtable系统的数据模型和应用情况。对此系统的体系结构进行分析,阐述了系统的3个主要组件:客户端库、主服务器和数据服务器;重新设计主服务器工作流程,明确主服务器的主要功能,分别从总体设计、表的创建、表的删除和数据块合并4方面进行详细论述。从理论上分析设计了Bigtable系统主服务器的工作流程,为具体实现奠定了良好的基础。

基于Google Bigtable的海量数据存储探索

随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Google文件系统(Google File System,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了Google Bigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.

基于BigTable的科技创新知识服务平台建设

宁夏科技文献资源共享平台是宁夏自治区六大基础条件平台之一,是推动科技战略信息资源全方位共享利用的重要枢纽。升级改造宁夏科技文献资源共享平台,构建与新时代相适应的基于BigTable的分布式、持久化数据存储的宁夏科技创新知识服务平台,将所购置引进、网络包库、馆际互借等中外文期刊数据库、硕博论文数据库、标准数据库、NSTL银川服务站、SCI、SSCI、EI多个科技文献数据库进行一站式分类检索,是区域科技创新发展的必然趋势,以此形成学科领域广泛、地方特色明显的资源安全保障体系。

Bigtable系统主服务器检查点的实现

为提高系统的故障恢复速度,通过设置检查点记录主服务器关键数据结构的状态,保存程序运行的关键数据,利用Google File System(GFS)对检查点数据进行可靠存储,以此来实现主服务器的快速重启。应用结果表明,该方法有效地提高了系统的故障恢复速度。

Bigtable系统的负载平衡技术研究

通过对分布式数据管理系统进行系统建模,分析了系统数据分配的特点,查找到适合本系统的负载平衡策略;对服务器的关键资源进行统计,计算出整个系统的负载分布情况,最后,在主服务器上创建可用队列和恢复队列,有效地对服务器信息进行管理,完成了最优服务器选择,从而保证整个系统的负载平衡,并且在一定程度上提高了系统的服务效率。

Google Bigtable系统的可信性研究

Bigtable作为Google云计算的一项关键技术,在需要海量的存储要求的Google地图、GoogleEarth、Gmail、Youtube等上面得到了成功的应用。Bigtable是基于GFS和Chubby开发的分布式存储系统,能够处理Google中海量繁杂的数据类型,也能够将不同应用的数据分布地存储到数千台服务器上。文章介绍了Bigtable的数据模型、设计和实现,并引入了随机Petri网对Bigtable系统的可信性进行模拟和量化分析,提出了云计算环境下Key/value存储系统的发展趋势,并从理论上得出Bigtable系统的高可用性和高可靠性。

分布式海量数据管理系统Bigtable数据服务器设计

本文分析了Bigtable系统的体系结构,重新设计了数据服务器的工作原理,在明确数据服务器主要功能的基础上,着重设计服务器的读写原理和数据块加载操作。

基于云计算SaaS应用软件开发模式研究

以Goole App Engine(GAE)云平台为切入点,对其中的数据存储技术(BigTable)做了深入的分析和研究.在此基础上利用GAE所提供的开发工具,基于面向对象的思想,采用Struts+Spring+Jsp的开发框架,使用了Google App Engine开发技术,设计并实现了人事管理的原型系统.通过对原型系统的开发和云端的部署及测试,分析了原型系统的性能.在此基础上,提出了在云平台上开发SaaS软件或进行数据迁移需要探索和解决的问题,认为在云计算发展的初期,在云端只适合开发部署基于请求-应答的高伸缩性的不涉及多表关联的简单互联网应用系统、简单存储系统及需要高效性计算的智能决策系统.

NoSQL数据库与关系数据库的比较分析

介绍了两个具有代表性的NoSQL数据库:Bigtable和Dynamo系统。首先,描述了Bigtable和Dynamo的适用范围及其产生原因。Bigtable和Dynamo可以高效的处理web数据提供相应服务;然后,介绍了Bigtable和Dynamo系统的架构、特性等,以及各自独特的设计方法。最后,将这两个数据库与传统的关系数据库进行比较分析,描述了它们之间的不同点,对比结果表明NoSQL数据库在处理web应用数据时是高效可用的,比传统关系数据库更占优势。

云计算及云存储的管理技术

给出了云计算的定义,提出了云计算的架构,描述了云计算的特点.以Google GFS云存储和数据管理技术(B igtab le)为例,系统地阐述了云存储与管理关键技术,并就云存储的安全问题进行了讨论.

基于表结构的海量数据管理系统技术综述

简述海量数据管理系统的研究背景,阐述Bigtable系统的数据模型,分析Bigtable和Hypertable系统的体系结构、实现功能和关键技术,总结对比两系统的差异和优缺点。

基于分布式系统的海量数据存储技术

随着计算机技术和网络的快速发展,传统的数据存储与管理模式已经很难满足日益增长的数据在很多方面的需求,如何高效存储海量数据成为一个研究热点.通过对分布式计算的BigTable,NFS,MapReduce等几个典型算法的研究,分析了各个算法在海量数据存储中的优劣和应用环境,同时对分布式环境下海量数据的存储在不同领域中的应用进行描述,最后对海量数据存储未来发展的趋势进行了展望.

基于架构的关系数据库与云端数据库比较分析

针对关系数据库在处理海量的视频、音频、图像及复杂数据类型时所暴露的缺陷，该文对基于架构的关系数据库和以Bigtable为代表的云端数据库进行比较分析，表明了云端数据库在处理海量数据及复杂数据时要比关系数据库更占优势。随着云端数据库技术的发展，云端数据库将会取代关系数据库成为数据库的主流。

大数据环境下Hadoop分布式系统的研究与设计

随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展性的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略。目前大数据技术目前还没形成统一标准,但业界已经广泛使用Hadoop分布式系统作为其大数据处理平台,对大数据环境下Hadoop分布式系统进行了详尽的研究与设计,包括分布式文件系统、并行计算模型、分布式数据库、分布式锁服务等各个功能模块,大数据环境下的Hadoop分布式系统将更有效支撑未来电信运营商业务的发展。

分布式海量空间数据存储结构研究

目前在分布式海量存储中越来越多的使用键/值存储模型,为此比较了Google Earth键/值存储模型和对象关系数据库存储模型。对象关系数据库以其使用简单,容易共享等特性,在许多实际应用中还有其独特的优势,由于键/值存储模型在可伸缩性等方面的优势,在分布式海量数据存储中应用越来越广泛。

云计算中两类主流数据库的比较研究

主要研究了Bigtable和HBase两个云计算的主流数据库;从数据模型的比较可以看出它们都采用了行、列和时间戳三要素;系统的主要架构也基本相似,只是在实现中有细微的差别,表现在对列族的处理上,Bigtable采用了锁的方式,而HBase则采用了节点方式来完成数据的协同访问;在性能的比较中可以知道,Bigtable的性能明显优于HBase,尤其在如数据错误安全和数据中心间的数据复制等关键性能是HBase所不能支持的;但由于HBase的开源性,使得用户可以获得更多的自由,方便开发个性应用。

分布式海量数据管理系统Hypertable元数据表分析

介绍Hypertable的系统结构和表结构,分析元数据表的结构,阐述数据块的查找原理,最后通过介绍Bigtable系统的元数据表,对比两种元数据表结构的差异。

CSR外靶实验数据获取原型系统设计

介绍了为兰州重离子加速器冷却储存环外靶实验设计实现的一套数据获取原型系统。系统借鉴流处理、Map-reduce和Bigtable等技术或模型的思想,采用一套流处理节点构成的网络完成数据获取任务。系统支持对流处理网络拓扑结构自由调整,灵活地实现并行处理和负载均衡。同时通过为不同类型探测器定义接口标准以及支持用户自定义节点添加,实现大型物理实验调试和实验过程中的各种数据获取需求。目前系统已与探测器及前端电子学一起进行了一系列联合测试,验证了系统的可行性和稳定性。

云计算及其分布式架构

云计算作为当前互联网领域的一个新的热点,正在成为一种发展趋势。云计算的分布式架构使得其具有高性能价格比、高可靠性、可扩展性、高度灵活性。文章以Google的云计算为例介绍了云计算的分布式架构:分布式文件系统(GFS),分布式计算系统(MapReduce),分布式表格系统(BigTable)等。

一种基于云计算技术的物联网平台设计

物联网平台存在海量数据的存储、管理、计算能力等问题,可通过云计算平台和BigTable存储技术解决。通过对云计算和BigTable存储技术研究,利用BigTable机制建立数据模型表,以时间戳建立与BigTable关联的索引分表,采用分片存储数据机制,设计一种融入云计算技术的物联网平台架构,解决物联网的数据存储、管理、计算等问题。经证明云计算技术能够为物联网提供更快存储和管理服务,能够满足未来跨行业、跨区域物联网发展。