Google文件系统的负载控制研究

Google文件系统是一个典型的、可扩展的集群文件系统,适用于大型的、分布式的、对大量数据进行访问的应用。指出了Google的一点不足之处,即缺乏负载控制。为实现对负载的控制,采用泊松过程对数据服务器的负载进行预测,再通过对本地CPU、内存等资源的监控对预测结果作修正。

云计算中的分布式文件系统

云计算是一种基于互联网提供服务的业务模式,它能够实现IT基础设施的资源化和服务化,用户可以按需进行定制和付费,从而彻底改变了传统IT基础设施的提供和支付方式,有效解决了无限增长的海量信息存储和计算问题。文章给出了云计算分布式文件系统的主要类型,分析了Google文件系统(GFS)和Hadoop分布式文件系统(HDFS)的演进情况。最后,详细描述了分布式文件系统的工作原理。

分布式文件系统FastDFS架构剖析

今天,人类社会的信息基础设施可以说完全建立在互联网之上,从老百姓的日常生活,到企业内部的管理系统,从电子商务、媒体到政府的运作,都已经离不开互联网。互联网从诞生到现在,网站的规模不断扩大,存储和处理的数据量也远远超出了人们的想象,近年来又出现了对信息实时性、多媒体需求大幅增长的现象,互联网架构面临越来越大的挑战。为了应对这些困难,互联网架构领域也出现了许多新动向:LAM户等开源技术成为主流并开始承担关键任务,越来越多的网站开始采用NoSQL为代表的分布式存储和MapReduce为代表的分布式计算,Restful架构风格、消息队列、数据仓库、负载均衡等技术得到了更多关注。本期封面报道,我们特邀请了来自知名互联网企业和技术厂商的众多资深架构师,为您吹响互联网架构的集结号,全方位分析互联网架构方面的热门技术和实战经验。

分布式文件系统的应用研究

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。为本地文件系统提供访问接口,而且用户可以直接对数据进行访问和管理远程,不同的节点上存储它所管理的数据,而且可能有元数据服务器拥有对多个提供元数据的操作。

基于Google Bigtable的海量数据存储探索

随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Google文件系统(Google File System,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了Google Bigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.

Google云计算原理浅析

Google云计算技术具体包括：Google文件系统GFS，提供海量数据的存储和访问的能力；分布式计算编程模型MapReduce，使得海量信息的并行处理变得简单易行；分布式锁服务Chubby，保证了分布式环境下并发操作的同步问题；分布式结构化数据存储系统Bigtable，使得海量数据的管理和组织十分方便。

解密Google十大核心技术

Google搜索引擎是一个用来在互联网上搜索信息的简单快捷的工具，使用户能够访问一个包含超过80亿个网址的索引。由于搜索引擎需要处理海量的数据。所以Google的两位创始人Larry Page和Sergey Brin在创业初期设计一套名为“BigFiles”的文件系统，而GFS（全称为“Google File System”）这套分布式文件系统则是“BigFiles”的延续。

Google三大云计算技术对海量数据分析流程的技术改进优化研究

[目的 /意义]建构云计算技术环境下的海量数据分析是一种需要预载大量数据集的数据计算处理。针对传统海量数据分析处理数据细节方式所导致的分析质量与效率问题,运用Google三大云计算技术对其进行改进。[方法 /过程]通过对Google三大云计算技术——GFS、MapReduce和Bigtable进行文献调查、内容分析和技术分析,梳理出Google云计算技术在数据处理、技术架构和算法模型等方面的部署创新和设计改进。[结果/结论]将Google云计算技术与传统本地数据分析处理方式与细节进行比较分析,得出Google云计算技术在操作海量数据分析时所具备的处理优势。借助Google云计算三大技术,提出海量数据分析流程在存储和访问、组织与管理以及并行处理3个方面的技术优化与改进策略。

云计算及云存储的管理技术

给出了云计算的定义,提出了云计算的架构,描述了云计算的特点.以Google GFS云存储和数据管理技术(B igtab le)为例,系统地阐述了云存储与管理关键技术,并就云存储的安全问题进行了讨论.

云存储关键技术研究

随着海量存储系统的出现与并行文件系统、分布式文件系统的发展,云存储系统建立在云计算技术前提之上,以其成本低、可扩展的特点,将成为未来的主要存储方式。介绍云存储相关的技术与实现及云存储在目前几个主要领域的应用。

云计算及其分布式架构

云计算作为当前互联网领域的一个新的热点,正在成为一种发展趋势。云计算的分布式架构使得其具有高性能价格比、高可靠性、可扩展性、高度灵活性。文章以Google的云计算为例介绍了云计算的分布式架构:分布式文件系统(GFS),分布式计算系统(MapReduce),分布式表格系统(BigTable)等。

高分遥感在平原水库水质监测中的应用初探

平原水库与城镇用水和居民生活息息相关,利用高分遥感技术对其进行实时动态监测具有重要意义。以浙江省海盐县典型平原水库——千亩荡为例,使用四景GF-1/WFV和DigitalGlobe/QuickBird数据,进行了7种水质参数,包括叶绿素a、悬浮物、透明度、总氮、总磷、氨氮、溶解氧浓度的遥感估算,并讨论了各水质参数春季和冬季的分布变化。结果表明,千亩荡水库主体库区水质良好,而通往外港的周围河道水质则相对较差,以通往北部大横港的河道最为明显,且水库夏季富营养化现象较冬季更为明显。以此应用案例为切入点,总结分析了高分水质遥感在平原水库水质监测中大气校正、水体提取与反演模型三方面的技术难点与发展趋势,从而为城市平原水库的水质遥感模型研究与监测应用提供参考。

分布式架构关键技术

所谓分布式,狭义的指代以Google的三驾马车GFS、Map/Reduce、Big Table为框架核心的分布式存储和计算系统。Hadoop是一个基于Java实现的开源分布式存储和计算的项目。作为这个领域最富盛名的开源项目,Hadoop实现的是分布式的文件系统HDFS,和分布式的计算（Map/Reduce）框架。分布式架构关键技术主要有分布式文件系统、分布式存储和分布式数据库。分布式文件系统,在整个分布式系统体系中处于最低层最基础的地位。

基于GF-1卫星的县域冬小麦面积提取及年际变化监测

利用遥感技术提取冬小麦种植面积及年际变化监测,可为农业经济的宏观决策提供可靠的依据.自2013年我国首颗高分卫星发射以来,高分一号卫星数据以其高分辨率的优势成为了我国农业遥感监测的主要数据源之一.本文以高分一号卫星携带的16m空间分辨率的宽视场(wide field view,WFV)数据为主要数据源,以开封县为例,采用Google Earth(以下简称GE)0.3m遥感影像为样本辅助数据,加上人工目视解译选择样本控制点,采用监督分类中的最大似然法提取冬小麦种植面积,并利用样本点对分类结果进行精度验证和年际变化监测.实验数据表明:采用冬小麦生长周期内的11月份到翌年4月份间的一幅高质量GF-1/WFV影像,利用本文给出的处理流程提取冬小麦面积均可达到农业使用的标准,且1月份为开封县冬小麦提取的最佳时像.同时,采用2013年12月29日、2015年2月25日及2016年2月20日的开封县GF1/WFV数据,面积提取精度均达到95%以上,kappa系数均大于0.96,种植面积提取的数据均略小于河南省统计局公布的数据,但两者呈现出的波动趋势是一致的.结果表明以GF-1/WFV影像为主要数据源,GE影像为辅助数据进行县域尺度上的冬小麦面积提取及年际变化监测的方法是有效可行的.