Hadoop云计算基础架构的搭建和hbase和hive的整合应用

本论文介绍一种常见的云计算分布式hadoop架构及其子项目分布式的hbase数据库和hive数据仓库,真实搭建一个hadoop云计算实验平台,并整合hbase和hive,通过创建数据表并验证实现了两数据库之间的访问,为以后的大规模的数据的存储,计算和应用创造基础。

基于Hadoop/Hive的web日志分析系统的设计

互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算。Hadoop是一个用于构建云计算平台的流行的开源框架,广泛应用于海量数据的处理。但利用Hadoop处理数据,用户必须自己开发Map/Reduce程序。这种程序处于比较低的层次,用户不容易掌握,而且难于维护。Hive是一个基于Hadoop的开源数据仓库工具,它能够将文件映射成数据表,并提供类SQL语句,简化了用户的开发。利用Hadoop、Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度。通过与单机实验的对比,证明系统是有效的和有价值的。

基于hadoop子项目——Hive的云计算性能测试

针对信息化时代海量数据的问题,神秘大象——hadoop的出现给云计算领域带来了新的浪潮。针对hadoop框架,采用基于Hadoop的子项目Hive对其性能进行测试,并总结了决定MapReduce分布式计算性能的因素。

基于Hadoop企业私有云存储平台的构建

针对企业级用户面临文件和数据量的指数级增长,现有的文件存储设施不能适应业务增长问题,提出基于Hadoop构建企业私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理业务。比较了私有云存储和传统存储模式,分析了私有云存储技术优势和可行性,提出企业私有云存储架构模型。分析结果表明:企业私有云存储平台适用于关键业务应用、在线事务处理,满足企业对海量数据存储、数据规模易扩展性的要求。

基于Hadoop的监控数据存储与处理方案设计和实现

云计算环境下的监控系统会实时产生大量监控数据,如何在大数据的环境下实现对监控数据的高效存储和处理尤为重要。针对这一问题提出一种基于Hadoop的监控数据存储与处理的方案。该方案采用HBase数据库存储时序监控数据,并用提升字段法的宽表存储模型改进HBase数据库提升监控数据的存储效率;针对流量数据,采用MapReduce进行分布式计算处理提高处理效率。经过实验测试,验证了该方案的科学性和有效性,提高了海量监控数据下监控系统数据处理速度,解决了云计算环境下监控数据的计算瓶颈问题。

微博舆情的Hadoop存储和管理平台设计与实现

随着Internet技术的迅速发展,网络舆情监控系统正在得到广泛应用。网络舆情监控系统的数据量也急速膨胀,如何高效地存储和管理这些海量的非结构或半结构化数据成为网络舆情系统研发中的挑战课题。传统的关系数据库和分布式计算等数据处理的方式也越来越不能适应日益增长网络大数据。针对微博数据的特点建立了一种面向微博舆情应用的Hadoop存储平台的多层体系架构,并采用列数据库设计多种微博结构化数据的表结构,以及表之间的关系模型。测试结果表明,设计的存储管理平台具有检索响应速度快、可扩展性好等特点。

基于Hadoop的微博舆情监控系统

随着在线社会网络如社交网站、微博、在线社区等的快速发展,一个真正的双向传播和新媒体时代逐步形成.在线社会网络让每个用户都能创造自己的内容,并且快速传播出去.据不完全统计,新浪微博平均每秒有超过1000条的新微博产生,日增量数据为5TB,因此海量数据给舆情监控带来了严峻的挑战.将介绍一种基于Hadoop的微博舆情监控系统,能够对大规模采集数据进行挖掘、分析,实现对舆情热点话题的发现及追踪、对微博的社会网络分析,分析结果可视化呈现,为党政机关、大型企业等单位和组织及时发现敏感信息、掌握舆情热点、把握舆情趋势、应对舆论危机提供自动化、系统化、科学化的信息支持.

基于HBase的海量DICOM医学影像存储系统的设计与研究

文章结合传统医学影像存储的不足和云计算的特点,提出了基于HBase的医学影像存储方案,结果表明基于HBase的DICOM影像数据库能有效解决传统PB级医学影像存储及医疗信息资源共享问题。

基于云平台Hadoop的三维虚拟地球数据组织形式

云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会。本文针对开源云平台Hadoop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案。

基于Hadoop的云教学资源平台

针对近年来高校教学资源呈现海量、复杂、异构等特点,通过融合HBase和My SQL两类数据库,设计并实现了基于Hadoop的云教学资源平台,并运用Map Reduce计算模型对海量日志进行分析。云教学资源平台能够提高资源查询、存储的速度及准确性,提升资源管理者的工作效率,与传统教学资源管理平台相比,其具有更高的可靠性和稳定性。

基于Hadoop平台的新闻云方案设计

社会进步离不开新闻传播,新闻的传播和共享是提高人类素质的重要方法。为改善新闻的服务水平,采用云计算的先进理念和先进技术,设计了一个新闻云原型平台,为新闻行业提供服务。该平台引入Hadoop作为新闻数据的存储核心,使用Hive数据库解决数据转换和查找,能够完成海量数据的检索。对设计的方案进行了部分测试,达到了设计要求。

基于 Hadoop的Apriori算法与实现

针对传统Aprion数据挖掘算法平台的硬件瓶颈以及算法运算耗时、需要重复扫描数据库等缺点,提出了一种基于Hadoop平台应用MapReduce模型与Hbase,对Apriori进行云端的迁移和优化的算法,并与其他的改进Apriori算法进行了分析与比较。实验结果表明:新的云端算法降低了时间复杂度,使其可以更好的进行数据处理。

电力设备状态高速采样数据的云存储技术研究

提出基于Hadoop和HBase的电力设备状态高速采样数据的存储方案,基于MapReduce设计实现了设备状态高速采样数据的并行查询方法。创建了1个包含20个节点(每个节点配置4核CPU)的Hadoop集群,并对集群进行了基准测试,测试结果表明所建集群适合进行大量数据的读写。以绝缘子泄漏电流数据为例,使用YCSB对所建存储系统进行了性能测试,测试结果表明,Hadoop和Hbase在存储容量、吞吐量以及查询延迟上提供了足够高的性能,能够满足智能电网状态监测数据可靠性及实时性要求。

基于云计算技术的家禽养殖管理系统研究与实现

为了适应当前我国家禽养殖向集约化、规模化发展的现状,以肉鸡养殖为研究对象,构建了一个适用于规模养殖的家禽养殖管理系统;利用Hadoop和HBase等云计算技术解决了由RFID、传感器等感知节点产生的海量数据的存储与处理问题,实现了养殖过程数据的实时采集与查询、家禽生长状况与禽舍环境的实时监控、以及养殖场的数字化生产经营管理。测试与运行结果表明,该家禽养殖管理系统能较好地满足并解决养殖场的实际需求,为养殖场科学管理提供可行的系统平台。

云计算环境下的关联挖掘在图书销售中的研究

随着大数据时代的到来,如今人们已经淹没在海量的信息当中。云计算技术的出现,为解决在海量数据中高效地挖掘出有价值的信息问题提供了新的思路。利用云计算的分布式处理和虚拟化技术的优势,提出一种基于Map/Reduce编程模型与编码操作相结合的分布式关联规则挖掘算法——MCM-Apriori算法;设计并实现一个基于Hadoop云平台的网上图书销售系统。为进一步验证该系统的高效性,在该系统中利用MCM-Apriori算法进行图书推荐服务的应用。实验对比结果表明,该系统实现了快速分析与查询、可靠存储的功能,可以明显提高关联规则挖掘效率。

基于云计算的地质大数据挖掘内涵

本文探讨了云计算背景下地质大数据挖掘的内涵,搭建了基于Hadoop融合多功能的地质大数据挖掘架构,剖析了大数据挖掘架构中每一层的工作流程。同时,在地质领域数据格式各异、条块分割严重、管理分散等现状的背景下,以地质大数据的存储及云计算技术为基础,总结了地质大数据的处理流程,指出了地质大数据挖掘领域的研究热点以及大数据挖掘面临的挑战。

云计算框架的海量数据查询技术研究

云计算平台的一个很重要的应用就是对海量数据进行存储和查询处理,传统关系型数据库已经不能满足海量数据的存储和高效查询要求,这就促使了No SQL数据库应运而生,如HBase.以分布式计算框架Hadoop为例,重点阐述在分布式数据库HBase中海量数据的查询方法和策略,为海量数据的查询研究提供一种新的思路.

基于云计算的智能卡口系统研究

在分析智能卡口关键技术的基础上,提出"云化"将是卡口系统的发展趋势,具体表现为智能化、大数据化、服务化、互联网化、运营化。通过云计算技术解决卡口系统遇到的问题,并给出了基于云计算的卡口系统组成:卡口抓拍识别系统和车辆管理云服务平台。重点对基于"Hadoop+HBase"的车辆管理云服务平台关键技术进行了分析,给出了系统架构组成和针对海量车辆通行记录的HBase表结构的详细设计。

来华留学研究生“云计算数据服务”全英语课程建设研究

大数据催生了云计算,而如何在云环境中提供高质量的数据服务成为研究的热点。为来华留学研究生开设的全英语"云计算数据服务"课程,是以数据为中心,以实践为导向,设计了进阶式的教学大纲,利用"比较教学法"对SQL与NoSQL、SQL与HiveQL进行比较教学,利用"微课堂"让学生可以自主进行Hadoop部署、中英文MapReduce词频统计、Hive部署和HiveQL实践操作,以掌握云数据服务的基本平台、工具和语言。课程评价体系的改革,保障了教学质量。