基于Zeppelin+Hive的数据分析与可视化

随着大数据时代的到来及大数据产业的迅速发展,快速有效地对海量数据进行分析处理及可视化,成为大数据产业从业人员的必备技能。通过对一组房屋销售数据的分析处理,介绍了如何利用Zeppelin和Hive来快速对海量数据进行分析及可视化,并给出了具体实现方法和代码。

基于HIVE配置化自助稽核工具研究

提出一种基于Java后台的自助自动化工具,该工具提供的可配置字段模型更多、更丰富,配置轻量化,模型结果更加准确,计算速度也得到提升。在新上线营销活动或存量营销活动重点稽核时,通过可视化操作界面,支持业务编码、受理时间、受理范围等条件,配置基础数据字段和个性化扩展字段构建成专属的个性化数据模型,具有操作便捷,灵活应对市场变化的特点,解决了高峰期人员不够,稽核处理不到位的痛点,从而有效提升营销活动专项稽核提数效率。

利用Insert技术在Hive数据仓库中处理数据的应用研究

对Hive数据仓库的设计与环境搭建过程进行简单介绍,着重介绍利用Insert技术在Hive数据仓库中对数据进行导入导出的方法。这两种方式在学习Hive数据仓库的技术上和实际生产环境中,都具有重要的意义。

基于TEZ引擎和LLAP技术的Hive数据查询能力研究

分布式计算框架(HadoopMapReduce)解决了大数据分布式计算和并发计算问题,具有良好的扩展性和容错性,非常适合超大规模数据处理和分析。Hive基于HadoopMapReduce构建数据仓库分析系统,提供丰富的结构化查询语言(Structured Query Language,SQL)查询能力,可将SQL语句转变成MapReduce任务执行分析数据。但是,MapReduce本身的特点(Map阶段和Reduce阶段)使得其在多表关联和复杂SQL场景时运行较慢。因此,基于真实场景打造了一套通过TEZ引擎和LLAP(Live Long and Process)技术结合来提升Hive查询能力的系统,面对复杂的多表关联查询、使用频率较高的复杂查询时能够快速高效率执行,缩短了用户等待时间。

数据仓库Hive搭建与应用——以网站流量统计分析为例

云计算等技术的发展,推动了海量数据存储和处理技术的发展,从海量数据中快速找到有价值的信息是进行数据挖掘的关键。Hive能够使用Hibernate查询语言(Hibernate Query Language,HQL)语句对数据进行查询和分析,帮助决策者从海量数据中挖掘出更高价值的信息。以网站流量统计分析为例,从Hive的环境搭建、数据仓库构建、数据查询等方面介绍了Hive的应用。

Hive数据仓库加载数据的技术研究

Hive数据仓库存储着海量用户数据,如何加载并分析处理这些数据,显得尤为重要。着重介绍了3种技术,即通过查询加载数据、查询语句中创建表并加载数据、import导入Hive表数据加载数据。利用文中技术,可以十分方便地在Hive数据仓库中对数据进行加载,进而达到分析处理海量数据的目的。同时,使用Python语言可以编写脚本或者使用调度工具实现自动化操作和批处理任务,这对于Hive数据仓库的维护、数据清洗和报表生成等任务非常有帮助,可以提高工作效率和准确性。

基于Hive的电力设备状态信息数据仓库

随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统(PMS)的分析,将电力设备静态信息与状态监测信息存储到Hive数据仓库中。设计了基于Hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop分布式文件系统(HDFS)对数据进行分布式存储管理,Map Reduce作为海量数据查询分析的计算模式,HiveQL查询语言作为数据仓库的控制工具,并给出了数据仓库的工作过程。建立一个基于Hive的电力设备状态信息数据仓库实验平台,分别利用5个节点和10个节点的Hadoop集群进行测试,结果表明上述方法具有较好的扩展性,能满足大规模多维电力设备状态数据存储查询的需要。

基于Hadoop/Hive的web日志分析系统的设计

互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算。Hadoop是一个用于构建云计算平台的流行的开源框架,广泛应用于海量数据的处理。但利用Hadoop处理数据,用户必须自己开发Map/Reduce程序。这种程序处于比较低的层次,用户不容易掌握,而且难于维护。Hive是一个基于Hadoop的开源数据仓库工具,它能够将文件映射成数据表,并提供类SQL语句,简化了用户的开发。利用Hadoop、Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度。通过与单机实验的对比,证明系统是有效的和有价值的。

基于Hadoop/Hive的乳制品溯源数据计算及性能优化

为了提升传统乳制品溯源系统应对大规模企业生产数据的性能,本文分析了乳制品相关企业供应链业务流程、关键溯源单元和溯源信息,结合Hadoop/Hive大数据技术和分布式数据库技术,设计并构建了基于Hadoop/Hive的乳制品溯源框架.搭建模拟大数据环境并使用实际生产数据对系统性能进行测试,实验结果表明,引入Hadoop/Hive技术后,系统的平均数据存储速度、平均数据访问速度、平均数据交互速度分别提升了87.43%、27.10%、58.16%.改进后的乳制品溯源系统存储和处理大规模数据的能力明显优于传统的乳制品溯源系统.

QAR数据仓库在Hive中的构建

分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。

基于HBase和Hive的航班延误平台的存储方法

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法(MD5)重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于Solr Cloud的关联查询算法,利用Solr Cloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。

基于Hive的高可用双引擎数据仓库

打破信息孤岛,整合异构数据,汇聚共享交换,深度分析挖掘,提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引,设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库,支持多种方式OLAP分析,进行了可用性、负载均衡、资源管理的优化设计,为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明,系统灵活高效,高可用可扩展,资源调度科学,负载均衡效果明显.

大数据环境下Hive访问控制技术研究

为增强Hive数据仓库平台的数据安全性,从大数据安全下的访问控制问题着手,利用HPL/SQL工具设计实现批量授权方案,增强其授权操作的便捷性。根据Hive的安全体系结构,探索其在访问控制方面的漏洞,深入源码改进其实现机制。通过改进Hive用户识别机制,使Hive能从客户端与命令行端正确识别当前用户,增强了安全性,为下一步授权工作打下了基础。批量授权方案能正确、快速、自动地为大批量用户授权,操作便利。

基于Hive的智慧城市数据处理技术研究与实现

对智慧城市系统中产生的大量数据进行有效的采集、合理的存储、高效精准的分析,进而对决策的做出提供合理的支持是在智慧城市建设过程中必须要解决的问题。对此,在充分理解智慧园区数据分析系统功能需求、性能需求的基础上,结合当前比较主流的数据分析方面的技术,提出了Kettle+Hive+Tableau的智慧园区数据分析解决方案。该系统具有较高的可用性、稳定性、效率以及非常高的扩展性、可移植性,不仅适合于对智慧园区的数据分析,还普遍适用于对智能化信息系统数据进行分析,具有较高的普适性、通用性。该系统通过ETL工具、数据可视化工具的应用,尽量减少在数据分析系统开发过程中代码的编写,能够适用于绝大部分有数据分析需求并且数据量较大的信息化系统。

基于Hive数据仓库的物流大数据平台的研究与设计

针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析,提出物流数据仓库的具体实现方案,该数据仓库结合云平台虚拟化技术,部署了Hadoop和Hive环境,搭建了基于虚拟化技术的大数据处理平台。同时从数据ETL和数据查询分析处理两方面对数据仓库的可扩展性Hive数据存储分析、Hive数据前置处理等进行研究设计。通过Hive数据仓库运行效果进行分析,表明该系统能够很好地支持企业管理层决策。

基于HBase整合Hive的查询性能研究

HBase可以实现海量数据的查询,但是在数据定位方面具有先天劣势。引入Hive对HBase进行优化,搭建了一个基于“HBase存储+Hive查询”的整合框架。通过对美国新冠肺炎的部分数据分别使用HBase与HBase+Hive整合框架进行数据统计并且记录查询时间,可证明HBase+Hive整合框架的查询性能优于HBase原生访问,并且随着数据量的增加,两种方案查询性能的差距更加明显。

一种基于Hive数据仓库的调度优化研究

如何能够更好的通过数据仓库进行决策分析是云计算下的数据挖掘研究的重要组成部分,基于Hive的数据仓库是为了能够快速的查询数据,通过ETL任务资源与调度可以使得查询的消耗达到最小,但ETL是一种类似的NP问题,本文将萤火虫算法引入到ETL任务资源调度中,将萤火虫个体的最优与ETL最优任务调度进行对应。实验平台采用某地区的面料交易平台进行研究,实验说明本文算法能够有效的提高ETL访问效率,从而加快了Hive的访问速度。

基于移动通信数据的流动人口统计中的Hive优化

针对电信大数据在流动人口统计中的处理需求,采用Intel?Hadoop发行版,设计Hive数据仓库并进行优化,重点对性能影响较大的join连接和数据倾斜问题进行了优化。实验表明,对于TB级数据,简单统计如count、sum等可在10分钟以内完成,聚合统计如join、group by等可在30分钟左右完成,能有效支撑大数据环境下的流动人口统计和监测。

基于Hadoop和Hive的电信行业数据仓库研究

分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M/R框架,提供类SQL功能的HQL语言,为用户提供了一个高效、海量和便捷的数据仓库平台。通过对电信行业海量话单的分析证明,此数据仓库解决方案在处理海量数据上,具有关系型数据仓库不能比拟的性能。摘要分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M/R框架,提供类SQL功能的HQL语言,为用户提供了一个高效、海量和便捷的数据仓库平台。通过对电信行业海量话单的分析证明,此数据仓库解决方案在处理海量数据上,具有关系型数据仓库不能比拟的性能。

基于Hive架构的物流供应链运力异构数据整合研究

设计了一种基于Hive架构的异构数据整合框架,该框架以多个应用系统数据库为主要研究对象,选取某物流企业供应链过程中的车辆调度系统和运力调度系统的车源数据作为实验对象,通过分析、整合异构数据,搭建异构数据整合框架,进行异构数据整合研究。结果表明:该架构实现了异构数据资源共享,同时有助于实现物流行业的信息资源整合,而且可以为企业提供更加稳定可靠的决策支持。