DFMapper:基于查询树的SQL-to-HiveQL自动翻译工具

Hive作为建立在Hadoop上的数据仓库,已成为很多企业处理大数据的首选。然而,传统企业中大量的遗留应用依赖于传统关系型数据库(RDBMS),迁移时需要翻译大量查询语句。提出了一种基于查询树的SQL到HiveQL的自动翻译方法。该方法利用SQL解析器将SQL语句解析为查询树,提供8种不同的重写策略重构查询树,进而将其转化为正确的HiveQL语句,实现了一个翻译工具——DFMapper。在基准测试集TPC-DS上进行的查询实验证明,DFMapper可以正确翻译绝大多数的查询语句,并且具有很强的扩展性。

Hadoop实现点击流日志的数据清洗

在Hadoop云计算的大数据应用中,点击日志数据的挖掘处理是一项重要工作,日志收集服务器每天上传大量的点击日志信息,这些点击日志信息是从事电子商务企业了解用户心理倾向的关键信息,日志分析和挖掘对于企业越来越重要,直接和企业的发展和效益密不可分。对于结构化的日志,Hadoop Hive的HQL即可实现日志的数据清洗,而对于非结构化的点击流日志,HQL就显得捉襟见肘,文章就使用Map Reduce实现点击日志信息的数据清洗处理进行简述,同时列举了实例供大家参考。

用Hadoop实现网站转化率分析

转化率分析是网站分析常见的指标,转化率越高,其盈利能力就越强,转化率可以衡量网站内容对访问者的吸引程度,其指标越高,单位来访者产生的客户就越多。提高网站转化率能够在无法增加流量的情况下增加网站的盈利,它直接关系着企业发展和利益。通HadoopHive和MapReduce作业实现网站转化率的分析过程,并提供了使用Hadoop进行设计数据分析模块的方法。

Hadoop Hive实现日志数据统计

在Hadoop云计算大数据应用中,日志收集服务器每天上传大量的日志信息到HFDS中,对这些日志信息的分析和挖掘,可以得出系统的运行状况及挖掘出企业所需重要的信息,日志分析和挖掘对于企业和组织越来越重要,直接和企业的发展和效益密不可分。Hadoop Hive是一个数据仓库工具,可以将SQL语句转换为Map Reduce任务运行,进行大数据的分析和挖掘,为实现日志数据处理提供了一个好的方法。