利用Insert技术在Hive数据仓库中处理数据的应用研究

对Hive数据仓库的设计与环境搭建过程进行简单介绍,着重介绍利用Insert技术在Hive数据仓库中对数据进行导入导出的方法。这两种方式在学习Hive数据仓库的技术上和实际生产环境中,都具有重要的意义。

Hive数据仓库加载数据的技术研究

Hive数据仓库存储着海量用户数据,如何加载并分析处理这些数据,显得尤为重要。着重介绍了3种技术,即通过查询加载数据、查询语句中创建表并加载数据、import导入Hive表数据加载数据。利用文中技术,可以十分方便地在Hive数据仓库中对数据进行加载,进而达到分析处理海量数据的目的。同时,使用Python语言可以编写脚本或者使用调度工具实现自动化操作和批处理任务,这对于Hive数据仓库的维护、数据清洗和报表生成等任务非常有帮助,可以提高工作效率和准确性。

基于Hive数据仓库的物流大数据平台的研究与设计

针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析,提出物流数据仓库的具体实现方案,该数据仓库结合云平台虚拟化技术,部署了Hadoop和Hive环境,搭建了基于虚拟化技术的大数据处理平台。同时从数据ETL和数据查询分析处理两方面对数据仓库的可扩展性Hive数据存储分析、Hive数据前置处理等进行研究设计。通过Hive数据仓库运行效果进行分析,表明该系统能够很好地支持企业管理层决策。

Hive数据仓库在Hadoop大数据环境下数据的导入与应用

对Hive数据仓库的创建与启动的过程进行了介绍,着重讲解了通过Load命名加载数据的两种方式,即通过本地将数据文件加载到Hive表中,通过HDFS将数据文件加载到Hive表中。这两种方式在实际生产环境中,应用十分广泛。

基于WLAN大数据和Hive数据仓库的高校人流溯源系统设计与实现

高校在遭遇突发公共卫生事件时,需要全面精细掌握师生在校内的日常运动轨迹,以便进行溯源和追踪。针对高校校内师生流动交流频繁,人员种类繁多、数据采集和分析困难等实际问题,提出一种基于校园无线网接入日志和Hadoop大数据框架的师生运动轨迹采集、查询和分析系统,同时对整体系统和功能模块的设计思路和实现方式进行了分析介绍。最终基于分布式存储和计算技术,建成了能支持快速溯源分析的分布式数据仓库,实现了在时间和空间上对公共卫生重点人群进行快速轨迹溯源功能。

数据仓库元数据管理系统

本文首先对元数据的基本概念和作用进行了介绍,然后对元数据系统的软件架构进行了设计,并对用到的关键技术进行了说明,用到的关键技术包括:“血缘关系”,元数据抽取、转换、加载以及SQL数据的埋点、采集等。实现了将数据界面化展示,可完成数据字典查询、表对象查询等,使用户可以很轻松的获取想要的数据,大大地提高了开发的效率。

大数据环境下Hive访问控制技术研究

为增强Hive数据仓库平台的数据安全性,从大数据安全下的访问控制问题着手,利用HPL/SQL工具设计实现批量授权方案,增强其授权操作的便捷性。根据Hive的安全体系结构,探索其在访问控制方面的漏洞,深入源码改进其实现机制。通过改进Hive用户识别机制,使Hive能从客户端与命令行端正确识别当前用户,增强了安全性,为下一步授权工作打下了基础。批量授权方案能正确、快速、自动地为大批量用户授权,操作便利。

基于网络化密度聚类的船舶停泊点数据挖掘

为获取船舶停泊行为规律,以大连港、天津港、青岛港、德国罗斯托克港、巴西桑托斯港和荷兰格罗宁根港等全球六大港口水域为例,基于Hive数据仓库和R语言平台,利用网格化DBSCAN算法,提取船舶在各港口水域停泊点位置、面积等信息,进而基于停泊点可视化结果,验证这六大港口实时可视化结果与基于历史数据挖掘结果相符。研究成果有助于保障港口水域船舶安全通航,亦为船舶交通管理系统智能化奠定基础,从而推动港口行业持续、健康发展。

基于Hadoop医学数据平台的数据清洗

随着医院信息化的不断深入和普及,病人的电子病历、药物信息、诊治记录和病人的个人信息等,存在着重复、不完整或错误的数据,无法在数据库中清晰明了地获取每个病人的信息,因此医学数据清洗应运而生。实现一个基于Kettle工具和Python语言的数据清洗平台。平台使用Kettle工具和Python语言对简单的医学重复数据、医学错误数据及医学不完整数据按照设计的清洗流程以及清洗规则进行清洗,之后通过Kettle转换存储到Hadoop平台的Hive数据仓库中,从而得到有价值的医疗数据并应用到医疗大数据分析和挖掘中。

基于OD切分的船舶AIS航迹

通过对船舶自动识别系统(Automatic Identification System,AIS)数据进行深入挖掘,获取船舶海上交通特征信息。以频繁往返于厦门港水域的船舶"中远之星"号为例,基于Hive数据仓库和R语言平台,利用探索性分析和可视化等数据挖掘技术,得到反映船舶海上交通特征的信息。建立合理有效的航迹插补、航迹切分及子航迹段合并算法,得到若干个能清晰反映船舶运动路线的OD(出发点—终点)航迹。研究成果可为船舶航迹聚类、船舶异常行为检测和海上交通安全监控等奠定基础,从而实现船舶交通管理系统的智能化。