一种基于HiveSQL的增加任务并行度与建立中间表组合的优化查询方法

针对大数据时代数据量级随时间不断累积、在大数据环境中查询数据困难且缓慢的问题,提出一种基于HiveSQL的增加任务并行度与建立中间表组合的优化查询方法。本文应用的是Hadoop生态系统中Hive数据库,从Hive数据库里数据量级为Pb的数据当中,通过编写SQL语句查询出实验所需要的数据。当在查询数据量级过大、查询指标较多并且SQL查询语句冗长的情况下,都会造成查询时间过长和查询效率低的问题,提出增加SQL任务并行度与建立中间表组合的优化查询方法来解决这一问题。实验结果证明,本文提出的方法将大数据查询时间缩短为原来的25%,并且提高了集群的利用效率。