基于Spark SQL的数据查询与索引优化系统研究

随着大数据及云计算技术、移动场景应用数据量的迅猛发展,对于动态场景下的时态大数据查询与处理分析,成为不同企事业单位高吞吐量、低延迟数据管理关注的重要方向。基于Apache Spark分布式计算框架,搭建起涵盖Spark SQL解析器、Catalyst查询优化器、Data Frame查询接口、Hive数据仓库、RDD(resilient distributed datasets)数据库等组件的大数据查询分析系统,针对海量的半结构化、非结构化时态数据,基于Spark SQL内核的Parser组件拓展时态查询的范围,使其支持特定索引创建、删除与内存读入管理的关键字,将本地分区建立的时态索引打包为IndexRDD数据集,利用局部时态索引模型展开含有K个时态对象的数据查询,快速扫描、查询与定位相应的数据项位置,进而提升时态数据查询的容错性、执行性能。

基于收益模型的Spark SQL数据重用机制

通过数据分析发现海量数据中的潜在价值,能够带来巨大的收益.Spark具有良好的系统扩展性与处理性能,因而被广泛运用于大数据分析.Spark SQL是Spark最常用的编程接口.在数据分析应用中存在着大量的重复计算,这些重复计算不仅浪费系统资源,而且导致查询运行效率低.但是Spark SQL无法感知查询语句之间的重复计算.为此,提出了基于收益模型的、细粒度的自动数据重用机制Criss以减少重复计算.针对混合介质,提出了感知异构I O性能的收益模型用于自动识别重用收益最大的算子计算结果,并采用Partition粒度的数据重用和缓存管理,以提高查询效率和缓存空间的利用率,充分发挥数据重用的优势.基于Spark SQL和TachyonFS,实现了Criss系统.实验结果表明:Criss的查询性能比原始Spark SQL提升了46%~68%.

基于Spark SQL技术的工业数据统计研究

对于获得的大量工业数据,然后对数据进行统计分析可以知道生产过程的运行情况,从而决定是否需要对过程或者方案进行调整。本文使用SparkSQL并行计算框架,利用Spark SQL在Java中集成的API,结合Java编程语言,对得到的工业数据进行常规统计,得到了数据的均值、均方差、最值等,对数据进行超限统计,得到过程量超过上限值的各个时间段的开始时间点和结束时间点及超限时间段的持续时长。

融合Spark SQL的系统误差性能评价技术指标研究

提出了一种融合Spark SQL技术的系统误差性能评价方案,解决了在工业控制系统存在大量数据时往往需要对数据进行分析、处理的问题,通过对数据的统计分析得到当前控制系统的性能指标,由性能指标决定是否对控制过程方案做出相应调整,从而达到更好的控制效果。通过Spark SQL数据分析技术,使用Java语言和Spark SQL集成的API函数以及SQL语句,结合误差积分性能指标的函数表达式进行算子程序开发。对确定性指标中时间平方误差积分ITSE进行了详细的开发论述,包括数据的读取、数据的处理及结果数据的获取,开发的ITSE算子能够对测量得到的工业控制系统数据进行分析处理,结合图像算子可以得到直观的系统性能指标变化趋势,以便运行人员了解控制系统性能,及时对系统控制方案做出调整。

基于Spark SQL的海量数据实时分类查询算法的研究

Spark是高速计算引擎,在计算能力上优于MapReduce。Spark采用的是内存计算方式,而Spark SQL在基于Hive数仓数据的分布式计算上尤为广泛。重点研究Spark SQL在进行海量数据的分类查询时,对处理大数据计算的性能进行优化建议。大数据的分类、查询和大数据处理的两个重要方向,引入了改进的随机森林算法提高数据分类的准确性,优化遗传算法缩短了查询时间,在对海量大数据进行实时分类、查询的场景中具有指导意义。

利用Spark SQL分析传统数据源的通用步骤

在大数据时代,日益增长的行业数据给各个行业带来了全新挑战,传统的计算方式已经不能满足企业对数据统计分析的需要。如何从大规模的数据中提取出有价值的信息并通过分析计算生成有价值的统计报表,成为各个企业关心的问题。如今大数据技术的发展给大规模数据的分析带来了希望。大数据分析技术Spark SQL可以按照通用的步骤对各种类型传统数据源进行快速地分析,为企业的决策者们提供可靠的统计分析报表。

基于Spark SQL的分布式全文检索框架的设计与实现

随着信息化的深入,大数据在各个领域产生了巨大的价值,海量数据的存储和快速分析成为新的挑战。传统的关系型数据库由于性能、扩展性的不足以及价格昂贵等方面的缺点,难以满足大数据的存储和分析需求。Spark SQL是基于大数据处理框架Spark的数据分析工具,目前已支持TPC-DS基准,成为大数据背景下传统数据仓库的替代解决方案。全文检索作为一种文本搜索的有效方式,能够与一般的查询操作结合使用,提供更加丰富的查询和分析操作。目前,Spark SQL仅支持简单的查询操作,不支持全文检索。为了满足传统业务迁移和现有业务的使用需求,提出了分布式全文检索框架,涵盖了SQL文法、SQL翻译转换框架、全文检索并行化、检索优化4个模块,并在Spark SQL上进行了实现。实验结果表明相比于传统的数据库,在两种检索优化策略下,该框架的索引构建时间、查询时间分别减少到传统数据库的0.6%/0.5%和1%/10%,索引存储量减少为传统数据库的55.0%。

基于Spark SQL结构化数据文件的推荐系统性能优化研究

Spark SQL是Spark技术的一个模块,在不使用Scala语言的前提下,可以对结构化数据进行处理和优化。本文重点研究Spark SQL的架构、DateFrame数据抽象、基于数据分类的改进交替最小二乘算法(ALS)等几个方面,研究在推荐系统中处理结构化数据面临的性能优化问题研究。提出最小二乘算法对Spark SQL的Dateset进行优化,在操作Hive数据集和HBase分布式数据的过程中,整合二者的优点,改进了数据读写速度,优化了数据组织框架。在推荐系统进行结构化文件处理的问题上,具有一定的指导意义。

Spark环境下SQL优化的方法

将传统SQL稍加改动后迁移到大数据平台是实现业务平稳过渡最佳办法,但是传统SQL所处理的数据量、运行环境与大数据平台完全不同,因而迁移后如何优化就很重要了。以当前主流大数据处理组件Spark SQL为例,论述了迁移产生问题背景、解决方案,以及优化前后性能比对结果。

CarbonData在网络安全日志分析场景下的性能评估

本文针对企业网络安全日志分析场景,采用实际网络安全日志数据,设计建表和测试方法,使用大数据引擎Spark SQL和Presto对索引行列混合式数据格式CarbonData进行了性能评估。通过测试得出,基于Spark SQL+CarbonData方案的数据查询和统计效率较高,能满足多种数据处理和分析要求,适用于网络安全日志分析应用。本文为企业网络安全日志分析方案的技术选型和设计提供参考。

基于Hadoop的SQL查询引擎性能研究

Apache Hadoop处理超大规模数据集有非常出色的表现,相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势,SQL-on-Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多,各有优势,其运算引擎主要包括三种:1传统的Map/Reduce引擎;2新兴的Spark引擎;3基于shared-nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala,并使用了一种类TPC-H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看,Impala和Spark SQL相对于传统的Hive都有较大的提高,其中Impala的部分查询比Hive快了10倍以上,并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比,并不存在各方面均最优的查询引擎,因此在构建基于Hadoop的数据仓库系统时,推荐采用Hive+Impala或者Hive+Spark SQL的混合架构.

Spark上的等值连接优化

等值连接作为数据分析中最常用、代价最高的操作之一,在Spark上的实现和优化与传统并行数据库有很大的差别,传统并行数据仓库中基于数据预划分的连接算法在Spark上难以实现,而目前被广泛采用的Broadcast Join和Repartition Join性能较差,如何提高连接性能成为基于Spark的海量数据分析的关键.本研究将Simi-Join与Partition Join的优势相结合,并基于Spark上的特性提出了一种优化的等值连接算法.代价分析和实验表明本算法比现有基于Spark的数据分析系统中的连接算法性能提升1～2倍.

基于Spark的时态查询扩展与时态索引优化研究

时空数据库和基于集群计算的时间分析工具大多基于外存,将其应用在大数据处理场景下系统性能将迅速降低。为此,基于Spark构建一个易用且高可扩展的时态大数据查询分析系统。通过扩展Spark SQL解析器,使其能够支持类SQL形式的时态操作,运用SIMBA开源项目的方法,引入全局过滤和局部时态索引2种优化策略,使得系统能以高吞吐量及低延迟执行时态查询操作。基于时态查询效率的评估实验结果表明,在不同影响参数下,该系统的时态查询性能优于原生的Spark SQL查询处理方案。

一种基于Spark大数据处理平台的查询方法

Spark SQL在获取Spark核心的计算结果后,需要进行一些格式转化和数据拷贝才能正式输出,将造成内存中相同或近似相同的数据有多个拷贝,浪费了内存资源,也降低了性能,直接影响了用户响应和结果存储容量,并且这种影响会随着输出结果的增大而增大。为此,文中提出了基于Spark大数据处理平台的创新查询方法,以实现查询首结果立即输出,极大缩短客户响应时间。

基于SQL模版的大数据批处理设计与实现

大数据的组件种类繁多,选择合适的组件及其调用方式能极大地降低大数据平台的使用成本。基于SQL模版的大数据处理平台,让业务方仅需掌握SQL语句就可以选择平台底层不同的计算引擎完成数据分析工作。平台选用了基于ANTLR解析SQL的大数据组件——Hive、SparkSQL、Presto来作为底层批处理和即席查询的计算引擎,利用ANTLR工具实现了对SQL语句二次解析和定制化开发工作,解决了业务方数据权限的难题。平台架构从上往下分为数据拉取层、SQL语句解析路由层及底层计算引擎和分布式存储层,使用Airflow组件作为作业调度,利用SQL语句模版完成了数据拉取、数据质量监控和业务方数据分析处理的工作,极大地降低了业务方的技术成本,简化了大数据平台搭建及二次开发的复杂度。

GuardSpark:Spark访问控制增强机制

作为最流行的大数据分析工具之一,Spark的安全性却未得到足够重视。访问控制作为实现数据安全共享的重要手段,尚未在Spark上得以部署。为实现隐私或敏感数据的安全访问,本文尝试提出一种面向Spark的访问控制解决方案。由于Spark架构具有混合分析的特点,设计和实现一个可扩展支持不同数据源的细粒度访问控制机制具有挑战性。本文提出了一种基于声明式编程和Catalyst可扩展优化器的统一、集中式访问控制方法 GuardSpark。GuardSpark可支持复杂的访问控制策略和细粒度访问控制实施。文章实验部分对所提访问控制方法在Spark上进行了原型实现,并对其有效性和性能开销进行了实验验证和评价。实验结果表明,GuardSpark可实现细粒度、支持复杂策略的访问控制机制。同时,该方法带来的性能开销可忽略,并且系统具有可扩展性。

基于Spark的空间范围查询索引研究

由于传统的数据处理系统的数据存储与数据处理能力有限,不能满足处理大量数据的需求。为了发挥数据的价值,高效、高性能地处理大量数据集,提出基于Spark系统结合SIMBA的思路共同建立的大数据分析处理系统,基于Spark SQL的查询方式进行检索;在Spark中嵌入索引管理机制,将其封装在RDD内,用于提高查询效率;通过建立线段树存储数据的方式提高数据检索的效率。对于数据预处理时采用Range Partitioner分区策略的方式对数据进行分区,基于全局过滤和局部索引进行查询。保证该系统在进行查询操作时能够保持高吞吐量和低延迟特性,提高查询效率。

基于大数据平台的货车超偏载数据分车计算研究

铁路货运超偏载监控设备在日常运行中生成并积累了大量的结构化数据,如何突破传统业务系统处理能力的限制实现对海量历史数据的分车计算是对超偏载数据挖掘的关键所在。概述货车超偏载数据分车计算,针对存在的问题,提出以大数据平台为载体,基于分布式内存计算框架实现海量超偏载数据的分车计算,经2种方案进行验证,结果充分证明分车计算方案的正确性。依托铁路数据服务平台的分布式计算架构,对海量的铁路货车超偏载检测数据进行统计分析,实现分车(运输任务去重)计算,为后续开展铁路货运分析奠定基础。

基于数据挖掘的电能计量设备异常并行诊断研究

针对电能设备异常并行诊断数据量大、种类繁多等问题,以朴素贝叶斯和Spark为基础,提出一种基于数据挖掘的电能设备异常并行诊断模型。在该模型中,首先对电能计量装置异常数据进行计算,然后采用HDFS+Hive+Spark SQL的方案实现对异常信息的多维分析;应用Spark并行框架搭建朴素贝叶斯并行诊断模型。最后,通过搭建服务器集群和仿真的方式对上述方案进行测试。实验结果表明,朴素贝叶斯算法在Spark上具有高效的并行处理数据能力,且异常诊断正确率与单机相比相差较小,同时在多维分析方面,集群比单机处理的时间具有明显优势。由此结果说明,提出的基于数据挖掘的电能设备故障并行诊断切实可行。

军人电子健康档案大数据即席查询统计子系统的设计与实现

目的利用列存储和分布式内存计算等大数据处理技术实现军人电子健康档案(MEHR)即席查询统计的快速响应,提高统计效率,改善交互体验。方法对MEHR即席查询统计子系统进行需求分析和功能设计,提出了"档案存储层——数据预处理层——统计应用层"的三层技术架构。经过对大数据处理技术的选型评估,在业务领域数据建模和预处理的基础上,采用Carbon Data列存储技术实现预处理后的数据存储,Spark SQL交互式处理框架实现查询统计的计算。结果分别对MEHR原先的数据统计子系统和该文实现的即席查询统计子系统,测试5个即席查询统计任务,后者在统计效率上有数十倍的提升,对200万人档案、1亿条数据记录量级的即席查询统计能达到秒级响应的性能。结论该文设计和实现的即席查询统计系统为MEHR大数据的统计分析提供了强大灵活的技术支撑。