基于Spark SQL的数据查询与索引优化系统研究

随着大数据及云计算技术、移动场景应用数据量的迅猛发展,对于动态场景下的时态大数据查询与处理分析,成为不同企事业单位高吞吐量、低延迟数据管理关注的重要方向。基于Apache Spark分布式计算框架,搭建起涵盖Spark SQL解析器、Catalyst查询优化器、Data Frame查询接口、Hive数据仓库、RDD(resilient distributed datasets)数据库等组件的大数据查询分析系统,针对海量的半结构化、非结构化时态数据,基于Spark SQL内核的Parser组件拓展时态查询的范围,使其支持特定索引创建、删除与内存读入管理的关键字,将本地分区建立的时态索引打包为IndexRDD数据集,利用局部时态索引模型展开含有K个时态对象的数据查询,快速扫描、查询与定位相应的数据项位置,进而提升时态数据查询的容错性、执行性能。

可视数据组件结合SQLServer实现动态排序等扩展功能

集成开发环境中的可视化设计已成为当前软件开发中的首选。结合可视化组件 进行灵活设计,可以大大提高开发效率、降低开发成本。文章通过对可视化程 序设计常用数据组件DBGrid的应用研究,给出了在普通数据组件上实现扩展 功能,实现对显示数据排序、查询的简便操作。并以SQLServer数据库及DEL— PHI开发平台为基础,给出了一个详细的实例,对动态排序、动态查询的生成 及原理进行了较为详细的描述。

基于Spark的时态查询扩展与时态索引优化研究

时空数据库和基于集群计算的时间分析工具大多基于外存,将其应用在大数据处理场景下系统性能将迅速降低。为此,基于Spark构建一个易用且高可扩展的时态大数据查询分析系统。通过扩展Spark SQL解析器,使其能够支持类SQL形式的时态操作,运用SIMBA开源项目的方法,引入全局过滤和局部时态索引2种优化策略,使得系统能以高吞吐量及低延迟执行时态查询操作。基于时态查询效率的评估实验结果表明,在不同影响参数下,该系统的时态查询性能优于原生的Spark SQL查询处理方案。

ADO.NET在多层模式下应用的研究

为了结合多层模式系统的优点来访问企业级应用中数据库,提出了将ADO.NET与多层模式相融合的方法。分析了多层模式的结构,指出了需要利用ADO.NET的连接模式和断开模式数据访问技术,在数据访问层构建独立的SQL引擎组件,在各层之间传递数据采用强类型DateSet来构建业务实体,以一致的方式完成数据存取和传递。该方法屏蔽了底层数据访问的复杂性,同时便于各层之间的协调。项目实践表明,该研究便于提高系统开发效率,实现了系统良好的可维护性。