OceanBase数据库监控系统

针对目前Oceanbase数据库监控方面薄弱的问题,基于OceanBase的系统架构以及参考其集群部署,并借助其提供的系统接口,提出一套适用于OceanBase在系统监控、系统预警以及故障定位等方面的可执行方案,以此实现了OceanBase监控系统OBDMS。首先,调研OceanBase在系统架构及集群部署等方面的特点;其次,根据OceanBase提供的系统接口以及系统监控、预警和故障定位等目标,构建OBDMS的系统架构;最后,利用OBDMS的系统架构并结合分布式系统的原理,实现了OBDMS。通过分析对比、实验结果表明:只需在每个监控节点上部署监控代理,OBDMS就能自动收集各个节点上的监控信息,节省了运维时间;并且通过一个月的运行以及压力测试,OBDMS各模块均运行正常,具有较高的可靠性。因此,OBDMS具备部署简单、节省运维时间、可靠稳定等特点。

面向OceanBase的存储过程设计与实现

存储过程是数据库管理系统的一个重要特性,它是标准结构化查询语言(Structured Query Language,SQL)的一个扩展.OceanBase是一个新型的支持海量数据处理的分布式数据库系统,但现有OceanBase的开源版本不支持存储过程功能,影响了该系统在企业和机构中的推广和应用.本文在深度分析存储过程原理以及OceanBase查询处理策略的基础上,设计并实现了支持PL/SQL(Procedural Language/SQL)的存储过程机制.

OceanBase中基于布隆过滤器的连接算法

在大数据时代,"去IOE"运动的推进以及"双11"等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.

面向OLAP应用的OceanBase模式设计

随着大数据时代的来临,用户查询需求也越来越复杂,对数据库的可扩展性和SQL查询效率都提出了很高的要求.OceanBase是Alibaba研发的适应互联网规模的关系型分布式数据库,能够做到可扩展、低成本、高可用,并能应用到很多业务场景,包括OLTP和OLAP.然而,当前发布的最新OceanBase只支持主键索引,还不能支持二级索引.其次,OceanBase在连接上没有并行处理,使得查询效率较低.因此,为了能够使用主键索引及减少连接来加快查询速率,OceanBase模式设计是必要的.本文主要以TPC-H的22个查询为OLAP的研究案例,分析传统数据库的模式设计,并提出OceanBase分布式数据库下的模式设计规则,最后将会通过实验来验证这套模式设计规则的有效性.

基于分布式系统OceanBase的并行连接

随着应用数据的飞速增长以及分布式数据库系统的不断涌现,数据存储在物理独立的节点已经成为一种趋势.在这种情况下,当应用需要进行复杂join查询时,就会不可避免地产生非常多的网络传输代价.所以,如何提高分布式系统中join查询的效率成为研究热点.本文在分析分布式数据库系统OceanBase执行nested loop join、Hash join、semi-join等算法的基础上,提出了合理利用硬件资源采用多线程并行执行join操作的优化思想,并在OceanBase数据库中分别对nested loop join、Hash join、semi-join等算法进行了并行改造.实验结果表明,在一定线程数内join算法执行效率与并行度呈正相关.

基于OceanBase全链路智能运载AGV机器人的研发

本项目是基于OceanBase全链路实现AGV机器人在高校实训教学区域智能运载的研发,旨在解决现有实训教学区域与库房的衔接、教学器材的输送、库房器件的数字化管理等问题,同时针对于网络设施服务有效实现智能运载管理及API。项目以AGV机器人为核心、结合物联网、OceanBase链路等技术实现无人工厂模式控制,通过区域小程序实现学生端、教师端、库房管理端一体化衔接,同时实现全链路智能运载AGV机器人的应用。项目具有良好的推广应用价值。

一种面向分布式读写分离系统的数据同步策略

读写分离是NewSQL数据库兼容传统关系型数据库以及NoSQL数据库各自优势的一种常用策略。这种架构下,基线数据被分割为多个分区分布存储于不同存储节点,更改数据存储于单个事务节点,为减轻事务节点压力以及提升查询效率,需要将更改数据定期同步到存储节点。当前策略以分区粒度进行数据同步,导致无更改数据的分区同样参与同步操作,消耗额外网络代价、本地IO代价、内存空间以及磁盘空间。为提升同步效率,降低空间消耗,提出一种细粒度数据同步策略,在原始分区之上建立细粒度逻辑分区,提供更精确的同步单位;引入更改感知策略,记录被更改的分区以及对应的更改数据;利用更改发布机制驱动同步的进行,限制参与同步的分区为发生改变的分区。在分布式读写分离系统Oceanbase上验证细粒度数据同步策略,结果表明其同步效率和空间占用量均优于其他策略。

一种面向海量分布式数据库的游标构造方法

游标是传统关系数据库所提供的一种能从包括多条数据记录的结果集中,每次提取一条记录的机制。这种机制能够缓存SQL查询结果集,提高重复查询的效率,并能以指针的方式,逐一访问缓存结果集的记录,非常灵活。但是,在现有的海量分布式数据库中,由于数据的分布式存储和数据量的庞大,游标的功能很难支持。文章提出了一种面向海量分布式数据库的游标构造方法,可以实现分布式数据库的游标功能,在研究了海量分布式数据库Oceanbase的基础上,构造了游标关键字共通的语法树、逻辑计划和物理计划;设计了游标整体的执行流程,并实现了游标功能。实验结果表明,在大数据量的查询过程中,文中所提出的游标构造方法所设计游标的查询速度,优于商业数据库DB2的游标查询速度。

集群环境下分布式索引的实现

针对分布式存储系统上使用非主键访问数据带来的性能问题,探讨在分布式存储系统上实现索引的相关关键技术。在充分分析分布式存储特征的基础上,提出了分布式索引设计和实现的关键点,并结合分布式存储系统的特点及相关的索引技术,讨论了索引的组织形式、索引的维护和数据一致性等问题;然后基于如上的分析,选择在分布式数据库系统OceanBase开源版本上,设计和实现分布式索引机制,并通过基准测试工具YCSB进行性能测试。实验结果表明,虽然辅助索引会对系统性能产生影响,但因为充分考虑了系统特征及存储特点,在不同数据规模下,该索引都能够将性能影响控制在5%以内。另外,使用冗余列的方式,能进一步将该索引的性能提升100%。

可扩展数据管理系统中的网络请求服务机制

请求服务机制涉及请求的传输和处理,是分布式数据管理系统中各组件交互并完成任务的重要前提.本文以可扩展数据管理系统为背景,抽象系统中的网络服务模型,介绍系统中的网络请求服务机制.从数据库的主要实现出发,分析不同类型的请求在传输以及处理上的不同要求.以OceanBase为例,统计各机制在一个可扩展数据管理系统中的服务比重,并进行相关的分析.

分布式数据库系统中的并行分组聚合实现

伴随着新型互联网应用中对数据统计、分析需求的增大,分组、聚合已经成为数据分析应用中出现频率最多的请求之一.本文就类OLAP(on-line transaction processing)应用中常见的Aggregation、GroupBy原理进行了分析.针对一般事务型数据库采用排序分组的缺点,提出了两种Hash分组聚合的具体实现方案,并提出一种利用统计信息动态决策Hash桶数、Hash分组聚合方案的策略.根据分布式数据库多副本的特点,本文又提出了一种Hash分组聚合节点级的并行方案.最后,在开源数据库OceanBase进行了具体的实现.通过实验证明,本文提出的利用统计信息动态决策Hash分组聚合方案相比排序分组具有极大的效率提升.

银行业分布式关系型数据库选型分析

随着移动互联网的发展,在应对超大规模和高并发业务场景的高性能挑战时,各种具有出色横向扩展能力的分布式技术层出不穷,为银行业务快速发展提供了强大的基础技术保障。本文结合分布式关系型数据库技术难点,对比分析相关典型产品,提出了银行分布式关系型数据库选型参考建议。

ERP综合业务系统数据库国产化改造

当今国际形势日益严峻,人们逐渐意识到数据安全的重要性。使用MySql、Oracle等传统的数据库面临着较大风险,如何利用自主可控的国产数据库替代传统数据库成为当前技术焦点。文章介绍了OceanBase国产数据库的特点,搭建了公司ERP综合业务系统测试数据库环境,验证了该国产数据库的技术特性,论证了使用OceanBase国产数据库替代传统数据库的可行性。