HTAP数据库系统数据共享模型和优化策略

混合事务与分析处理数据库系统(HTAP)因其在一套系统上可以同时处理混合负载而逐渐获得大众认可.为了不影响在线事务处理(OLTP)业务的写入性能,HTAP数据库系统往往会通过维护数据多版本或额外副本的方式来支持在线分析处理(OLAP)任务,从而引入了TP/AP端版本的数据一致性问题.同时,HTAP数据库系统面临资源隔离下实现高效数据共享的核心挑战,且数据共享模型的设计综合权衡了业务对性能和数据新鲜度之间的要求.因此,为了系统地阐释现有HTAP数据库系统数据共享模型及优化策略,首先根据TP生成版本与AP查询版本的差异,通过一致性模型定义数据共享模型,将HTAP数据共享的一致性模型分为3类,分别为线性一致性,顺序一致性与会话一致性.然后,梳理数据共享模型的全流程,即从数据版本标识号分配,数据版本同步,数据版本追踪3个核心问题出发,给出不同一致性模型的实现方法.进一步,以典型的HTAP数据库系统为例对具体实现进行深入的阐释.最后,针对数据共享过程中涉及的版本同步、追踪、回收等模块的优化策略进行归纳和分析,并展望数据共享模型的优化方向,指出数据同步范围自适应,数据同步周期自调优和顺序一致性的新鲜度阈值约束控制是提高HTAP数据库系统性能和新鲜度的可能手段.

HTAP数据库关键技术综述

混合事务与分析处理(hybrid transactional analytical processing,HTAP)技术是一种基于一站式架构同时处理事务请求与查询分析请求的技术.HTAP技术不仅消除了从关系型事务数据库到数据仓库的数据抽取、转换和加载过程,还支持实时地分析最新事务数据.然而,为了同时处理OLTP与OLAP,HTAP系统也需要在系统性能与数据分析新鲜度之间做出取舍,这主要是因为高并发、短时延的OLTP与带宽密集型、高时延的OLAP访问模式不同且互相干扰.目前,主流的HTAP数据库主要以行列共存的方式来支持混合事务与分析处理,但是由于该类数据库面向不同的业务场景,所以它们的存储架构与处理技术各有不同.首先,全面调研HTAP数据库,总结它们主要的应用场景与优缺点,并根据存储架构对它们进行分类、总结与对比.现有综述工作侧重于基于行/列单格式存储的HTAP数据库以及基于Spark的松耦合HTAP系统,而这里侧重于行列共存的实时HTAP数据库.特别地,凝炼了主流HTAP数据库关键技术,包括数据组织技术、数据同步技术、查询优化技术、资源调度技术这4个部分.同时总结分析了HTAP数据库构建技术与评测基准.最后,讨论了HTAP技术未来的研究方向与挑战.

数据同步机制自适应优化的HTAP数据库原型系统

在HTAP(hybrid transactional and analytical processing)数据库中,资源隔离和数据共享是一个难题,虽然不同厂商通过不同的架构来实现资源隔离,但是用户关注的新鲜度,即OLTP(online transaction processing)和OLAP(online analytical processing)读写版本的差距,由数据共享的一致性模型决定.然而,现有的HTAP数据库为了节约成本,只应用单一一致性同步模型,这与用户应用的多种一致性需求之间存在矛盾,为了满足用户需求的最高一致性而采取向上兼容的方案降低了系统的整体性能.通过构建新鲜度与性能权衡的代价模型,提出了一致性切换算法和切换前后同步数据的处理策略,实现了一个顺序一致性同步与线性一致性同步自适应切换的HTAP数据库原型系统,使得无需调整HTAP架构,即可支持不同一致性(新鲜度)需求的查询负载并实现系统性能的最大化,最后对自适应切换的有效性也进行了实验验证.

云原生分布式HTAP数据库在银行业务场景应用实践

近年来,随着互联网科技的快速发展,分布式数据库逐渐应用到了金融业务领域,使金融数据库越来越具备高性能、可扩展、高可用和高容错特性。本文以吉林亿联银行云原生HTAP分布式数据库的实际应用为例,通过深入的分析与研究,妥善解决了数据库运行过程中数据一致性、业务场景优化、并行上线验证等方面的技术问题,并首次在银行核心系统上成功构建了具备分布式特性和传统交易类特性的核心数据库,为分布式数据库在银行核心系统的应用提供了可复制的发展路径和实践经验。

HTAP评测基准的评测能力综述

对数据库系统即时修改数据的高效实时分析需求推动了数据库系统向同时支持OLTP业务和OLAP业务两种场景的HTAP数据库系统的快速发展.面对众多的HTAP数据库系统,为了推动HTAP数据库系统的公平比较和健康发展,定义和实现相应的评测基准来评估HTAP数据库系统的新特性至关重要.首先,分析HTAP数据库系统的关键特征并抽象总结HTAP数据库系统实现的关键技术.然后,提炼出HTAP数据库系统的设计难点和构建HTAP评测基准的挑战,并基于此提出HTAP评测基准应考虑的设计维度,包括数据生成、负载生成、评价指标和一致性模型支持性.对比现有HTAP评测基准在设计维度和实现技术上的差异,总结评测基准在不同设计维度上的优劣.此外,运行已公开的典型评测基准,展示并分析它们对HTAP数据库系统关键特征的评测能力以及对不同HTAP数据库系统的横向对比的支持能力.最后,总结对HTAP评测基准的能力需求和未来的一些研究方向,指出语义一致的负载控制和新鲜数据访问度量是HTAP数据库系统评测基准定义的关键问题.