基于查询频率的混合事务分析处理数据同步优化

混合事务分析处理(Hybrid Transaction Analytical Processing, HTAP)系统需要同时支持事务处理和查询分析两种工作负载.为了消除这两种负载之间的干扰, HTAP系统会为这两种负载指定不同的数据副本,分别处理OLTP (Online Transaction Processing)和OLAP (Online Analytical Processing)请求,并基于日志回放进行副本之间的数据同步. HTAP系统致力于同步OLTP数据到OLAP端以提供更新鲜的数据查询服务,日志的发送与回放速度是影响数据新鲜度的关键因素.本文在基于表分组的日志并行回放方法的基础上,针对HTAP负载特点,提出基于OLAP端查询频率的日志发送与回放方法.在保障数据一致性的前提下,本文所提出的方法提升了高频查询表日志的处理优先级,最终实现高效的日志发送、日志回放以及针对性的高频查询表数据优先展示,保证了HTAP系统数据的新鲜度.

支持混合事务和分析处理的数据库管理系统综述

数据库管理系统根据应用场景分为事务型(OLTP)系统和分析型(OLAP)系统.随着实时数据分析需求增长,OLTP任务和OLAP任务混合的场景越来越普遍,业界开始重视支持混合事务和分析处理(HTAP)的数据库管理系统.这种HTAP数据库系统除了需要满足高性能的事务处理外,还需要满足实时分析对数据新鲜度的要求.因此,对数据库系统的设计与实现提出了新的挑战.近年来,在工业界和学术界涌现了一批架构多样、技术各异的原型和产品.综述HTAP数据库的背景和发展现状,并且从存储和计算的角度对现阶段的HTAP数据库进行分类.在此基础上,按照从下往上的顺序分别总结HTAP系统在存储和计算方面采用的关键技术.在此框架下介绍各类系统的设计思想、优劣势以及适用的场景.此外,结合HTAP数据库的评测基准和指标,分析各类HTAP数据库的设计与其呈现出的性能与数据新鲜度的关联.最后,结合云计算、人工智能和新硬件技术为HTAP数据库的未来研究和发展提供思路.

基于持久性内存的属性图存储系统

属性图是一种流行的图数据模型,在各种图系统中得到了广泛应用.然而,面向事务型负载的图数据库系统在执行图分析任务的场景下面临着高延迟等挑战.传统的图分析系统往往是基于简单图模型,而且大多不支持图的事务型负载.因此,迫切需要一个能够在属性图上高效处理事务型负载和图分析任务的图存储系统.持久性内存的问世,使得我们有机会重新设计图存储系统,以充分发挥这种设备的特点.为此,本文提出了一种基于持久性内存的属性图存储系统,名为TAG. TAG采用了一种新颖的混合架构的图存储方式,以充分发挥持久性内存和主存的优势.其次,通过拓扑和索引结合的方式,将图的拓扑嵌入到系统的索引中以加速图的拓扑查询.最后, TAG通过基于标签的方式来组织图的属性数据,进一步优化图的属性访问.实验结果表明, TAG显著优于其他图数据库系统,与图分析系统相比, TAG也有着相近的性能表现.