面向内存表的可动态配置预写日志框架

通常情况下,NoSQL数据库管理系统启动后,其多个数据库或数据分区的预写日志(WAL)会固定地写入一个或多个日志文件,因而形成强耦合的对应关系。由于数据库逻辑模型与分区配置是由应用业务和计算环境所决定的,在预写日志被强耦合的情况下,数据库管理系统无法对预写日志的个数、大小等进行配置以实现性能调优。针对该问题,提出了一种面向内存表的可动态配置预写日志框架,该框架记录了重写日志,内存表可以动态地被分配给不同的预写日志队列,支持可变的对应关系,实现了预写日志与具体应用之间的解耦。在物联网时序数据库Apache IoTDB上实现了该框架,并进行了相关实验,结果表明使用可动态配置预写日志框架后可以找到比强耦合的预写日志更优的配置方案,写入性能可提高8%~19%,说明该框架能针对不同计算环境和应用负载实现动态性能调优。

一种基于LSM树的键值存储系统性能优化方法

目前,键值(key-value, KV)存储系统在众多数据密集型的应用系统中发挥着关键作用,例如页面索引、电子商务以及云存储系统等.在各种键值存储系统中,基于日志结构合并(log-structured merge, LSM)树的KV存储系统获得了广泛的应用.主要原因是基于LSM树的KV存储系统能够将随机写操作转化为顺序写操作,从而提升数据写性能.然而,这些存储系统也存在一些严重的性能问题.一方面,KV存储系统利用预写日志机制来保证写入数据的原子性和安全性,以便在系统发生故障时进行恢复,造成了数据的写放大.同时,日志的频繁更新也引入了严重的元数据负载,导致了额外的性能开销.另一方面,KV存储系统通常利用通用文件系统存储数据,而通用文件系统中许多KV存储系统不需要的功能和属性也会造成一定的性能开销.为了减小这些开销、提升KV存储系统写入性能,提出了RocksFS,一个针对基于LSM树的KV存储系统优化的文件系统.针对KV存储系统的负载模式简化文件系统结构,去除通用文件系统引入的负载,同时优化预写日志的存储结构和更新流程以减小其更新负载,提升写入性能.最后在普通硬盘和固态硬盘上,基于流行的KV存储系统RocksDB验证了该方法的有效性,结果显示相对于通用文件系统,RocksFS能够将小块KV数据写入和更新性能提高约8倍.

一种基于HBase的数据持久性和可用性研究

HBase(Hadoop DataBase)是Apache Hadoop项目下的一款非关系型数据库,它是一个基于列簇的开源数据存储系统,关于HBase的研究和应用越来越受到关注.由于HBase会在内存缓存数据后写文件系统,所以缓存的大小成为影响系统性能的一个重要因素.本文提出一种基于备份日志的持久性、可用性方案Remote Log Process,使得HBase能够在不同的缓存规模获得更好的写性能.实验证明,在保证数据的持久性和可用性前提下,RLP能够在不同的缓存大小下获得稳定的性能,并且在缓存不超过默认设置时明显提高写操作时间性能.

SQLite数据库删除记录恢复方法

数据库的分析与删除记录的恢复是数字取证中最重要的环节之一。研究了Android短信数据库的管理机制,对数据更新过程中数据库与日志文件的写入规则进行了分析,提出从WAL日志中恢复数据库操作记录的方法。针对日志被清空的情况,提出了从ext4文件系统中恢复被删除日志文件,进而构造数据库操作记录时间线的方法。最后通过不同时间与条件下产生的数据镜像,对上述方法的有效性进行了验证,对其局限性进行了探讨。