一种结合SSD特征的分布式文件系统元数据优化技术

分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性,提出了面向分布式文件系统元数据的数据管理机制和更新方法,包括元数据内存页面的重新组织和管理、多次变化数据的迭代更新、元数据写入方式的进一步优化等.所提方法减少了元数据更新的写入频次和实际写入量,减少了随机写操作,提高了元数据写入性能.

一种基于裸闪存的Key-Value数据库优化方法

近年来,非关系型的key-value数据库得到越来越广泛的应用.然而,目前主流的key-value数据库或者是基于磁盘设计的,或者是传统的基于文件系统和闪存转换层FTL来构建的,难以发挥闪存存储设备的特性,限制了I/O的并发性能,且垃圾回收过程复杂.设计并实现了一种基于裸闪存的keyvalue数据管理架构Flashkv,通过用户态下的管理单元进行空间管理和垃圾回收,充分利用了闪存设备内部的并发特性,并简化了垃圾回收过程,去除了传统文件系统和FTL中的冗余功能,缩短了I/O路径.提出了基于闪存特点的I/O调度技术,优化了闪存的读写延迟,提高了吞吐率;提出了用户态缓存管理技术,降低了数据写入量和频繁系统调用所带来的开销.测试结果表明,Flashkv性能是levelDB的1.9~2.2倍,写入量减少60%~65%.