复内核操作系统文件系统的设计与实现

随着云计算、大数据进一步的发展,促使提供计算服务的单个节点的硬件性能不断的提升,但数据中心资源利用率较低,且可扩展性较差的问题始终存在。人们试图从各个方面解决这个问题。复内核操作系统Popcorn Linux就是其中一个比较典型的解决方案。文件系统作为操作系统的重要组成部分,直接影响着数据中心应用的执行效率。传统的文件系统因为磁盘控制器的原因,无法移植到复内核操作系统上,从而难以满足新形势下的需求。针对这个问题,提出了一种全新的适用于复内核操作系统的文件系统POPFUSE。该文件系统基于FUSE框架实现,解决了因磁盘控制器有限,多个内核实例无法同时访问磁盘资源的问题,通过共享内存的方式,保证了通信的稳定,提高了文件系统的效率,进而促进了多个内核的操作系统整体性能的提升。

基于用户级融合I/O的Key-Value存储系统优化技术研究

传统分布式键值存储系统大都基于操作系统提供的套接字与可移植操作系统接口构建,受限于接口语义及内核开销,难以发挥底层新型网络和存储硬件高吞吐与低延迟的性能优势.聚焦键值存储系统的数据通路,面向高速以太网与NVMe(non-volatile memory express)固态存储,于用户态整合网络栈与I O栈,协同设计以优化吞吐性能与延迟稳定性.用户级融合I O栈的控制平面由同一处理器核心于同一上下文中统一管理网卡与固态存储设备的硬件队列,消除了传统分离式设计所导致的多次进出内核态、多次上下文切换以及潜在的核间通信与数据迁移等的弊端,最大限度降低系统软件层面的管控开销.数据平面采用统一的内存池,借助用户级设备驱动,数据于上层键值系统与底层设备之间直接通过DMA传输,没有额外数据拷贝与操作系统干涉.针对大消息访问请求,通过将数据分片并交叠执行网络与存储DMA操作,进一步掩藏了访问延迟.实现了全用户态键值存储系统UKV,支持内存外存2层存储以及广泛应用的Memcache接口.将UKV与由Twitter开源的Fatcache系统进行了测试对比.实验结果表明,涉及外存的SET请求的每秒查询吞吐量提高了14.97%~97.78%,GET操作的每秒查询吞吐量提高了14.60%~51.81%;涉及外存的SET操作的p95延迟降低了26.12%~40.90%,GET操作的p95延迟降低了15.10%~24.36%.