跨语言用户态文件系统框架读写性能优化

以深度学习为代表的数据分析应用越来越多依赖分布式文件系统存储管理大规模数据集.为了增强数据访问的兼容性,现有分布式文件存储系统通常需提供标准POSIX接口,以支持深度学习等应用的无缝对接.然而,以内核模块形态开发提供POSIX接口的文件系统非常复杂耗时.近年来,用户态文件系统(Filesystem in Userspace,FUSE)框架大幅简化了文件系统的开发工作,已被Alluxio和Ceph等诸多知名分布式文件系统使用.目前常用的用户态FUSE库libfuse仅提供C语言编程接口,但现有大数据分布式文件系统基本都是基于Java语言开发的(例如HDFS和Alluxio等),为了使基于Java语言开发的分布式文件系统可以对接C语言开发的FUSE库,需采用跨语言FUSE框架作为中介.跨语言FUSE框架利用跨编程语言的函数回调机制,使操作系统FUSE库的C语言函数可以跨语言的调用分布式文件系统提供的Java语言编程接口,从而为大数据分布式文件系统提供标准POSIX接口的访问能力.但在数据密集型应用中,现有跨语言FUSE框架的执行效率低,导致数据密集型作业(深度学习、大数据分析等)中数据I/O耗时占据了显著的性能开销,成为新的潜在性能瓶颈.针对此问题,本文首先评估分析了重要且广为使用的跨语言FUSE框架JNR-FUSE的性能,发现并定位其在高并发和小文件场景下存在的性能瓶颈;接着从多方面剖析性能瓶颈根因,进而总结出高效跨语言FUSE框架的性能优化方向,并面向Java语言设计实现了跨语言FUSE框架JNI-FUSE.JNI-FUSE利用延迟分离和元信息缓存等优化技术降低跨语言函数回调开销,从而提升跨语言FUSE框架的性能.实验结果表明,对比当前性能最好的Java FUSE框架JNR-FUSE,本文提出的JNI-FUSE带来了1.15~6.04倍的FUSE框架性能提升和1.90~2.71倍的文件系统端到端性能提升,并为上层深度学习训练任务带来了1.06~1.73倍的训练加速.本文设计提出的JNI-FUSE(Java Native Interface-Filesystem in User SpacE)因性能优势,已被知名开源分布式文件系统Alluxio官方接受集成.

面向应用定义优先级调度的用户态协议栈研究

针对数据中心负载中混杂请求对延迟敏感型请求响应尾延迟产生干扰,而现有研究无法在不同负载场景下为延迟敏感型请求提供灵活优先调度的问题,本文提出了应用定义优先级调度的用户态协议栈。该设计利用用户态协议栈在数据中心请求处理所处的关键位置,支持上层应用根据负载特征灵活定制优先级识别与调度策略,并由协议栈为优先级识别提供数据包、传输控制协议(TCP)流等丰富的状态信息,实现了不需要改动网络协议栈,就可以对不同负载场景实现灵活的应用定义优先级识别与调度,从而避免延迟敏感型请求受到其他混杂负载请求带来的排队延迟与阻塞延迟干扰。实验结果表明,在不同的负载场景下,通过灵活准确的应用定义优先级调度,可以将延迟敏感型请求的响应尾延迟降低98.5%,有效保障了用户体验。

USPS:面向算力资源高效协同的用户态跨协议代理系统

随着算力网络的快速发展,通用算力、人工智能算力、超算等算力资源分布广泛。算力资源协同服务是算力网络研究的关键问题。在算力资源协同过程中,一方面,算力网络面临海量终端算力服务的高并发请求和低时延响应需求;另一方面,其难以充分发挥数据中心算力资源的高吞吐和低时延优势,进而难以为用户提供高效的算力服务。针对上述挑战,提出一种基于用户态协议栈和远程直接内存访问(Remote Direct Memory Access,RDMA)的用户态代理系统(User-Space Proxy System,USPS),通过用户态协议栈响应客户高并发算力请求,在动态批处理策略协调下实现基于RDMA的数据中心算力高吞吐、低时延服务。在通信方面,USPS实现了一个高效的远程过程调用(Remote Procedure Call,RPC)通信机制,能够充分利用RDMA网卡带宽提供高速消息通信;在请求处理方面,提出了一个动态批处理调度方法,能够在满足用户时延要求的前提下最大化批处理效率。实验结果表明,USPS的服务响应时延仅是传统内核态Nginx代理系统的7.8%~23.1%,是其他用户态代理系统的17.3%~24.7%;吞吐量比传统内核态的Nginx代理系统提升了3.4~8.9倍,比其他用户态代理系统提升了3.2~4.2倍。

用户态反调试检测模型

当前反调试技术在软件保护领域备受重视,与此同时,越来越多的用户态程序利用该技术来对抗逆向分析。利用特征值匹配和Pin插桩技术,提出一种用户态反调试检测模型。模型中通过插桩计算call指令和ret指令的一致性,初步筛选出包含反调试机制的程序,设计基于IDC和基于机器码的反调试检测算法对程序的汇编代码进行检测。实验结果表明,反调试技术检测模型可以准确确定反调试类型并定位反调试技术的位置,在大量使用反调试技术的程序中具有较高的准确率。

基于DPDK的用户态协议栈的设计与实现

与传统的基于内核的报文处理方式相比,数据平面开发套件(Data Plane Development Kit,DPDK)技术大幅度提高了数据处理的效率。目前,DPDK只提供了简单的以太网收发包的工作,无法直接处理OSI模型4层以上协议的数据。根据DPDK技术特点设计和实现了一种基于DPDK的用户态协议栈。实验结果表明,与传统的内核协议栈相比,该协议栈转发TCP和UDP数据包效率提升了20%左右。

Myrinet网络中的用户态通信协议设计与实现

设计高效的用户态通信软件 ,充分利用Myrinet硬件性能是当前的研究热点。GM是适用于Myrinet网络的高效用户态通信协议 ,在提供通信服务的同时 ,尽可能减少了协议软件引入的通信开销 ,提高了应用层可用的通信性能。对其设计思想和技术特点的深入分析有助于设计和实现新型通信协议。文中介绍了用户态通信的研究内容 。

一种Linux用户态实时多任务调度框架

Linux内核调度器的调度开销巨大,无法满足实时应用需求.为此设计并实现了基于多核Linux的用户态实时多任务调度框架ULight.ULight共包括三个核心模块:多任务调度模块、定时器模块以及用户态中断处理模块.多任务调度模块在Linux用户态提供基于优先级可抢占的实时多任务调度方案,旨在减少任务调度和切换开销;定时器模块则为多任务调度提供高精度的定时服务,以支持分时调度和任务休眠,并提供更多的抢占点;用户态中断处理模块通过在内核态和用户态之间构造中断处理的快速通道,使用户态任务可以直接处理硬件中断,保证中断处理的实时性和高效性.实验表明,ULight的任务切换效率明显优于Linux的线程切换效率;定时系统可以提供精度为20μs的稳定的定时服务;用户态中断处理模块能够在用户态完成对硬件中断的快速响应.

基于Linux的用户态文件系统的设计

介绍了一种基于Linux的用户态文件系统的设计,它采用了内核模块与用户态服务程序相结合的设计思想。用户态文件系统可以增加文件系统实现的灵活性,易于二次开发。详细描述了用户态文件系统的设计,并给出应用实例和适用范围。

Win2K下设备驱动及用户态设备访问的实现

不同的 WINDOWS平台采用不同的设备驱动模式 ,本文对 WIN2 K中使用的 WDM驱动模式进行了详细阐述 ,并通过实例论述了

基于Fuse的用户态文件系统的设计

现有的文件系统大都运行在内核态下,与内核紧密结合,导致难以对其进行功能上的扩展。针对内核文件系统的这个问题,本文提出了一个基于Fuse框架实现的用户级文件系统dbfuse。一方面将文件系统从内核态中解放出来;另一方面使用数据库技术有效地保证文件系统数据的完整性和安全性,给数据共享带来的方便。

基于RDMA的RapidIO用户态通信接口实现

作为一款高性能的嵌入式互联协议,RapidIO支持RDMA操作以获得高性能。目前,针对RapidIO通信接口只有以太网模拟器,这种实现机制限制了RapidIO通信性能的发挥。参考国内外基于RDMA的通信协议实现方法,并结合RapidIO互联协议的特点,提出了一套基于RDMA技术的RapidIO用户态通信接口实现方法。在此基础上,验证了通信接口的性能并对实现方案进行了多种优化。经比较,实现的RapidIO通信接口数据吞吐量是目前所有已知的RapidIO通信接口中最高的。

支持安全策略检查的用户态驱动框架研究

驱动程序对系统安全性和稳定性起着至关重要的作用,但由于其复杂和多样性,导致难以成为操作系统的可信模块。近期研究表明,在用户空间内执行驱动程序,可提高系统稳定性并降低开发难度,但对系统产生了潜在的安全威胁。为此,从限制驱动程序可能的行为出发,对面向安全的轻量级通用用户态驱动框架进行了研究,通过内核态驱动命令解释器与安全策略检查相结合的手段,确保驱动模块的安全性与隔离性。通过实验测量框架对系统产生一定负载,但不会对系统的正常运行产生明显影响。

数据传输模式对用户态通信的性能影响分析

用户态通信允许应用程序从应用层直接访问网络接口 ,主机与网络接口之间的数据传输模式对协议性能有重要影响 .有效的数据传输模式可以减少数据拷贝次数 ,降低数据传输开销 ,尽可能将网络硬件的高性能反映到用户层 .本文详细分析了通信系统开销来源 ,讨论了 Myrinet网络环境下不同数据传输模式的实现与特点 ,测试并分析了不同数据传输模式对用户态通信性能的影响 ,并给出了相应的适用环境 .

基于用户态文件系统的共享访问与性能提升研究

研究并实现面向NVMe SSD的用户态高性能共享式文件系统(UHSFS),并提出简单弹性的数据布局技术、多粒度IO队列弹性分离技术以及多用户共享内存架构,这些关键技术能够显著地提升元数据的操作性能和IO处理能力,并且实现用户态文件系统的共享访问。实验结果表明,与UNFS,NVFUSE,BLOBFS和BLUEFS等用户态文件系统相比,UHSFS的元数据操作性能和Filebench综合负载性能最优;IO队列分离技术能够大幅度地提升吞吐量;与F2FS,XFS,Ext4等内核态文件系统相比,UHSFS同样表现出性能优势。

一种多核ARM平台下用户态定时器的实现

在ARM平台下,系统提供的posix-timer误差较大,难以满足实时要求,而且传统的Linux用户态定时器通过系统调用及信号传递的方式向进程提供定时服务,当定时器使用规模较大时,进程会在内核态用户态间频繁切换。针对上述问题,提出并实现一种基于多核ARM平台的新型用户态定时器方案。该方案采用一种新的时间轮数据结构,通过内核态与用户态共享内存等方式向进程提供服务,避免不必要的信号传递,有效地缓解频繁状态切换问题。实验结果表明,该方案保持微秒级的定时精度,定时误差相比posix-timer明显降低。

纯用户态的网络文件系统——RUFS

针对在使用高速存储硬件时常规网络文件系统会被软件开销影响整体性能的问题,提出了利用存储性能开发套件(SPDK)搭建文件系统的方法,并在此基础上实现了一个网络文件系统RUFS的原型。该系统通过键值存储模拟文件系统的目录树结构以及对文件系统的元数据进行管理,通过SPDK存储文件的内容。另外,利用远程直接内存访问(RDMA)技术对外提供文件系统服务。RUFS相较于NFS+ext4,在4 KB随机访问上,读写吞吐性能分别提高了202.2%和738.9%,读写平均延迟分别降低了74.4%和97.2%;在4 MB顺序访问上,读写吞吐性能分别提高了153.1%和44.0%。在大部分元数据操作上,RUFS相比NFS+ext4也有显著优势,特别是文件夹创建操作,RUFS的吞吐性能提高了约5693.8%。该系统能够充分发挥高速网络和高速存储设备的性能优势,为用户提供延时更低、吞吐性能更好的文件系统服务。

基于inotify的内核态与用户态跨平台数据交互

为实现本地内核与远程进程之间的数据交互,在分析inotify机制的基础上,设计出一种用户态与内核态之间跨平台的数据交互模型。借助网络套接字技术以及Qt图形库,实现远程进程间的跨平台通信,而在服务器主机上基于inotify机制实现内核模块,使本地进程与本地内核实时通信,从而使得远程进程与本地内核之间的跨平台数据交互得以实现。设计的模型能为内核空间和用户空间提供一种远程数据交互方法,具有良好的移植性。

一种用户态活动感知计算模型的设计与实现

活动感知计算通过提取分析出用户某种状态的复合信息减少用户交互,更好的无缝融合用户当前的上下文信息和周围的情景,从而逐渐成为上下文感知计算中一个新的研究热点。本文提出了一种能较为准确表达用户当前整体状态的复合信息概念——用户态,和一套感知、分析、推理其的系统模型。根据模型过滤后的个性化推荐服务内容更加准确,服务质量和使用效率得到进一步提高。

Linux下用户态和内核态内存共享的实现

共享内存是进程间通信中最简单的方式之一。共享内存允许两个或更多进程访问同一块内存,就如同malloc()函数向不同进程返回了指向同一个物理内存区域的指针。因为所有进程共享同一块内存,共享内存在各种进程间通信方式中具有最高的效率。主要介绍Linux下基于Netlink机制的用户态和内核态内存共享的实现。

NVMe优化的用户态文件系统

NVMe接口协议的引入使得固态硬盘(SSD)存储设备的性能得到显著提升。但是,传统的内核态IO路径阻碍了NVMe SSD设备的性能发挥。文中提出了一种面向NVMe SSD的用户态文件系统UMFS,通过用户态多进程共享内存的设计,实现了多个应用程序共享访问,减少对SSD的访问量;使用面向NVMe的无日志数据布局,多粒度IO队列分离和NUMA感知的访问技术,提升系统的性能和吞吐量。实验显示,相较于传统文件系统,在CDN场景下UMFS性能提升23%以上,在小文件场景和读取密集场景下UMFS性能提升45%以上。