嵌入式Linux系统中Overlay文件系统的实现

文章通过对VFS机制的深入分析,在VFS和底层具体文件系统之间叠加并实现了一个新的overlay文件系统层,从而既保护了原有的系统文件,又实现了对系统软件的升级,满足了新的应用需求。

文件系统可靠管理方法研究

针对系统突发掉电情况下文件系统的可靠性问题,研究一种文件系统可靠管理方法,采用元数据事务管理技术,在数据更新时采用写时拷贝技术实现异地更新,采用PING PONG日志管理技术,对文件系统的空间和节点分配情况采用两级日志进行维护,系统维护两份事务点日志记录;通过逻辑卷管理关键数据的冗余存储,防止掉电时超级块数据被破坏引起系统无法正常启动。测试表明方法能够解决突发掉电情况下文件系统状态的一致性问题,实现文件系统的可靠管理。

基于Isabelle/HOL的文件系统形式化设计与验证

对于构建可信操作系统而言,文件系统设计和实现的正确性至关重要,即使是已经得到广泛运用的文件系统仍然有漏洞被检测出来。采用形式化方法对文件系统的设计和实现的正确性进行严格的验证是公认的可行方法。当前文件系统的形式化验证工作大多基于宏内核操作系统,而忽视了微内核操作系统架构下文件系统的验证。为此,提出一种微内核架构下采用内联数据机制的文件系统的形式化设计和验证方法。以高阶逻辑(HOL)和自动机模型为基础,将文件系统中的工作对象和系统资源抽象为系统对象来构建文件系统的工作状态,形式化地描述文件系统的相关系统调用的功能语义,将系统调用提供服务的过程抽象为系统工作状态发生跃迁的过程,并给出文件系统功能正确性和安全属性的断言。以实现的安全可信微内核操作系统(VSOS)中的安全可信文件系统(VSFS)为例,在设计阶段构建VSFS的有限状态机模型,并在Isabelle/HOL中抽象描述VSFS的可移植操作系统接口(POSIX)系统调用,分析和归纳出VSFS文件系统正确性断言,使用定理证明的方式来验证VSFS的正确性。实验结果表明,该方法在Isabella/HOL中完成VSFS有限状态机模型细粒度的形式化验证,满足预期的安全需求规范。

内存高效的持久性分布式文件系统客户端缓存DFS-Cache

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

Linux虚拟文件系统层的路径检索加速

为解决Linux内核传统路径检索日益凸显的开销问题,提出Staged Lookup以加速路径检索,通过动态缓存热目录来减少文件访问的时延。Staged Lookup的核心在于缓存频繁使用的目录项,从而避免从根节点重复遍历路径。不同于从根结点开始的检索操作,Staged Lookup扩展了搜索策略,允许从最近缓存的目录项向后或向前进行路径检索。在Linux内核版本3.14和5.4上部署Staged Lookup的原型,并开展实际系统测试。实验数据显示,相比于传统的路径检索方式,Staged Lookup能实现高达46.9%的性能提升。

一种基于HDFS的分布式文件系统MPIFS

传统的MPI(Message Passing Interface)计算特点是数据向计算迁移,对于数据量庞大的计算任务具有先天的不足。文中提出一种支持MPI的分布式文件系统MPIFS的架构及实现。该文件系统基于HDFS(Hadoop Distributed File System),使得MPI在MPIFS上能同时支持计算密集型和数据密集型计算,设置两个类型的批处理词频统计实验,所需数据都分布式存储在MPIFS分布式文件系统中,通过调用系统提供的统一数据接口实现数据访问。1个计算节点在本地计算大小为m的文件,n个计算节点分布式并行计算大小为n×m的文件,两者计算时间相同,MPIFS中文件总量不变,计算节点数量减少,计算时间t变长,可得出MPIFS文件系统架构可行,能够支持MPI实现计算向数据迁移的并行计算。

大型风力发电机组中文件系统的设计与应用

在工业自动化控制系统中,运行参数的读取与运行数据的记录是其必备的功能,因此需要一套文件系统来对数据文件的创建、读取、写入等功能进行管理。在风力发电主控系统中,对文件系统提出了更为具体的要求。针对大型风力发电机组运行过程中对文件的应用需求,设计了一套功能丰富、使用方便、可移植性好的文件系统。该系统目前已应用到大型风力发电机组中,并在其他工控领域的控制系统中具有一定的普适性。

面向DNN的高并发NVM文件系统

DNN训练中需要反复频繁读写海量参数,NVM具有读写速度快的优势,是提高DNN训练效率的有效手段.但现有的NVM文件系统为了应对上层多种复杂的应用普遍使用基于文件的锁机制,难以利用多核并发读写提高DNN训练中对海量参数的I/O效率.本文针对DNN训练时的特性和NVM中存在的I/O软件栈的挑战,设计了基于并发线程的细粒度锁和基于两层日志的文件并发I/O机制,并实现了面向DNN高并发NVM文件系统的原型DNNFS,使用Filebench和Fio在多种不同类型负载下进行了测试,实验结果表明DNNFS相比NOVA最大能提高35.8%的IOPS值和21.6%的I/O带宽.

跨语言用户态文件系统框架读写性能优化

以深度学习为代表的数据分析应用越来越多依赖分布式文件系统存储管理大规模数据集.为了增强数据访问的兼容性,现有分布式文件存储系统通常需提供标准POSIX接口,以支持深度学习等应用的无缝对接.然而,以内核模块形态开发提供POSIX接口的文件系统非常复杂耗时.近年来,用户态文件系统(Filesystem in Userspace,FUSE)框架大幅简化了文件系统的开发工作,已被Alluxio和Ceph等诸多知名分布式文件系统使用.目前常用的用户态FUSE库libfuse仅提供C语言编程接口,但现有大数据分布式文件系统基本都是基于Java语言开发的(例如HDFS和Alluxio等),为了使基于Java语言开发的分布式文件系统可以对接C语言开发的FUSE库,需采用跨语言FUSE框架作为中介.跨语言FUSE框架利用跨编程语言的函数回调机制,使操作系统FUSE库的C语言函数可以跨语言的调用分布式文件系统提供的Java语言编程接口,从而为大数据分布式文件系统提供标准POSIX接口的访问能力.但在数据密集型应用中,现有跨语言FUSE框架的执行效率低,导致数据密集型作业(深度学习、大数据分析等)中数据I/O耗时占据了显著的性能开销,成为新的潜在性能瓶颈.针对此问题,本文首先评估分析了重要且广为使用的跨语言FUSE框架JNR-FUSE的性能,发现并定位其在高并发和小文件场景下存在的性能瓶颈;接着从多方面剖析性能瓶颈根因,进而总结出高效跨语言FUSE框架的性能优化方向,并面向Java语言设计实现了跨语言FUSE框架JNI-FUSE.JNI-FUSE利用延迟分离和元信息缓存等优化技术降低跨语言函数回调开销,从而提升跨语言FUSE框架的性能.实验结果表明,对比当前性能最好的Java FUSE框架JNR-FUSE,本文提出的JNI-FUSE带来了1.15~6.04倍的FUSE框架性能提升和1.90~2.71倍的文件系统端到端性能提升,并为上层深度学习训练任务带来了1.06~1.73倍的训练加速.本文设计提出的JNI-FUSE(Java Native Interface-Filesystem in User SpacE)因性能优势,已被知名开源分布式文件系统Alluxio官方接受集成.

分布式嵌入式文件系统的设计

针对当前航空电子分布式嵌入式计算机目前采用NFSV3协议网络文件系统,存在单点故障、服务器性能瓶颈,以及嵌入式环境各种资源受限等约束等问题,提出了基于集群架构的分布式嵌入式文件系统方案。总体架构定义了客户端-元数据服务器-数据服务器分布式文件管理集群架构,透明访问设计采用了精简三级统一路径名和文件服务接口子集;分布式通信设计采用了基于DDS的RPC服务框架,分块及布局管理设计采用表驱动的动态分配方式实现了文件的分块和多副本管理,元数据服务器容错设计采用HA高可用主从数据库方式实现主从元数据服务器状态的实时同步。最后通过搭建分布式嵌入式计算机测试环境,验证了原型系统的功能和性能。

文件系统通用技术框架设计

传统的文件系统产品多样,对操作系统服务依赖性强,跨平台应用能力差,针对此问题提出一种文件系统通用技术框架。该框架结构设计文件管理接口层用于提供通用标准接口的访问及多种类型文件系统的统一管理;设计平台抽象层用于屏蔽底层存储设备及操作系统的差异,实现异构平台支持。测试验证表明该框架设计能够实现异构平台下通用文件系统设计,能够实现操作系统、存储设备、不同文件系统的抽象,以较小的改动实现多平台支持,并逐渐实现代码复用减少研发成本。

基于区块链与星际文件系统的电子证据存证研究

电子证据作为八大类证据之一,在司法活动中占据越来越重要的地位,而电子证据的易复制、易损坏和易篡改等特点,导致其公信力相对不高。在研究区块链和星际文件系统的基础上,提出一种基于区块链与星际文件系统的电子证据存证模型,加密技术实现对电子证据的加密,星际文件系统实现电子证据的分布式存储,区块链存储电子证据的哈希值、关键词和在星际文件系统中的分片位置索引,同时在区块链上实现电子证据的搜索与验证。该存证模型确保电子证据的机密性与完整性,并实现对电子证据的授权访问,因此对于提高电子证据的公信力有一定的现实意义。

基于Hyperledger Fabric与星际文件系统相结合的数据存储框架

利用Hyperledger Fabric和星际文件系统设计了一种新的数据存储框架,使用Hyperledger Fabric的Level DB保存规模较小的状态数据,利用星际文件系统保存账本中大规模的交易数据,并改造了原来的数据存储和数据查询模块。新框架有效扩展了Hyperledger Fabric的存储能力,缓解了记账节点的数据膨胀问题。实验结果表明,新框架在保证安全性的前提下,增加了部分网络延迟,但相对于区块链存储的可扩展性而言,这个代价是可以接受的。

基于区块链和星际文件系统的种植业农产品溯源模型

[目的/意义]充分体现区块链去中心化的特点,保护敏感数据隐私及缓解区块链存储压力。[方法]设计了基于区块链和星际文件系统的种植业农产品溯源模型,从数据隐私角度把溯源数据分为公开数据和敏感数据。公开数据直接上传至区块链;敏感数据上传至区块链中的私有数据集中。从数据类型上把公开数据分为结构化数据和非结构化数据。结构化数据直接上链;非结构化数据上传至分布式数据库星际文件系统中。此方法可在保证数据安全性前提下实现数据的高效存取,提升追溯效率。Hyperledger fabric联盟链作为底层平台对原型系统进行开发,利用测试工具Postman对应用层接口性能进行测试。[结果和讨论]在使用同步应用程序接口(Application Programming Interface,API)和异步API情况下,数据上链平均时延分别为2 138.9和37.6 ms;数据查询平均时延为12.3 ms。[结论]本研究提出的溯源模型可以保护企业敏感数据隐私,同时具有较高的数据上链和查询效率,可适用在种植业农产品实际溯源环境中,为种植业农产品区块链溯源模型设计提供了新的思路。

分布式文件系统在脉冲星数据处理中的应用

随着500 m口径球面射电望远镜(fi ve hundred meters aperture spherical telescope,FAST)巡天扫描的数据量不断增加,现有分布式计算集群所采用的文件存储系统逐渐成为限制计算速度的瓶颈之一。通过对计算集群架构的分析,将脉冲星数据处理与分布式文件系统技术相结合,针对目前计算集群中存在的问题,提出使用Alluxio+HDFS的分布式文件系统代替原先使用的Lustre文件系统,并根据脉冲星数据处理计算的特点和文件系统机制重新设计了任务分配算法和计算任务。实验表明使用该存储系统能够在相同的网络环境下提高网络带宽和节点内存利用率,减少网络传输时延及冗余磁盘读写开销,提高集群脉冲星数据处理的整体计算效率。

DNA存储文件系统研究进展

DNA存储因具有密度大、保存时间长及维护成本低等优点,为解决海量数据的存储和应用难题提供了“破局”可能。面对大规模数据应用场景,DNA存储必须要解决如何组织、访问和操作数据文件等问题—即文件系统设计问题。该文首先结合计算机文件系统模型,给出了未来DNA存储文件系统模型及具备的特点;然后,系统性综述了DNA存储文件系统研究进展;最后,对未来DNA存储文件系统研究进行了展望。

海量异构存储文件系统管理新技术研究与应用

大规模数据中心海量异构存储文件系统在地震处理解释生产项目应用中需要频繁的查询和挂载,传统的工作模式需超级用户权限管理文件系统,存在异构存储挂载命令不同、难以记忆,手动命令行输入速度慢且容易出现错误等诸多技术问题,影响生产工作效率和数据安全。通过系统级优化以及软件编写,对存储文件系统进行集中管理,使用Shell语言开发文件系统管理和查询软件,实现快速、准确、高效地对海量异构存储文件系统进行科学统一的管理,弥补了原有技术缺陷,极大提高了地震处理解释系统运行效率。

重叠式文件系统在嵌入式Linux中的实现

嵌入式Linux系统的广泛应用对文件系统提出了新的要求,如在为嵌入式产品升级系统软件时,需要对boot只读分区进行“写”操作。通过对VFS机制的深入分析,在VFS和底层具体文件系统之间叠加并实现了一个重叠(overlay)式文件系统,从而既保护了原有的系统文件,又实现了对系统软件的升级,满足了新的应用需求。

FT2000平台国产化便携式计算机文件系统处理能力的测试方法及优化

Iozone是一种文件系统的benchmark(基准测试)工具,可以测试操作系统中文件系统的读写性能。本文介绍了一种测试方法,在国产化便携式计算机中,FT2000/4为核心处理器,银河麒麟操作系统,进行Read,Write,Re-read,Re-write,Radom Read,Radom Write不同模式下文件系统处理能力的测试,并通优化测试方法,实现单台设备简化自动测试与多台设备同时测试。

FlatLFS:一种面向海量小文件处理优化的轻量级文件系统

海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。以GFS和HDFS为代表的分布式文件系统大多面向海量大文件的高效存储和访问设计,缺乏小文件处理的针对性优化,导致访问海量小文件时效率低下。针对分布式文件系统中海量小文件访问时的数据服务器优化问题,提出了一种采用扁平式数据存储方法的轻量级文件系统FlatLFS,取代传统文件系统对上层分布式文件系统提供数据存储和访问支持,提高了数据服务器处理小数据块时的I/O性能,从而提升了整个分布式文件系统的性能。实验表明,当数据块大小设定为1M时,FlatLFS的随机读性能分别比ext3、ext4、reiserfs高135%、112%和122%。