嵌入式Linux系统中Overlay文件系统的实现

文章通过对VFS机制的深入分析,在VFS和底层具体文件系统之间叠加并实现了一个新的overlay文件系统层,从而既保护了原有的系统文件,又实现了对系统软件的升级,满足了新的应用需求。

文件系统可靠管理方法研究

针对系统突发掉电情况下文件系统的可靠性问题,研究一种文件系统可靠管理方法,采用元数据事务管理技术,在数据更新时采用写时拷贝技术实现异地更新,采用PING PONG日志管理技术,对文件系统的空间和节点分配情况采用两级日志进行维护,系统维护两份事务点日志记录;通过逻辑卷管理关键数据的冗余存储,防止掉电时超级块数据被破坏引起系统无法正常启动。测试表明方法能够解决突发掉电情况下文件系统状态的一致性问题,实现文件系统的可靠管理。

基于分区操作系统的文件系统设计

研究涉及一种基于分区操作系统的文件系统设计方法,解决分区操作系统下文件的安全访问问题。分区操作系统资源、空间彼此隔离,文件系统用于管理分区数据,不能违背数据资源的隔离需求。为此,通过将文件系统部署在分区操作系统的分区;分区内和分区外采用两层分区安全访问控制;采用快照管理实现文件系统自身对并行文件访问需求,实现文件系统设计。通过测试表明,该方法能够在满足分区操作系统设计约束下,实现文件的安全访问。

基于联盟区块链和星际文件系统的安全租房方案

近年来租房市场蓬勃发展,各种租房平台应运而生。但现有的租房平台中心化问题严重,一旦中心服务器遭到破坏,容易引起单点失败问题,同时泄露用户的隐私。联盟区块链以分布式方式存储数据和执行合约,不依赖单个节点的可用性,即使某个中心节点失效,其他节点仍然可以继续运行和验证交易,确保系统的持续稳定性和安全性。提出一个基于联盟区块链和星际文件系统(IPFS)的安全租房方案。在方案中,房东通过预设访问策略对房源数据进行属性基加密,以实现数据的机密性和安全的细粒度访问控制。采用多关键词排序搜索,只返回最符合用户需求的前k个文件,从而提高搜索精度,同时节省网络带宽资源。最后,在区块链节点上部署搜索智能合约和验证智能合约用于陷门与索引的匹配以及搜索结果正确性的检验,同时为用户引入信誉智能合约和支付智能合约,前者用于量化信誉度,后者用于实现自动化执行租赁合约。安全性证明和性能分析表明,该方案达到了选择明文安全性及较高的搜索效率。

分布式文件系统数据读取方法研究与探讨

分布式文件系统中,客户端频繁访问数据节点会导致网络开销增大。为减少客户端对地址节点的访问次数,提升数据读取效率,本文提出一种基于D-S证据理论的数据读取方法。利用D-S证据理论进行不确定信息预测,来获得下一次需访问的数据节点地址。实验结果为:初期预测准确率较低,但随着读取次数增加,预测准确率显著提升,读取时间大幅减少,最终接近本地数据读取速度。

内存高效的持久性分布式文件系统客户端缓存DFS-Cache

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

基于Isabelle/HOL的文件系统形式化设计与验证

对于构建可信操作系统而言,文件系统设计和实现的正确性至关重要,即使是已经得到广泛运用的文件系统仍然有漏洞被检测出来。采用形式化方法对文件系统的设计和实现的正确性进行严格的验证是公认的可行方法。当前文件系统的形式化验证工作大多基于宏内核操作系统,而忽视了微内核操作系统架构下文件系统的验证。为此,提出一种微内核架构下采用内联数据机制的文件系统的形式化设计和验证方法。以高阶逻辑(HOL)和自动机模型为基础,将文件系统中的工作对象和系统资源抽象为系统对象来构建文件系统的工作状态,形式化地描述文件系统的相关系统调用的功能语义,将系统调用提供服务的过程抽象为系统工作状态发生跃迁的过程,并给出文件系统功能正确性和安全属性的断言。以实现的安全可信微内核操作系统(VSOS)中的安全可信文件系统(VSFS)为例,在设计阶段构建VSFS的有限状态机模型,并在Isabelle/HOL中抽象描述VSFS的可移植操作系统接口(POSIX)系统调用,分析和归纳出VSFS文件系统正确性断言,使用定理证明的方式来验证VSFS的正确性。实验结果表明,该方法在Isabella/HOL中完成VSFS有限状态机模型细粒度的形式化验证,满足预期的安全需求规范。

一种基于HDFS的分布式文件系统MPIFS

传统的MPI(Message Passing Interface)计算特点是数据向计算迁移,对于数据量庞大的计算任务具有先天的不足。文中提出一种支持MPI的分布式文件系统MPIFS的架构及实现。该文件系统基于HDFS(Hadoop Distributed File System),使得MPI在MPIFS上能同时支持计算密集型和数据密集型计算,设置两个类型的批处理词频统计实验,所需数据都分布式存储在MPIFS分布式文件系统中,通过调用系统提供的统一数据接口实现数据访问。1个计算节点在本地计算大小为m的文件,n个计算节点分布式并行计算大小为n×m的文件,两者计算时间相同,MPIFS中文件总量不变,计算节点数量减少,计算时间t变长,可得出MPIFS文件系统架构可行,能够支持MPI实现计算向数据迁移的并行计算。

Linux虚拟文件系统层的路径检索加速

为解决Linux内核传统路径检索日益凸显的开销问题,提出Staged Lookup以加速路径检索,通过动态缓存热目录来减少文件访问的时延。Staged Lookup的核心在于缓存频繁使用的目录项,从而避免从根节点重复遍历路径。不同于从根结点开始的检索操作,Staged Lookup扩展了搜索策略,允许从最近缓存的目录项向后或向前进行路径检索。在Linux内核版本3.14和5.4上部署Staged Lookup的原型,并开展实际系统测试。实验数据显示,相比于传统的路径检索方式,Staged Lookup能实现高达46.9%的性能提升。

基于ExFAT的高速记录文件系统的设计与实现

文件系统作为数据记录系统的关键组件,对于高速记录设备的性能至关重要。在深入分析高速记录系统对文件需求的基础上,对ExFAT文件系统进行了创新型扩展,开发新型文件系统JFAT。JFAT集成了日志功能,提高了数据的可靠性,并具备掉电恢复能力,从而增强了记录系统的稳定性。此外,JFAT显示出良好的兼容性,支持Linux、VxWorks等多种主流操作系统,使其可以作为系统安装盘使用。通过结合快速读写通道、TRIM指令、文件预分配等软硬件优化方法,JFAT充分利用了硬件性能。在实际应用中,使用JFAT的数据记录模块实现了单模块数据记录速度达到7.6 GB/s,已被应用于某型数据记录设备。JFAT不仅提升了文件系统的效率和可靠性,也为高速数据记录设备的发展提供了新的技术支持。

重叠式文件系统在嵌入式Linux中的实现

嵌入式Linux系统的广泛应用对文件系统提出了新的要求,如在为嵌入式产品升级系统软件时,需要对boot只读分区进行“写”操作。通过对VFS机制的深入分析,在VFS和底层具体文件系统之间叠加并实现了一个重叠(overlay)式文件系统,从而既保护了原有的系统文件,又实现了对系统软件的升级,满足了新的应用需求。

基于自主平台文件系统高可用技术研究

为了解决传统高可用集群依赖共享存储的问题,通过在文件系统驱动中添加I/O过滤模型的方式,实现了双节点情况下主备机器上文件系统数据的双写技术,当主机上应用程序写入文件系统数据时,I/O数据能够在文件系统层被实时同步到备机上,当主机宕机后,备机上的应用程序重新挂载备机上的文件系统,原有文件系统数据不丢失。

基于定制软件源的嵌入式操作系统设计文件系统构建方法

该文提出了一种基于定制软件源的嵌入式操作系统文件系统构建方法。该方法通过提供RPM安装包的软件源文件和待安装的RPM包列表,自动创建和下载RPM包至新的根文件系统(rootfs),有效梳理软件之间的依赖关系,搭建嵌入式操作系统文件系统框架并进行系统参数配置,最终生成嵌入式操作系统文件系统镜像。实测结果表明,基于该方法构建的嵌入式操作系统文件系统能在RK3588开发板上稳定运行,并且由于文件系统与内核的解耦特性,具备高度的可移植性。

面向车载场景的纠删码文件系统设计与实现

车载传感器与车联网的普及可将低成本且可靠的海量数据存储需求引入车载场景。针对该需求,文章综合考虑数据编码方式、存储结构以及错误恢复机制等车载环境对文件系统的特殊需求,设计并实现了基于纠删码的文件系统(ECFS),并基于开源Fuse文件系统实现了ECFS原型。应用结果表明,在ECFS中,存储空间不仅存放文件的原始数据,还可存放由原始数据生成的冗余数据,且当页面故障发生时,该系统可利用冗余数据修复原始数据,从而避免数据丢失。通过实际测试发现,ECFS具有较高的读写性能,并能够快速修复页面级错误数据。

大型风力发电机组中文件系统的设计与应用

在工业自动化控制系统中,运行参数的读取与运行数据的记录是其必备的功能,因此需要一套文件系统来对数据文件的创建、读取、写入等功能进行管理。在风力发电主控系统中,对文件系统提出了更为具体的要求。针对大型风力发电机组运行过程中对文件的应用需求,设计了一套功能丰富、使用方便、可移植性好的文件系统。该系统目前已应用到大型风力发电机组中,并在其他工控领域的控制系统中具有一定的普适性。

FlatLFS:一种面向海量小文件处理优化的轻量级文件系统

海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。以GFS和HDFS为代表的分布式文件系统大多面向海量大文件的高效存储和访问设计,缺乏小文件处理的针对性优化,导致访问海量小文件时效率低下。针对分布式文件系统中海量小文件访问时的数据服务器优化问题,提出了一种采用扁平式数据存储方法的轻量级文件系统FlatLFS,取代传统文件系统对上层分布式文件系统提供数据存储和访问支持,提高了数据服务器处理小数据块时的I/O性能,从而提升了整个分布式文件系统的性能。实验表明,当数据块大小设定为1M时,FlatLFS的随机读性能分别比ext3、ext4、reiserfs高135%、112%和122%。

基于文件系统过滤驱动的加密系统设计与实现

针对传统应用层加密系统每次使用都需要输入口令,使用复杂且安全性不高,而设备驱动层加密系统紧耦合于操作系统及其组件,实现繁杂等问题,在Windows NT内核框架下利用文件系统过滤驱动实现数据加解密的安全保护系统。结果证明可以对存取中的数据进行动态透明的加解密,使用方便安全,支持多种文件系统。从安全性和性能上对比了该加密系统与Windows EFS加密文件系统。

蓝鲸分布式文件系统的分布式分层资源管理模型

为了高效地管理海量分布式存储资源,蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式,实现了分布式分层资源管理模型.该模型可以管理多个存储服务器,还能支持多个元数据服务器组成的集群进行分布式元数据处理,支持各种元数据和数据的负载平衡策略.同时,该模型中的带外数据传输功能克服了系统的性能瓶颈,提高了系统支持并发访问的能力.理论分析和实际测试结果都表明此模型能够满足多种不同的需求,提供很好的性能和良好的扩展性.

蓝鲸文件系统中元数据与数据隔离技术

针对文件系统中元数据访问对应用数据访问的干扰问题,基于资源分配分离及访问路由分发技术,在蓝鲸文件系统中实现元数据和数据存储及I/O时的隔离。测试结果表明,将元数据从数据中隔离并将其独立配置到高速存储后,应用I/O带宽提高了2.6倍～2.8倍,操作吞吐率提高了2倍～5倍。

电晕探测系统中JPEG截图文件系统的设计

针对检测及定位紫外电晕的问题,介绍了利用TMS320DM642高速DSP芯片设计的一种紫外电晕探测系统.该系统采用可见光和紫外光两台相机在同一视场采集图像,在LCD上实时显示两路信号经处理后的叠加图像,便于在观测电晕的同时确定电晕产生的部位.用户可将感兴趣的画面截获后压缩成JPEG图像存储到系统内部的FLASH中,并可以在LCD上浏览这些画面或通过USB接口将它们下载到PC机中.设计了一种用于存放截图的JPEG图像文件系统,给出了文件系统的原理框架,讨论了利用RF5参考框架实现JPEG编解码算法的方法,详细设计和实现了文件系统的存储空间组织、目录区结构和初始化、读写等基本操作.经测试,对分辨率为720×576的图像进行JPEG编、解码的平均时间分别为10.5 ms和9.6 ms;耗时较多的截图保存操作所需时间约为4～6 s;文件系统可以存放约70个图像.