基于大数据的分布式文件存储系统架构设计

针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。

一种P2P环境下分布式文件存储系统的缓存策略

在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热点文件和非热点文件,并且只针对热点文件来做缓存,根据缓存空间的使用效率和不同的文件类型来设置不同的阀值使得缓存策略灵活而有效,论文对该策略进行了理论上的分析,然后通过Trace-Driven模拟的方法验证了该策略的可行性。

一种WORM光盘文件存储系统的设计

本文讨论了ＷＯＲＭ光盘构成文件存储系统时由于写一次特性引起的各种处理方式。给出了一种存档后备式文件系统的设计。详细说明了其层次结构、文卷结构、文件结构，以及用户界面、层内部界面等设计。同时给出了速度及可靠性的设计考虑。

PVR机顶盒文件存储系统的设计与实现

简要介绍了具有PVR功能的机顶盒,具体描述了PVR存储系统硬件与软件的设计与实现,重点讨论了PVR的关键部分———文件存储系统的设计和实现。

分布式文件存储系统性能测试问题研究

分布式文件存储系统的性能测试不同于普通的文件系统性能测试。首先,需要根据系统支持的操作确定测试的benchmark,然后,需要根据系统的设计规模对多用户并发访问系统的情形进行模拟。在“燕星”分布式文件存储系统的性能测试中,对Andrewbenchmark进行改造,确定了测试的benchmark;基于RMIcallback机制,模拟了500个用户并发访问系统的情形。并将测试结果与NFS进行了对比,结果表明,“燕星”系统具有良好的实用性能。

CORBA命名服务文件存储系统的设计与实现

文章对CORBA及其标准对象服务之一“命名服务”的基本设计及构建情况进行了简要介绍,并着重讨论了作为命名服务功能扩展的“CORBA命名服务文件存储系统”的开发意义、设计思想和主要实现技术特征,从而提出一种学习、研究并应用CORBA的方法和思路。

通过FreeNAS构建免费网络文件存储系统

本文通过实例介绍轻量级开源的NAS系统FreeNAS的安装、调试,建立了一个简单的企业网络文件存储系统,实现基本的网络文件存储、共享功能。

一种适用FADEC的NAND Flash文件存储系统

NAND Flash具有容量大、存取数据快的优点。但是,在使用过程中NAND Flash会产生坏块,且坏块是随机分布的。因此,操作NAND Flash需要相当的技巧,不能往坏块里写入数据。同时,NAND Flash更容易发生位翻转,需要使用ECC算法确保信息的正确性。在航空发动机上NAND Flash主要用来记录发动机控制(FADEC)的历史数据。FADEC的历史数据记录要求大容量、实时性和正确性。提出的适用FADEC的NAND Flash的文件存储系统(FFS_N)可以有效地解决NAND Flash使用上的问题,同时满足航空发动机控制历史数据记录要求。

分布式文件存储系统在高速公路视频监控中的设计探讨

针对目前高速公路视频监控业务中随着音视频实时数据量不断增加，回放视频的清晰度需求不断提高，监控点位布设的不断扩张而导致集中式的视频存储在存储数据量、存储带宽、存储安全稳定性方面的问题给出了一种分布式文件存储系统的设计方法，力图有助于问题的改进，减轻集中存储服务器的压力，提高存储与检索、回放的效率。

基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

基于策略的对象存储文件系统管理模型研究

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好。

MP4文件存储系统的选择

北京读者葛晓辉问：我有一台16GB的艾诺V9000HDA的MP4，号称支持超高清视频的播放，但是我往机器内拷贝一部1080i的视频时直接报错，但是用USB线连接U盘和移动硬盘又可以直接播放，这是为什么呢？

面向海量存储的文件系统评测基准

为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack采用集群评测的评测架构,可以对文件I/O性能及元数据操作性能进行准确评测。对LZpack的系统结构和关键问题进行描述,对使用LZpack在不同文件系统上的测试结果进行分析,提出LZpack下一步的改进思路。

一种基于Linux的flash文件系统存储策略

随着嵌入式系统的广泛应用,嵌入式系统中的数据存储和数据管理显得日益重要。本文主要介绍flash存储器的存储特点,Linux文件系统的两类存储策略：块式存储和线性存储,并在此基础上提出了一种改进的简单日志文件系统的存储策略。

基于分布式构建HLS协议流媒体文件三层文件存储管理系统

随着经济的发展,科技不断进步。构建基于HLS协议流媒体文件三层文件存储管理系统,是互联网视频公司生产、存储、管理和服务流媒体文件的核心环节,基本功能包括调度、存储、监控和迁移等。该系统通过分布式、Cache和全局索引技术,有效针对传统HLS碎片文件管理低效、文件处理I/O开销大、流媒体文件数据迁移困难等一系列问题,提出了解决方案。

可信代理的云环境下的安全存储系统

本文通过分析当前云存储的安全现状和所面临的安全问题,研究安全云存储系统涉及的高效加密算法、密文检索技术、密文冗余删除技术、用户数据可持有性证明等云安全技术的创新研究,设计一种基于可信代理的安全存储系统方案,该系统可独立与底层文件存储系统之上,为云存储文件系统提供安全机制。

基于HDFS科技媒资管理系统研究

随着科技和信息化的飞速发展,科技行业积累大量的视频、音频和图片等资料,这些科技媒资资源原始素材对科技行业具有很高的价值,如何保证这些资源安全,使这些资源潜力得到最大限度释放,为科技工作和科技宣传等提供更为高效的资源服务,文章基于底层采用HDFS分布式文件存储系统,以科技媒资管理库为应用基础,为科技服务上层应用提供了支撑。

提升存储系统可用性

为了提升私有云环境下文件存储系统的可用性，降低拥有成本，通过对比分析提出了基于开源软件MooseFS（MFS）设计的分布式文件存储系统的解决方案。在独立二层网络内，部署六台普通配置的X86机架式服务器，把服务器本地小容量硬盘聚合成一个存储容量为1．7TB的网络硬盘。通过实例验证，该方案能提供优于传统集中式存储的读写性能。

基于Hadoop的自动化设备监管系统设计

自动化设备在工业应用中已经得到了大规模的普及,随之而来的设备安全问题也越来越多,为了能够及时发现和排查设备故障,本文设计了一个基于Hadoop的自动化设备监管系统,采用分布式文件存储系统(hadoop distributed file system,HDFS)构建了大规模设备监测数据存储平台,通过分布式计算系统实现了规模数据的并行处理,有效提高了自动化设备监测系统的数据处理效率和系统可靠性。