基于HDF文件的组织方式与影像提取

介绍HDF文件的产生背景和发展过程 ,比较HDF4和HDF5文件的结构变化并分析这种变化的特点和产生原因。阐述影像在HDF中的组织形式 。

基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3798 bps和3912 bps,读、写速率最高达到3298字节/s和3258字节/s。

基于HDF5文件格式的KYLIN-2软件组件库

KYLIN-2是中国核动力研究设计院自主研发的先进中子学栅格(组件)计算软件,针对KYLIN-2软件中海量数据存储和处理的问题,提出一种基于对分层数据存储格式v5(HDF5)的计算数据存储方案。首先,对HDF5文件格式进行了研究;其次,根据KYLIN-2软件需求,设计了基于HDF5文件格式的组件库KYMRES;最后,通过自开发的HDF5文件读写工具完成了KYMRES库的实现过程。通过性能测试表明,基于HDF5文件格式的组件库KYMRES较常规存储方案具有更高的I/O效率,其读、写效率平均提升到旧算法的2.3倍和4.5倍。KYMRES库在海量数据存储和处理方面具有显著优越性,为KYLIN-2软件提供了一种新型的数据存储和管理方案。

SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.

CORBA在远程访问HDF5文件系统中的应用

随着遥感科学研究的不断深入和应用成果的日益扩展,建立高效的遥感数据共享平台,已成为遥感科学发展中的一个重要环节.CORBA技术作为一种流行且功能强大的中间件被广泛地应用于许多领域中.对CORBA技术在远程访问HDF5文件系统中的应用进行了探讨.

基于HDF5文件格式的MERSI影像数据提取的研究与实现

介绍了HDF5文件格式的特点以及HDF软件库的实现原理,分析了风云三号MERSI遥感数据资料,应用VC++语言对风云三号的MERSI数据进行读取、图像合成。为风云三号的中低分辨率仪器数值产品进一步研究做了铺垫。

分布式文件系统HDFS处理小文件的优化方案

Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方案,即:扩展的Hadoop分布式文件系统(EHDFS)。这种方法把一组相关文件组合成一个大文件来减少文件的数量,然后建立一种索引机制,从这个组合文件中识别并访问客户所要的单个文件。实验结果表明EHDFS提高了存储和访问大量小文件的效率。

眼科医疗影像文件存取下的HDFS负载均衡

在HDFS系统中,集群负载分配不均衡成为影响分布式文件存取速度的瓶颈。针对医院信息系统的负载现状,提出多属性双阈值决策的动态负载均衡算法,对分布式集群中使用HDFS默认的单属性评价、单阈值的负载均衡策略存在的缺陷加以改进。通过负载性能测试,对比证明运用多属性双阈值的负载均衡算法相比较HDFS默认的负载均衡更有利于将大量的影像负载数据相对均衡地分配到服务器集群中的各个节点上,大幅度地缩短了增加数据规模时数据服务器节点的平均响应时间,有利于提高HDFS集群整体的工作效率。

HDFS分级存储系统元数据管理方法的研究

随着高能物理实验规模的不断扩大和实验复杂度的提高,研究人员正面临海量数据存储的挑战,考虑到成本、能耗、存储周期及运维管理等问题,具有存储容量大、成本低特点的磁带库成为高能物理领域海量存储系统中必不可少的选择。但HDFS现有异构存储研究不支持磁带库存储,无法满足高能物理Hadoop平台海量实验数据持久化和备份过程对于存储系统高性价比的需求。针对上述问题,为了构建支持磁盘-磁带存储的HDFS分级存储系统,使磁带层文件在HDFS中无缝融合,为用户提供统一的文件系统命名空间,调研了分布式文件系统元数据管理方法,在此基础上设计实现了HDFS分级存储系统中统一的元数据管理方法。该方法通过重新设计内存文件元数据结构,构建分级存储系统统一的内存目录树并实现其访问管理和可靠性保障,完成分级存储系统中不同层级文件元数据的集中统一管理。测试结果表明,该方法实现了分级存储系统异构资源上文件元数据的统一管理,提供了高效的元数据操作。基于该方法构建的分级存储系统可靠性高,在对不同规模大小的文件读写时,其读写吞吐量较优于高能物理领域传统分级存储系统EOSCTA。

数据库技术中“HDFS文件系统”微课教学设计

在职业院校计算机专业的专业课程《数据库技术》教学中,"HDFS文件系统"对大数据进行存储,由于抽象难理解,许多术语、原理等使学生觉得理论内容枯燥、难学,兴趣不高,注意力不专注。充分运用各种信息化手段,通过微课等形式,把专业知识与生活中有趣的应用联系起来,提高学生对《数据库技术》的学习效果。

Matlab对基于HDF格式的MODIS1B数据的提取方法与实现

基于HDF文件格式的MODIS数据的应用越来越广泛,MODIS数据开发应用的前提是对MODIS 1B数据的提取。本文详细介绍了利用Matlab对HDF文件进行读写操作的过程,在此基础上给出了提取MODIS 1B数据的流程图,实现了对MODIS 1B数据的提取,为MODIS二级产品的开发打下了基础。

基于HDFS架构的医院信息系统设计

为了提高医院信息的传输速度,改善信息处理能力,解决数据繁杂利用率低的问题,拟设计一种基于分布式文件系统(Hadoop Distributed File System,HDFS)架构的医院信息系统。先介绍系统的整体架构,并结合医院情况设计各子系统,再通过遗传算法对数据信息进行处理,以实验形式验证系统效果。测试结果表明,本系统具有良好的信息处理能力,既提高了医疗水平和服务质量,又实现了医院信息系统的规范化和有效化,对医院发展具有较大的促进作用。

面向搜索引擎的分布式文件系统性能分析

搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考.

Co-Work:基于HDFS的安全云存储数据一致性保持算法

针对云存储平台中用户隐私和敏感数据的安全保护问题,在前期提出的基于自主可控机制的安全云存储模型ASOM(All Self-Organization Model)基础上,对MDSS端元数据的管理操作、MDSS和DMS之间的通信过程做进一步优化,针对ASOM模型实际场景引入锁思想实现两个节点一致性的Co-Work算法,完成MDSS和DMS节点之间的协同工作和数据的一致性保持。同时,考虑网络带宽对ASOM中读写效率的影响,引入随机表机制,改变DSS上报的时间结点,以提高ASOM整体读写效率。测试结果表明:执行Co-Work算法后的ASOM模型实现了数据的物理与逻辑隔离,保证用户对元数据的自主控制和管理,而且随着数据尺寸增大读写效率明显提高,在数据达到1 GB时读写效率提高了12%。

基于HBase的小文件高效存储方法

基于Hadoop平台的相关系统得到了广泛应用。Hadoop分布式文件系统(Hadoop distributed file system,HDFS)通过分布式的工作方式,负责处理海量文件数据。对HDFS而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于HBase(Hadoop database)的海量小文件高效存储方法,利用HBase的存储优势,将小文件直接存储于HBase,从而有效减少元数据节点服务器(NameNode)的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高HDFS环境下小文件的读写效率。

云计算中的分布式文件系统

云计算是一种基于互联网提供服务的业务模式,它能够实现IT基础设施的资源化和服务化,用户可以按需进行定制和付费,从而彻底改变了传统IT基础设施的提供和支付方式,有效解决了无限增长的海量信息存储和计算问题。文章给出了云计算分布式文件系统的主要类型,分析了Google文件系统(GFS)和Hadoop分布式文件系统(HDFS)的演进情况。最后,详细描述了分布式文件系统的工作原理。

单机下Hadoop小文件处理性能分析

Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。

云环境下分布式文件系统负载均衡研究

Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载均衡不足。虽然Hadoop系统自带的负载均衡器可以实现均衡调整,但需要用户预先给出静态的阈值。为了解决阈值的固定性和主观性,通过对磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等参数的分析评估优化,形成对阈值的计算表达式,并通过理论分析和仿真实验对阈值的计算和负载均衡进行验证。实验结果表明,相比较Hadoop静态的输入阈值的算法,该方法达到了更好的平衡效果,提高了计算资源的利用率。

Hadoop中处理小文件的四种方法的性能分析

Hadoop的设计初衷是为了存储和分析大数据,其最擅长处理的是大数据集。但是在实际应用中,却存在着大量的小文件。一般情况下有四种处理海量小文件的方法,分别为默认输入格式Text Input Format、为处理小文件而设计的Combine File Input Format输入格式、Sequence File技术以及Harballing技术。为了比较在相同的Hadoop分布式环境下这四种技术处理大量小文件时的性能,选用了典型的数据集,利用词频统计程序,来比较四种小文件处理技术的性能差异。实验研究表明,在不同需求下处理大量小文件的时候,选用适当的处理方法能够在很大程度上提高大量小文件的处理效率。

初始信息素筛选的蚁群优化算法在HDFS副本选择中的研究

随着社会信息化程度的不断提高,各种形式的数据急剧膨胀。HDFS成为解决海量数据存储问题的一个分布式文件系统,而副本技术是云存储系统的关键。提出了一种基于初始信息素筛选的蚁群优化算法(Init Ph_ACO)的副本选择策略,通过将遗传算法(GA)与蚁群优化算法(ACO)算法相结合,将它们进行动态衔接。提出基于初始信息素筛选的ACO算法,既克服了ACO算法初始搜索速度慢,又充分利用GA的快速随机全局搜索能力。利用云计算仿真工具Cloud Sim来验证此策略的效果,结果表明:Init Ph_ACO策略在作业执行时间、副本读取响应时间和副本负载均衡性三个方面的性能均优于基于ACO算法的副本选择策略和基于GA的副本选择策略。