基于LZO的Hadoop文件归档优化方法

Hadoop分布式框架被广泛应用于各行业大数据处理领域,但在存储大量小文件时会产生更多的元数据信息,导致名称节点的内存占用过多,影响其对外提供高性能和高并发访问的能力。对小文件进行归档存储,是有效解决该问题的常用方案。同时,考虑到数据压缩可有效减少数据存储空间大小与网络数据传输负载,本文提出一种基于实时无损压缩算法LZO的Hadoop文件归档优化方法LA(LZO-Archive)。该方法先对小文件进行归档合并,在索引文件生成阶段融合LZO压缩算法,减少索引文件的生成时间。同时,设计一种文件压缩存储算法,对数据文件和索引文件进行压缩存储,有效减少了数据所占用的数据节点磁盘空间大小和名称节点内存空间占用大小。实验结果表明,相对于原始的HDFS数据存储方法、基准的文件归档方法HAR以及对比方法LHF,本文提出的LA方法在文件归档时间、名称节点内存占用、数据节点磁盘空间占用、文件访问时间等方面表现更好。

国家气象中心NWP新资料归档系统的技术待征

文章简要介绍了“八五”以来，国家气象中心数值预报系统新的归档方案设计特点、意义、内容，并探讨了归档软件开发中的一系列技术问题．

中药企业经营质量档案工作的实践与思考

本文主要阐述了企业在质量管理过程中,档案部门主动参与企业经营质量规范管理的每个重要环节,运用档案管理,对中药企业质量档案的组成、收集、分类、整理等有针对性地制定归档方案,确保企业质量档案的可追溯性,使质量档案实现预期目标。