基于HDFS的海量文件存储优化设计

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的通用文件存储系统(Common File Storage-Hadoop Distributed File System,CFSHDFS)。该方案采用了分类处理的设计思想,区别对待大文件和小文件。对大文件不做任何处理,按照HDFS原有的流程完成既定的操作;对小文件的存取,经过缓存、预读、合并等机制的处理,从而在提高Namenode内存利用率和Datanode空间利用率的基础上,提高了小文件的读写性能。区别对待文件的处理以及对小文件的一系列的处理,对用户来说都是透明的,因此,该方案并不会增加用户使用HDFS的复杂性。

计算机数据处理技术在经济领域的应用

本文主要阐述计算机数据处理技术与现代经济发展之间的关系,以此来提出经济领域中的计算机数据处理关键技术,并探讨在经济领域中的多方面应用,以此为我国经济事业优化发展提供有价值的参考意见。

Hive数据仓库在Hadoop大数据环境下数据的导入与应用

对Hive数据仓库的创建与启动的过程进行了介绍,着重讲解了通过Load命名加载数据的两种方式,即通过本地将数据文件加载到Hive表中,通过HDFS将数据文件加载到Hive表中。这两种方式在实际生产环境中,应用十分广泛。