摘要
随着开源云计算平台Hadoop的广泛应用,由于其HDFS是针对大文件读写而设计的,因此,大量小文件处理会给Hadoop的扩展性和性能带来瓶颈。本文针对大量小文件处理提出了改进方法,对小文件进行合并、建立索引、并对块进行压缩,减轻元数据占用主节点内存的压力,以此提高小文件读写速度,读速度提升50%左右,写速度达到原来的3-4倍,对MapReduce计算性能也有一定的提升。这样,Hadoop处理对小文件处理也具有更好的通用性。
出处
《计算机光盘软件与应用》
2013年第18期78-80,共3页
Computer CD Software and Application
