摘要
Hadoop在存储数据的过程中,首先要保证的就是数据的完整性,通常,Hadoop是根据由数据计算出的校验和进行数据验证的,从而保证数据的完整性,为了达到持续保持完整性的目的,Hadoop会分别在I/O过程中和利用定时扫描程序验证数据并具备一套完善的纠正机制;在此前提下,通过文件的压缩,Hadoop可以有效地减少文件占用的空间并提高文件传输速度,相关的压缩算法有bzip2和LZO等。
出处
《电脑知识与技术》
2018年第5X期239-239,242,共2页
Computer Knowledge and Technology
基金
校内科研课题<关于Hadoop中I/O操作的研究>的相关研究成果