数据压缩在大规模存储中的应用研究

在当前大规模分布式数据密集型应用需求快速增长的背景下,诸如Ceph等底层存储服务正面临着日益增加的输入/输出(I/O)压力,即使在数据量巨大且高并发的情况下,存储服务也必须具备高吞吐量的I/O性能。为了满足日益扩大的并行数据传输需求,急需进一步提高带宽的利用率。随着云存储的普及,以视频和图像存储为基础的对象存储服务越来越受到资源有限的用户的青睐,特别是中小型企业和个人用户。这类用户的特点是存储读取操作较少,但对存储价格更为敏感。由于这些资源通常按照使用量付费,因此最大限度地减少存储空间占用并提高带宽利用率变得尤为重要。基于此,本文评估了通过数据压缩来节省存储空间和带宽的潜在优势,并提出了基于深度学习的压缩层技术,尽管数据压缩会增加一定的计算开销,但相对于其带来的成本优势而言,这些开销是可以忽略不计的。