基于开源Ceph的自研分布式存储架构及关键技术分析

随着大数据、云计算、物联网技术以及短视频直播技术的迅速发展,传统的集中式存储系统存在数据规模有限、存储和处理能力瓶颈、单点故障等问题,已经难以满足现阶段的业务需求。基于此,本文从非结构化数据增长、容器化技术发展、异地多活灾备等业务需求对存储技术的新要求进行分析,总结了自研存储待解决的三个问题,即技术选型、技术路线、架构设计,探究了自研存储部署架构、多集群管理、小文件合并等关键技术问题,并提出相应的解决思路。