微服务架构磁带库存储系统设计与实现

建立具有磁带存储层的HDFS分级存储系统是完善高能物理领域Hadoop生态系统的重要部分,但高能物理领域传统的磁带存储管理系统(如Castor、CTA)上层不支持HDFS磁盘存储,并且随着高能物理数据量的急剧增长、互联网技术的不断发展和用户需求的迅猛变化,传统的磁带存储管理系统逐渐呈现出系统扩展、负载均衡、开发和运维成本上升等方面的问题。设计开发了基于微服务架构的磁带存储管理系统。该系统向上支持HDFS磁盘存储,将磁带库资源管理、文件传输、磁带读写等功能以微服务的形式分布到各个服务实例中,达到分散服务压力的目的,并且系统针对传统负载算法效率不佳的问题,实现了基于服务器响应指数的负载均衡算法,通过根据自定义参数计算得到的服务器响应指数对其进行排序,保证将用户请求调度到响应指数最高的服务器进行处理。实验结果表明,磁带库存储系统满足HDFS文件分级存储磁带层管理的需求,提出的基于服务器响应指数的负载均衡算法相较于轮询算法,系统归档性能高出6%以上,提取性能高出64%以上;相较于随机算法,系统归档性能高出9%以上,提取性能高出64%以上,最终实现的磁带库存储系统表明,与传统的系统相比,微服务体系结构能够实现系统中组件的解耦和分布式负载的平衡,在系统开发和运维等方面更为便捷。