基于深度学习训练平台的缓存联合部署策略研究

阐述各类Internet服务与智能手机应用程序,每分钟都会产生大量数据,这大大刺激了包括深度学习在内的数据收集、存储、分析需求。但是,探讨如何优化深度学习训练平台的I/O表现,目前的研究成果还比较少。从"类脑智能开放平台"真实数据出发,分析了深度学习训练平台I/O特性,并基于以上,兼顾缓存命中率与节点负载均衡,提出了缓存联合部署策略。仿真结果表明,相比于常用的LRU策略,提出的策略具有更高的缓存命中率,且各计算节点之间的负载较为均衡,从而较好地优化了深度学习应用的I/O表现。