基于强化学习的智能I/O调度算法

利用机器学习方法解决存储领域中若干技术难题是目前存储领域的研究热点之一。强化学习作为一种以环境反馈作为输入、自适应环境的特殊的机器学习方法,能通过观测环境状态的变化,评估控制决策对系统性能的影响来选择最优的控制策略,基于强化学习的智能RAID控制技术具有重要的研究价值。本文针对高性能计算应用特点,将机器学习领域中的强化学习技术引入RAID控制器中,提出了基于强化学习的智能I/O调度算法RL-scheduler,利用Q-学习策略实现了面向并行应用的自治调度策略。RL-scheduler综合考虑了调度的公平性、磁盘寻道时间和MPI应用的I/O访问效率,并提出多Q-表交叉组织方法提高Q-表的更新效率。实验结果表明,RL-scheduler缩短了并行应用的平均I/O服务时间,提高了大规模并行计算系统的I/O吞吐率。

一种网络存储技术新方案--智能网络磁盘集群存储系统

针对网络存储技术中存在的一些问题,提出一种网络存储技术新方案——智能网络磁盘集群存储系统.通过"分散服务、集中管理"模式,有效解决了普遍存在的单点失效问题;通过设计一种虚拟文件系统,将多个存储节点虚拟成一个超大容量、集中化的数据存储中心,满足了海量信息存储的大容量、可扩展性等要求;通过多数据布局方法,满足了数据完整性和吞吐率等不同数据存储要求;最后分别提出了一种智能I/O调度和自适应负载均衡方案.