基于深度强化学习的云软件服务自适应资源分配方法

近年来,基于云计算的软件服务对自适应的资源分配技术提出了越来越高的要求,以保证良好的服务质量(QoS)和合理的资源成本。然而,由于云环境中不断变化的工作负载,基于云计算的软件服务资源分配面临着巨大的挑战,不合理的资源分配方案可能降低QoS,并且导致高额的资源成本。传统的方法大多依赖于专家知识或者多次迭代,这可能导致适应性差和额外的成本。现有的基于强化学习(RL)的方法通常以固定的工作负载环境为目标,不能有效地适应具有可变工作负载的真实场景。为此,提出一种基于深度强化学习(DRL)的自适应资源分配方法,在该方法中根据运行时系统状态训练得到基于深度Q网络(DQN)的管理操作预测模型,并且设计了一种基于反馈控制的运行时决策算法,进而可以根据当前系统状态确定目标资源分配方案。在RUBiS基准对方法进行了评估,实验结果表明,该方法比经典的基于启发式的粒子群优化(PSO)算法和贪心算法适应度函数值平均分别高出4.4%和5.6%,能够有效地平衡对于QoS和资源成本的需求。