SC2LE场景下基于QMIX算法的多智能体协同控制

为了解决多智能体协同控制中高维状态空间与环境部分可观测的问题,研究了中心式训练分布式执行框架在多智能体强化学习中的实现方法,以及复杂场景下传统强化学习算法,并采用带注意力机制的QMIX算法实现了协同控制。以星际争霸2学习环境(SC2LE)为基础的小场景中,将多个作战单位作为多智能体进行协同控制并加以试验验证。试验结果表明,与其他多智能体强化学习算法相比,带注意力机制的QMIX算法能够得到收敛的训练模型,可获得较好的协同控制效果。

基于QMix的车辆云计算资源动态分配方法

城市交通智能化和通信技术的进步会产生大量基于车辆的应用,但目前车辆有限的计算资源无法满足车辆应用的计算需求与延迟性约束。车辆云(VC)可以高效地调度资源,从而显著降低任务请求的延迟与传输成本。针对VC环境下任务卸载与计算资源分配问题,提出一个考虑异质车辆和异质任务的计计资源分配算法。对到达的任务构建M/M/1队列模型与计算模型,并定义一个效用函数以最大化系统整体效用。针对环境中车辆地理分布的高度动态系统变化,提出基于双时间尺度的二次资源分配机制(SRA),使用两个不同时间尺度的资源分配决策动作,对其分别构建部分可观测马尔可夫决策过程。两个决策动作通过执行各自的策略获得的奖励进行连接,将问题建模为两层计算资源分配问题。在此基础上提出基于二次资源分配机制的多智能体算法SRA-QMix求解最优策略。仿真结果表明,与深度确定性策略梯度算法对比,该算法的整体效用值和任务完成率分别提高了70%、6%,对于QMix和MADDPG算法分别应用SRA后的任务完成率分别提高了13%与15%,可适用于动态的计算资源分配环境。