基于智能规划的多智能体强化学习算法

目前深度强化学习算法在不同应用领域中已经取得诸多成果,然而在多智能体任务领域中,往往面临大规模的具有稀疏奖励的非稳态环境,低探索效率问题仍是一大挑战。由于智能规划能够根据任务的初始状态和目标状态快速制定出决策方案,该方案能够作为各智能体的初始策略,并为其探索过程提供有效指导,因此尝试将智能规划与多智能体强化学习进行结合求解,并且提出统一模型UniMP(a Unified model for Multi-agent Reinforcement Learning and AI Planning)。在此基础上,设计并建立相应的问题求解机制。首先,将多智能体强化学习任务转化为智能决策任务;其次,对其执行启发式搜索,以得到一组宏观目标,进而指导强化学习的训练,使得各智能体能够进行更加高效的探索。在多智能体即时战略对抗场景StarCraftⅡ的各地图以及RMAICS战车模拟对战环境下进行实验,结果表明累计奖励值和胜率均有显著提升,从而验证了统一模型的可行性、求解机制的有效性以及所提算法灵活应对强化学习环境突发情况的能力。

无人机多机协作探索煤矿灾变环境算法

针对目前煤矿灾变环境下救援机器人探索效率低的问题,提出了一种使用无人机多机协同探索煤矿灾变环境的改进型边界探索算法。该算法在效用值边界探索算法的基础上增加了对无人机导航角度因素的考虑,同时引入分散度函数作为评判机制来构建目标函数,并使用蚁群算法对该目标函数进行求解。最后利用Matlab软件在栅格化地图上进行了仿真实验。实验结果表明,和效用值边界探索算法相比,改进型边界探索算法减少了探测过程中的重复覆盖和拥挤现象,缩短了探测时间,降低了约30%的能量消耗,提高了无人机多机系统的整体探索效率。