智能集群系统的强化学习方法综述

智能集群系统是人工智能的重要分支,所涌现出的智能形态被称为集群智能,具有个体激发时的自组织性和群体汇聚时的强鲁棒性等特征.智能集群系统的协同决策过程是融合人-机-物,覆盖多元空间,囊括感知-决策-反馈-优化的复杂非线性问题,具有开放的决策模型和庞大的解空间.然而,传统的算法依赖大量的知识与经验,使其难以支持系统的持续演化.强化学习是一类兼具感知决策的端到端方法,其通过试错的方式不断迭代优化,具有强大的自主学习能力.近些年来,受生物群体和人工智能的启发,强化学习算法已由求解个体的决策问题,向优化集群的联合协同问题演进,为增强集群智能的汇聚和涌现注入了新动能.但是,强化学习在处理集群任务时面临感知环境时空敏感、群内个体高度自治、群间关系复杂多变、任务目标多维等挑战.本文立足于智能集群系统的协同决策过程与强化学习运行机理,从联合通信、协同决策、奖励反馈与策略优化四个方面梳理了强化学习算法应对挑战的方法,论述了面向智能集群系统的强化学习算法的典型应用,列举了相关开源平台及其适用算法.最后,从实际需求出发,讨论总结了今后的研究方向.