稀疏异质多智能体环境下基于强化学习的课程学习框架

现代战争的战场较大且兵种较多,利用多智能体强化学习(MARL)进行战场推演可以加强作战单位之间的协同决策能力,从而提升战斗力。当前MARL在兵棋推演研究和对抗演练中的应用普遍存在两个简化:各个智能体的同质化以及作战单位分布稠密。实际战争场景中并不总是满足这两个设定,可能包含多种异质的智能体以及作战单位分布稀疏。为了探索强化学习在更多场景中的应用,分别就这两方面进行改进研究。首先,设计并实现了多尺度多智能体抢滩登陆环境M2ALE,M2ALE针对上述两个简化设定做了针对性的复杂化,添加了多种异质智能体和作战单位分布稀疏的场景,这两种复杂化设定加剧了多智能体环境的探索困难问题和非平稳性,使用常用的多智能体算法通常难以训练。其次,提出了一种异质多智能体课程学习框架HMACL,用于应对M2ALE环境的难点。HMACL包括3个模块:1)任务生成模块(STG),用于生成源任务以引导智能体训练;2)种类策略提升模块(CPI),针对多智能体系统本身的非平稳性,提出了一种基于智能体种类的参数共享(Class Based Parameter Sharing)策略,实现了异质智能体系统中的参数共享;3)训练模块(Trainer),通过从STG获取源任务,从CPI获取最新的策略,使用任意MARL算法训练当前的最新策略。HMACL可以缓解常用MARL算法在M2ALE环境中的探索难问题和非平稳性问题,引导多智能体系统在M2ALE环境中的学习过程。实验结果表明,使用HMACL使得MARL算法在M2ALE环境下的采样效率和最终性能得到大幅度的提升。

基于多智能体深度强化学习的多星观测任务分配方法

为应对多星环境中复杂多约束条件下的任务分配场景,提出一种多星自主决策观测任务分配算法,该算法采用基于集中式训练、分布式执行的多智能体深度强化学习算法。通过这种方式训练后的卫星智能体,即使在没有中心决策节点或通信受限的情况下,仍具有一定的自主协同能力及独立实现多星观测任务的高效分配能力。

重放攻击下多智能体系统H_(∞)一致性PID控制

本文针对一类带有加性噪声和乘性噪声的离散多智能体系统,研究重放攻击下多智能体系统的H_(∞)一致性比例-积分-微分(PID)控制问题.首先,根据智能体的测量输出设计状态观测器,对智能体的状态进行有效估计,观测器设计过程中考虑了系统测量输出从传感器传输到观测器过程中受到重放网络攻击的影响.然后,利用智能体与其邻居智能体的估计状态差设计PID控制器.利用李雅普诺夫稳定性理论和代数图论,证明在该控制策略下,多智能体系统在重放攻击存在的情况下达到预期的H_(∞)性能指标.最后,利用线性矩阵不等式(LMI)方法求解观测器和控制器增益,利用数值仿真验证了所设计的观测器和PID控制器的有效性.

基于平均一致协议的分布式自适应多智能体聚集控制

分布式聚集控制问题是多智能体协同控制中的一个重要问题。由于智能体的可移动性和感知能力有限,传统的分布式聚集算法难以保证连通性,从而聚集成多个簇群。此外,去中心化的大规模聚集控制给获取全局聚集点带来了巨大的挑战。针对连通性保护问题,基于平均一致协议与约束集,提出了一个带有连通性约束的多智能体聚集协议(Multi-Agent Rendezvous Protocol with Connectivity constraints,MARP-CC)。然后针对聚集点无法预测的问题,提出了位置合成(Location Synthesis Strategy,LSS)和位置重定向(Location Redirection Strategy,LRS)两种控制策略。智能体根据当前连通情况,自适应选择最优的控制策略进行迭代。结合这两种控制策略,提出了带连通性约束的分布式自适应多智能体聚集算法(Distributed Adaptive Multi-Agent Rendezvous algorithm with Connectivity Constraints,DAMAR-CC)。对算法的收敛性和连通性进行了分析,并通过大量的仿真说明了DAMAR-CC可以引导智能体稳定地聚集在初始拓扑的几何中心。

多智能体系统中的同步问题综述

多智能体系统的同步问题在机器人网络、传感器网络、电力网络、社交网络等诸多领域有着广泛应用。首先,介绍了多智能体系统和多智能体同步问题的相关背景。随后,对多智能体系统模型和多智能体同步的基本概念进行了阐述,着重介绍了多智能体的状态同步和输出同步及其研究现状。从多智能体自身特性和网络拓扑结构的特性出发,列举了自适应控制,事件触发控制等常见的同步控制器。最后,对多智能体同步问题进行了简要总结和展望。

基于异构多智能体自注意力网络的路网信号协调顺序优化方法

针对路网交通信号控制的复杂性,本文提出基于异构多智能体自注意力网络的路网信号协调顺序优化方法,提升路网范围内多交叉口信号控制策略性能。首先,模型考虑多交叉口交通流的空间相关性,采用基于自注意力机制的价值编码器学习交通观测表征,实现路网级通信;其次,面向多智能体策略更新的非稳态环境,模型在前序智能体的联合动作基础上,基于多智能体优势分解的策略解码器,顺序决策最优反应动作;最后,设计基于有效行驶车辆的动作掩码机制,在时效完备区间自适应调节决策频率,并提出考虑等待公平性的时空压力奖励函数,进一步提高策略性能与实用性。在杭州路网数据集上验证模型有效性,结果表明:所提模型在2个数据集和5个性能指标上均优于基准模型;相比最优基准模型,所提模型平均行程时间降低10.89%,平均排队长度降低18.84%,平均等待时间降低22.21%。此外,所提模型的泛化能力更强,且显著减少车辆等待时间过长的情形。

分布式事件触发下的多智能体系统二分一致性

研究了基于分布式事件触发的多智能体控制系统中的二分一致性问题,设计了一种合作和竞争并存拓扑结构的一致性控制协议,使多智能体系统收敛于二模相同且符号不同的状态.在图论与矩阵论的基础上,将多智能体系统的二分一致性问题转化为闭环误差系统的稳定性问题,通过建立一个合适的Lyapunov函数,验证了闭环误差系统渐进稳定,且针对每个智能体提出了事件触发条件,以减少控制更新频率与通信资源的损耗,同时证明每个智能体相邻触发时间间隔都有严格的正下界,即避免了Zeno现象,最后利用仿真实例验证了所提方法的可行性和有效性.

基于自适应分布式滤波观测器的多智能体系统编队控制

本文考虑了全局指令系统输出信息受到信道扰动情况下线性多智能体系统的编队控制问题.首先,基于协作式输出调节理论框架对线性多智能体系统的编队控制问题进行数学建模.其次,针对受到信道扰动的全局指令系统输出信息,提出了一类基于受扰输出的自适应分布式滤波观测器,在降低网络信息交换量的同时消除扰动的影响.最后,设计了输出反馈确定等价控制律,解决了线性多智能体系统的分布式编队控制问题.给出了数值仿真结果检验控制性能.

多智能体强化学习方法综述

在自动驾驶、团队配合游戏等现实场景的序列决策问题中,多智能体强化学习表现出了优秀的潜力。然而,多智能体强化学习面临着维度灾难、不稳定性、多目标性和部分可观测性等挑战。为此,概述了多智能体强化学习的概念与方法,并整理了当前研究的主要趋势和研究方向。研究趋势包括CTDE范式、具有循环神经单元的智能体和训练技巧。主要研究方向涵盖混合型学习方法、协同与竞争学习、通信与知识共享、适应性与鲁棒性、分层与模块化学习、基于博弈论的方法以及可解释性。未来的研究方向包括解决维度灾难问题、求解大型组合优化问题和分析多智能体强化学习算法的全局收敛性。这些研究方向将推动多智能体强化学习在实际应用中取得更大的突破。

基于观测重构的多智能体强化学习方法

共同知识是多智能体系统内众所周知的知识集。如何充分利用共同知识进行策略学习,是多智能体独立学习系统中的一个挑战性问题。针对这一问题,围绕共同知识提取和独立学习网络设计,提出了一种基于观测重构的多智能体强化学习方法IPPO-CKOR。首先,对智能体的观测信息进行共同知识特征的计算与融合,得到融合共同知识特征的观测信息;其次,采用基于共同知识的智能体选择算法,选择关系密切的智能体,并使用重构特征生成机制构建它们的特征信息,其与融合共同知识特征的观测信息组成重构观测信息,用于智能体策略的学习与执行;最后,设计了一个基于观测重构的独立学习网络,使用多头自注意力机制对重构观测信息进行处理,使用一维卷积和GRU层处理观测信息序列,使得智能体能够从观测信息序列中提取出更有效的特征,有效缓解了环境非平稳与部分可观测问题带来的影响。实验结果表明,相较于现有典型的采用独立学习的多智能体强化学习方法,所提方法在性能上有显著提升。

考虑碳排放的多智能体冷链物流路径优化

针对冷链物流的路径优化问题,使用多智能体的建模思想和相关理论,在考虑碳排放以及软时间窗的情况下,结合固定成本、运输费用和货损费用,构建物流配送总成本最小化的冷链物流配送模型,并改进蚁群算法对模型求解。先制定蚂蚁状态转移规则,再更新信息素,并对最优路径加入额外的信息素量,找到全局最优解的蚂蚁;然后在算法中插入变邻域局部搜索操作,让算法跳出局部最优。最后再进行算例分析对比,结果发现在物流配送总成本上,改进的蚁群算法相比传统的蚁群算法节约了8.39%,这也验证了算法和模型的有效性与实用性。

计及风电的发电商报价多智能体模型

新型电力系统背景下,新能源发电商的报价问题一直是电力现货市场中的研究热点。相比传统能源,风电出力受外界不确定性因素的影响较大,给风力发电商求解最优报价带来了挑战。为此,基于多智能体强化学习算法WoLF-PHC构建了计及风电的发电商报价策略模型。模型中,考虑了风电、火电和水电3种能源参与的现货市场,每一个发电商抽象为一个智能体,且基于随机约束规划算法建模风电智能体的收益函数;对于智能体的报价策略模型,将D3QN与WoLF-PHC算法结合,使模型能够满足报价时智能体状态空间复杂的情况;此外,对于交互环境的建模,提出利用DDPM扩散模型生成风电出力数据,优化风电出清场景的仿真。最后,基于3节点的电力仿真系统开展模拟实验,实验结果表明,提出的风电收益函数建模、WoLF-PHC改进、风电出力生成等技术是可行的,能有效解决风电参与竞价的现货市场报价问题,并且能够在较少的迭代次数后学习到较优的策略。

动态事件触发机制下二阶多智能体系统完全分布式控制

本文研究了无向通信拓扑下二阶多智能体系统的一致性问题,分别针对有领导者和无领导者的情形,设计了一类基于辅助动态变量的完全分布式事件触发控制策略,该策略具有参数较少且易调等特点.智能体自身的触发函数满足条件时才向邻居广播自身的状态信息,有效避免了连续通信,减少了系统能量耗散.每个智能体的控制协议和触发函数都只用到自身的状态和邻居触发时刻的状态,不涉及邻居的实时状态信息,也不依赖通信拓扑网络的任何全局信息.利用代数图论以及Lyapunov稳定性理论,证明在所提出的控制策略下,二阶多智能体系统能够实现渐近一致性,且不存在Zeno行为.仿真示例进一步验证了理论结果的有效性.

多率采样机制下多智能体动态事件触发二分一致性研究

针对满足细节平衡结构的对抗交互多智能体系统,研究多率采样机制下其动态事件触发二分一致性问题。在多率采样机制下,通过构造一个多率缓存器解决多率采样时序不匹配的问题,设计一类多率观测器便于获得系统的估计状态以实现目标控制。通过引入动态事件触发机制,多率观测器在事件触发时刻广播其状态数据至通信网络中的邻居智能体。每个智能体基于触发时刻的观测器状态信息,利用一组开环估计器以获得连续的智能体状态估计值。在此基础上,设计一个分布式控制协议,利用代数黎卡提方程和李雅普诺夫稳定性理论证明系统可以在细节平衡的多智能体系统通信网络中实现二分一致性,并且排除动态事件触发可能导致的芝诺行为。通过一个包含3种不同采样机制和控制方案的对比仿真,证明了所提控制方案的有效性,表明多率采样机制相较于传统的单率采样机制具有更快和更稳定的收敛性能,并且动态事件触发相较于静态事件触发可以进一步降低触发次数。

多智能体深度强化学习的图像特征分类方法

为解决在图像特征识别分类等机器学习任务中,存在输入图像数据复杂度过高且与部分数据与特征无关的问题,提出了一种多智能体深度强化学习的图像特征分类方法。将图像特征分类任务转化为一个部分可观测的马尔可夫决策过程。通过使用多个移动的同构智能体去收集部分图像信息,并研究智能体如何形成对图像的局部理解并采取行动,以及如何从局部观察的图像中提取相关特征并分类,以此降低数据复杂性和过滤掉不相关数据。通过改进的值函数分解方法训练智能体策略网络,对环境的全局回报按照每个智能体的贡献进行拆分,解决智能体的信度分配问题。该方法在MNIST手写数字数据集和NWPU-RESISC45遥感图像数据集上进行了验证,相比基线算法能够学习到更加有效的联合策略,分类过程拥有更好的稳定性,同时精确率也有提升。

基于不确定度的多智能体信用分配方法

近年来,部分可观测条件下多智能体协同受到广泛关注。中心化训练分布式执行作为处理这类任务的通用范式面临信用分配这一核心问题。值分解是该范式中的代表性方法,通过混合网络将联合状态动作值函数分解为多个局部观察动作值函数以实现信用分配,在很多问题中表现很好。然而这些方法维持对混合网络参数的单一点估计,因缺乏不确定度表示而难以有效应对环境中的随机因素导致只能收敛到次优策略。为缓解这一问题,对混合网络进行贝叶斯分析,提出一种基于不确定度的多智能体信用分配方法,通过显式地量化参数的不确定度来指导信用分配。考虑到智能体之间复杂的交互,利用贝叶斯超网络隐式地建模参数任意复杂的后验分布,以避免先验地指定分布类型而陷于局部最优解。在星际争霸微操环境中的多个地图上与代表性算法的性能进行对比与分析,验证了算法的有效性。

脉冲控制下基于合作机制的多智能体系统分组一致性研究

针对在脉冲控制下非线性多智能体系统的分组一致性协同控制问题,本文基于复杂系统中智能体间的合作机制,提出了一种新颖的具有领导-跟随网络的分组一致性控制协议.该协议控制智能体仅在脉冲时刻接收来自邻居节点的信息并更新自己的状态,减少智能体因持续接收邻居信息更新自己状态而造成的网络开销.针对不同组之间智能体的信息交互,该协议具有防止组间干扰的机制,降低了不同组之间的通信干扰,提高系统鲁棒性.此外,本文还介绍了一种适用于非线性系统的方案,增强协议的适应性.基于实现分组一致性条件,构建了多智能体系统的动力学模型,并进行了协议的详细设计和理论推导.最后,通过仿真验证了协议的正确性和有效性.

异构多智能体输出调节量化自适应跟踪控制

考虑到无人机-无人船动力学模型中部分状态信息丢失、输出降维和延迟量化输入等复杂情形,提出了一种适用于解决异构多智能体系统一致性跟踪控制问题的输出调节量化自适应方案。利用降维的输出信息设计量化反馈控制输入及自适应律,实现异构多智能体编队系统内全维状态信息向参考模型的一致性跟踪,基于Lyapunov方法的稳定性分析证明了各变量的一致有界性,将该一致性跟踪控制方法应用于无人机-无人船编队系统中,通过数值仿真验证了该异构多智能体编队系统在平面内实现各变量一致性跟踪的能力。

多智能体系统的实用-分量一致性

实用-分量一致性是指多智能体系统中所有状态变量的一些分量的偏差始终在一个有界区间内波动。本文基于有向网络拓扑探讨一阶非线性领导-跟随多智能体系统的实用-分量一致性问题。首先,对该系统构造一个分段式牵制控制协议;然后,利用置换矩阵方法,将开始的偏差系统转化为一个新的偏差系统,将原系统的实用-分量一致性问题转化为新偏差系统中零解的强实用稳定性问题,并借助矩阵理论和稳定性理论等,导出该系统实现实用-分量一致性的充分条件;最后,通过数值模拟验证理论结果的正确性。

基于多智能体的指挥控制软件可靠性建模仿真方法

为解决现有可靠性分析和评估方法不能完全应对软件复杂网络特性的问题,提出基于多智能体(Agent)的指挥控制软件可靠性建模仿真方法,包括系统建模仿真和可靠性建模仿真,并实现软件系统可靠性建模仿真平台,以某指挥控制软件系统为对象进行实例应用,分别实施故障传播仿真分析和可靠性建模仿真分析,完成软件系统可靠性分析和评估,验证了所提出方法的有效性和可行性。