基于事件触发的异构智能体分布式编队控制

针对异构多智能体的编队控制问题,本文提出一种基于事件触发的异构多智能体编队控制算法。基于无人机和无人船的数学模型,结合事件触发机制设计观测器,且在事件触发函数中引入采样机制,可自然排除Zeno现象。基于观测器的估计信息,设计异构多智能体分布式编队控制协议。该控制算法在保证无人机和无人船形成编队的同时,减少了无人机与无人船之间的通信次数,降低了系统的通信资源消耗。本文通过Lyapunov函数证明所提出的算法满足全局渐进稳定,且通过数值仿真实验验证算法的有效性。

基于异构多智能体自注意力网络的路网信号协调顺序优化方法

针对路网交通信号控制的复杂性,本文提出基于异构多智能体自注意力网络的路网信号协调顺序优化方法,提升路网范围内多交叉口信号控制策略性能。首先,模型考虑多交叉口交通流的空间相关性,采用基于自注意力机制的价值编码器学习交通观测表征,实现路网级通信;其次,面向多智能体策略更新的非稳态环境,模型在前序智能体的联合动作基础上,基于多智能体优势分解的策略解码器,顺序决策最优反应动作;最后,设计基于有效行驶车辆的动作掩码机制,在时效完备区间自适应调节决策频率,并提出考虑等待公平性的时空压力奖励函数,进一步提高策略性能与实用性。在杭州路网数据集上验证模型有效性,结果表明:所提模型在2个数据集和5个性能指标上均优于基准模型;相比最优基准模型,所提模型平均行程时间降低10.89%,平均排队长度降低18.84%,平均等待时间降低22.21%。此外,所提模型的泛化能力更强,且显著减少车辆等待时间过长的情形。

基于价值函数分解和通信学习机制的异构多智能体强化学习方法

许多现实世界的系统可以被建模为多智能体系统,多智能体强化学习为开发这些系统提供了一种有效的方法,其中基于集中训练与分散执行范式的价值函数分解方法得到了广泛的研究.然而现有的价值分解方法一般缺乏通信机制,在处理需要通信学习的多智能体任务时表现不佳.同时,目前大多数通信机制都是针对同构多智能体环境设计的,没有考虑异构多智能体场景.在异构场景中,由于智能体动作空间或观测空间的异构性,智能体之间的信息共享并不直接.如果不能对智能体的异构性进行有效地建模处理,通信机制将变得无效,甚至会影响多智能体的协作性能.为了应对这些挑战,本文提出一个融合价值函数分解和通信学习机制的异构多智能体强化学习框架.具体地:(1)与采用同构图卷积网络的方法不同,该框架利用异构图卷积网络融合智能体的异构特征信息得到有效的嵌入;(2)利用通信学习模块获得的嵌入信息和局部观测历史计算每个智能体的动作价值,以选择和协调智能体的动作;(3)通过设计的互信息损失函数和价值函数分解模块的损失函数联合训练,能够有效地训练整个方法.本文首先在两个异构多智能体平台上进行实验,实验结果表明该方法能学到比基线方法更有效的策略,在两个平台上相比基线方法分别提高了 13%的平均奖励值和24%的平均胜率.此外,在交通信号控制场景中验证了该方法在现实系统中的可行性.

切换拓扑下异构多智能体系统自适应输出一致性

针对通信拓扑突变的不确定异构多智能体系统,将拓扑突变等效为切换拓扑问题,进而设计一种基于领导者-模型-跟随者匹配的分布式自适应协同控制方法,实现领导者-跟随者输出一致性.首先,提出局部输出跟踪误差概念,将领导者-跟随者输出一致性问题转化为相邻智能体局部输出一致性问题;然后,针对系统参数已知的情况,进行分布式标称协同控制器设计,实现参考模型-领导者匹配和跟随者-参考模型匹配,以保证通信拓扑突变下领导者-跟随者输出一致性;进而,针对系统参数未知的情况,进行分布式自适应协同控制器设计,实现通信拓扑突变下跟随者输出对领导者输出的渐近跟踪.所设计的控制方法不依靠全局信息即可保证所有智能体系统闭环稳定及跟随者对领导者的输出一致性.最后,通过一个仿真案例验证了所设计的控制方案的有效性.

等价划分下异构多智能体系统的分组一致性

针对由一阶和二阶智能体组成的异构多智能体系统,主要研究了系统在固定拓扑下的分组一致性问题。不同于协议分组,从拓扑结构角度提出系统分组的办法。首先应用等价划分技术对系统的底层拓扑进行设计,使其满足一定的划分要求;然后为异构多智能体系统设计了一个控制协议,通过模型变换并应用图论等知识分析了系统实现分组一致的条件;最后通过数值仿真实验验证了所得结论的有效性。

一类异构多智能体系统一致性协议的收敛性分析

针对一阶二阶智能体组成的异构多智能体系统,采用了一种线性一致性协议,基于图论和矩阵分析的方法对一致性协议的收敛性进行研究,得出了一致性协议最终收敛值的表达式,并给出了收敛区间,通过参数优化设置可以实现系统收敛到该区间内任意给定的期望值.最后在仿真实例中,实现了异构多机器人系统在期望位置的聚集,仿真结果验证了理论分析的正确性.

基于事件触发的拓扑切换异构多智能体协同输出调节

研究切换拓扑下线性异构多智能体系统的协同输出调节问题,并设计了一个基于事件触发的输出调节控制机制.设计的控制机制不仅可以实现智能体对外部系统的渐近跟踪和干扰抑制,还可以有效减少智能体之间的信息传递数量,从而降低通信负载减少网络能耗.最后通过仿真验证结论的有效性.

强化学习的地–空异构多智能体协作覆盖研究

以无人机(unmanned aerial vehicle,UAV)和无人车(unmanned ground vehicle,UGV)的异构协作任务为背景,通过UAV和UGV的异构特性互补,为了扩展和改进异构多智能体的动态覆盖问题,提出了一种地–空异构多智能体协作覆盖模型。在覆盖过程中,UAV可以利用速度与观测范围的优势对UGV的行动进行指导;同时考虑智能体的局部观测性与不确定性,以分布式局部可观测马尔可夫(decentralized partially observable Markov decision processes,DEC-POMDPs)为模型搭建覆盖场景,并利用多智能体强化学习算法完成对环境的覆盖。仿真实验表明,UAV与UGV间的协作加快了团队对环境的覆盖速度,同时强化学习算法也提高了覆盖模型的有效性。

异构多智能体系统有限时间一致性分析

研究二阶智能体速度不可测情况下由一阶和二阶智能体构成的异构多智能体系统有限时间一致性问题。在固定拓扑结构下,给出了异构系统实现一致性的控制协议,通过La Salle不变集原理和齐次控制方法得到了异构系统有限时间一致性的充分条件;在切换拓扑结构下,给出了异构系统一致性的控制协议,得到了异构系统有限时间一致性的充分条件。仿真结果验证了相关结果的有效性。

速度不可测的异构多智能体系统一致性分析

近年来,随着异构系统在实际中的广泛应用,异构多智能体系统一致性分析成为研究热点。针对一阶部分智能体控制输入有界、二阶智能体速度不可测的异构多智能体系统,在无向网络拓扑图下给出了无领导者和有领导者两种控制输入设计方法,基于图论知识和LaSalle不变集原理给出了该异构系统实现一致性的充分条件。最后,通过数值仿真验证了该理论的正确性。

一类异构多智能体系非线性协议下的一致性分析

针对一阶、二阶混合异构多智能体系统一致性问题研究中,存在状态不可测和系统最终仅可以获得静态一致性的问题,提出了一种具有参考速度的非线性一致性协议。在此基础上,首先,将一致性分析转化为稳定性证明;然后,构造李亚普诺夫函数;最后,基于李亚普诺夫稳定性理论和拉塞尔不变集原理,分析得出了该异构系统获得一致性的充分条件。仿真结果表明,满足文中的条件,系统在所提出的协议下获得了一致性。

一类异构多智能体系统有向图下的广义平均一致性分析

本文对有向图下离散时间一阶二阶混合的异构多智能体系统广义平均一致性问题进行研究.首先给出了该异构系统广义平均一致性的基本概念.在此基础上,针对平均一致性研究中对交互拓扑为平衡网络的局限,提出了一种基于辅助变量的线性一致性协议,对每一个智能体增加一个辅助变量,用于记录个体的状态更新.采用图论、非负矩阵理论、特征值扰动等方法进行分析证明,表明该协议使得异构多智能体系统在任意强连通有向图下达到广义平均一致性.并对收敛值的性质进行了分析.最后,通过仿真对该结论进行了验证.

有限时间内异构多智能体系统的协同输出调节

针对异构多智能体系统有限时间输出调节问题,本文提出了分布式有限时间状态观测器控制算法和相应的输出反馈控制策略.应用图论、Lyapunov稳定性理论证明了所设计的观测器能够在有限时间内估计出外部系统状态,同时可以保证系统在有限时间内的稳定性,很好的解决了当部分跟随者无法获取外部命令时的有限时间输出调节问题.最后,通过MATLAB数值仿真验证了该协议的有效性和正确性,仿真结果表明系统除了在有限时间内获得更快的收敛速度外,还具有良好的暂态性能.

一类离散时间异构多智能体系统有向图下的一致性分析

研究了离散时间一阶二阶混合的异构多智能体系统有向通信下的一致性问题。首先,对该系统内的个体分别提出了相应的一致性协议。针对该异构系统不满足离散时间系统研究中凸性要求的问题,本文引入了一个非奇异变换,采用非负矩阵理论和一致性理论,分别分析得出了系统在固定和动态拓扑下实现一致性的充分条件。当通信拓扑包含生成树,采样时间和控制参数在一定范围内取值系统将获得一致性,该范围取决于通信拓扑的度矩阵。最后,通过仿真对该结论进行了验证。

不确定DoS攻击下的异构多智能体系统异步控制器设计

研究了存在不确定拒绝服务(denial of service,DoS)攻击的异构多智能体系统协同控制问题。网络环境的开放性会导致网络攻击的复杂性不断提高,其中,对于一类不确定网络攻击的研究具有重要的现实意义。由于不确定攻击情况下模态获取困难,将导致控制器模态与系统模态产生不匹配问题。首先,正常情况下所有智能体都是时间同步的并且以固定采样周期相互通信,当攻击发生时采用保持输入机制并且假定攻击持续时间是有界的,通过使用马尔可夫切换系统方法来构建该复杂动态系统模型。其次,通过解耦技术将原高维系统转换为两个低维的闭环误差系统,并通过Lyapunov稳定性理论得到了保证异构多智能体系统输出一致性的充分条件。进一步,应用相关矩阵变换方法给出了通过求解一系列矩阵不等式来获得控制器增益的方法。最后,通过基于移动舞台机器人系统的仿真研究验证了本文所提出方法的有效性。与现有结果相比,本文所考虑的攻击概率可以是不确定甚至完全未知的,所设计的异步控制器具有更好的兼容性,即包含了常见的同步控制器以及模型独立控制器。

带非线性项的异构多智能体系统一致性研究

针对一阶线性、二阶带有非线性项的异构多智能体系统在无向拓扑结构条件下的一致性问题,通过修改现有的一种分布式控制协议,利用图论、Lyapunov稳定性理论和Lasalle不变集理论,得出该异构智能体系统达到一致性的充分条件。使用Simulink搭建四旋翼无人机和智能小车组成的带非线性环节的异构多智能体平台,并将研究理论结果在该平台上进行验证。最终数值模拟结果表明,若满足所提条件,该异构多智能体系统在该协议下可实现一致性。

基于自触发的异构多智能体协同输出调节

本文针对线性异构多智能体系统,基于自适应自触发条件,分别设计了状态和输出反馈协同控制器.其中自适应控制策略可以避免使用多智能体系统的全局信息,从而实现分布式控制;自触发控制不仅可以避免对触发条件进行连续监测,还可以有效地降低网络的通信负载和控制器的更新次数,且不存在芝诺现象.最后通过4个跟随智能体和一个领导智能体进行了协同输出直角编队仿真实验,实现了多智能体系统对外部系统的渐近跟踪和干扰抑制,验证了结果的有效性.

基于自适应神经网络的异构多智能体系统一致性控制

针对由一阶线性和二阶非线性组成的异构多智能体系统,提出一种基于自适应神经网络的分布式控制协议.利用每个智能体之间的通信信息调整分布式控制协议中的参数,使径向基函数(radial basis function,RBF)神经网络逼近二阶多智能体系统中的未知非线性项,进而使得异构多智能体系统实现自适应一致,并通过Lyapunov稳定性理论给予证明.MATLAB/Simulink仿真实验结果验证了该方法的有效性.

基于输出调节的异构多智能体系统包围控制研究

针对异构多智能体系统包围控制问题,提出了基于输出调节理论的控制策略.利用输出调节理论设计了一种新的分布式动态状态反馈控制协议.设定领导者为输出调节中的外部系统,针对系统中部分跟随者无法获取领导者的状态信息的问题,为每一个跟随者设计了动态状态观测器,使跟随者可以利用观测器估计出领导者的状态.为了实现多领导者的包围控制,设计了一种基于输出调节的包围误差函数,最终实现在任意初始条件下,所有跟随者智能体的运动轨迹趋向于领导者运动轨迹张成的凸包中,实现了包围控制.利用图论、Lyapunov稳定性理论、矩阵理论等相关知识证明了系统的稳定性,并通过实例仿真验证了文中所给理论结果的有效性.

基于脉冲控制的时延异构多智能体编队控制

为提高编队系统鲁棒性,降低系统对通信条件的要求,针对异构多智能体系统的编队控制问题,提出一种基于脉冲控制的编队控制方法.考虑异构多智能体的切换拓扑与变时延情况,根据一致性理论,提出基于领航跟随者模型的脉冲控制协议.利用矩阵分析方法将异构多智能体编队系统的变时延问题转化为时延上界问题,通过构造Lyapunov函数并利用Lyapunov稳定理论得到系统实现编队控制一致性的充分条件.同时,为比较不同控制协议的优劣性,提出切换拓扑下多智能体编队控制的平均通信代价指标.仿真结果验证了所提脉冲控制方法的有效性和优越性.