通信受限下基于注意力的多智能体协同算法

受限于现实场景中有限的通信资源,现有的多智能体算法在实际应用时面临诸多挑战,如带宽受限、通信噪声等。为了提升多智能体系统在通信受限环境中的协同性能,提出了一种创新的多智能体协同算法。该算法在设计过程中,针对通信对象、通信内容和通信时间三个方面分别进行优化,旨在降低带宽消耗,提升系统协同性能。首先,该算法引入了一种可扩展多维信息编码融合模块,该模块具备卓越的信息提取与融合能力。通过编码多维度信息,该模块能够有效提取智能体感知等信息,以及智能体之间的通信信息,并在融合过程中实现信息的互补,从而提升协同决策的准确性和效率。其次,该算法包含了一种门控通信决策模块,该模块具备自适应的信息通信和决策能力,能够根据通信信息价值决定是否进行通信。实验结果表明,与对比算法相比,提出算法在协同导航和协同巡检等场景下均展现出了更出色的协同性能。此外,该算法还显著减少了智能体间通信信息量,进一步提高了在复杂环境中的适应性。

基于图神经网络的多智能体路径规划方法

在多智能体路径规划问题中,每个智能体需要互相协调来完成共同的全局目标,智能体之间通常需要显式的通信策略。传统的多智能体路径规划算法受限于实时性、扩展性、不完全通信等问题,很难适用于复杂的工作环境中。为了解决多智能体工作环境中的通信问题,本文提出了一种基于图神经网络(GNN)的路径规划方法。该方法首先通过卷积神经网络(CNN)在局部观测中采集特征数据,由图神经网络在智能体之间传递这些数据。其次,为了减少智能体的惰性,提出了一种新的奖励函数,鼓励智能体更积极地探索并学习有效的协调策略。接着通过集中式收集数据训练、分布式执行提高学习效率。最后,进行多个环境下的仿真实验评估本文提出的算法,并与其他算法进行对比,验证了算法的有效性和可扩展性。

基于双视角建模的多智能体协作强化学习方法

在多智能体协作领域,强化学习算法通过共享智能体的局部信息来实现智能体间的协作.但共享协作机制极易引发过度协作问题,导致智能体忽视自身局部观测信息,丧失策略多样性,最终陷入低效协作的困境.为了解决该问题,本文提出基于双视角建模的多智能体协作强化学习方法(Bi-View Modeling Collaborative Multi-Agent Reinforcement Learning,简称BVM-CMARL).该方法从局部和全局两个视角对智能体进行建模,分别用于产生多样性的策略和激励协作.在局部视角最大化局部变分与自身轨迹的互信息,激励智能体的策略多样性;同时在全局视角最大化全局变分与其他智能体动作的互信息,提高智能体协作水平.最后将局部变分训练出的局部Q值与全局变分训练出的全局Q值合并,避免低效协作.将BVM-CMARL算法应用于星际争霸多智能体挑战赛(StarCraft Multi-Agent Challenge,SMAC)中的等级觅食(Level-Based Foraging,LBF)和走廊(Hallway)等环境,与QMIX、QPLEX、RODE、EOI和MAVEN等5种目前优秀的强化学习算法相比,BVM-CMARL算法具有更好的稳定性和性能表现,在SMAC上的平均胜率为82.81%,比次优算法RODE高13.42%.通过设计模型变体,在消融实验中证明了双视角建模对BVM-CMARL的必要性.

多智能体强化学习算法研究综述

近年来,多智能体强化学习算法技术已广泛应用于人工智能领域。系统性地分析了多智能体强化学习算法,审视了其在多智能体系统中的应用与进展,并深入调研了相关研究成果。介绍了多智能体强化学习的研究背景和发展历程,并总结了已有的相关研究成果;简要回顾了传统强化学习算法在不同任务下的应用情况;重点强调多智能体强化学习算法分类,并根据三种主要的任务类型(路径规划、追逃博弈、任务分配)对其在多智能体系统中的应用、挑战以及解决方案进行了细致的梳理与分析;调研了多智能体领域中现有的算法训练环境,总结了深度学习对多智能体强化学习算法的改进作用,提出该领域所面临的挑战并展望了未来的研究方向。

多智能体深度强化学习研究进展

深度强化学习(Deep Reinforcement Learning,DRL)在近年受到广泛的关注,并在各种领域取得显著的成功.由于现实环境通常包括多个与环境交互的智能体,多智能体深度强化学习(Multi-Agent Deep Reinforcement Learning,MADRL)获得蓬勃的发展,在各种复杂的序列决策任务上取得优异的表现.本文对多智能体深度强化学习的工作进展进行综述,主要内容分为三个部分.首先,我们回顾了几种常见的多智能体强化学习问题表示及其对应的合作、竞争和混合任务.其次,我们对目前的MADRL方法进行了全新的多维度的分类,并对不同类别的方法展开进一步介绍.其中,我们重点综述值函数分解方法,基于通信的MADRL方法以及基于图神经网络的MADRL方法.最后,我们研究了MADRL方法在现实场景中的主要应用.希望本文能够为即将进入这一快速发展领域的新研究人员和希望获得全方位了解并根据最新进展确定新方向的现有领域专家提供帮助.

C-V2X环境下基于队友模型的多智能体通信切换优化

蜂窝车联网(cellular vehicle-to-everything,C-V2X)通信技术是未来智能交通系统(intelligent transportation systems,ITS)的重要组成部分.毫米波(millimeter wave,mmWave)作为C-V2X通信技术的主要载体之一,可以为用户提供高带宽.然而,由于传播距离有限和对遮挡的敏感性,毫米波基站必须密集部署以维持可靠的通信,这使得智能联网车辆(intelligent connected vehicle,ICV)在行驶过程中不得不频繁地进行通信切换,极易造成局部资源短缺,进而导致服务质量低下和用户体验不佳.为了应对这些挑战,每辆ICV被视为一个智能体,并将ICV的通信切换问题建模为一个合作型多智能体博弈问题.为了解决这一问题,提出了一个基于队友模型的合作型强化学习框架.具体来说,首先设计了一个队友模型,用于量化复杂动态环境下智能体之间的相互依赖关系;接着提出了一种动态权重分配方案,生成了队友间的加权互信息,用于混合网络的输入,旨在帮助队友切换到可以提供良好QoS和QoE的基站,以获得高吞吐量和低通信切换频率.在算法训练过程中,设计了一种激励相容训练算法,旨在协调智能体的个体目标与集体目标的一致性,提升通信吞吐量.实验结果显示,提出的方法在不同规模车辆的场景中均展示出了卓越的性能,相较于现有的基于通信基准方法有13.8%~38.2%的吞吐量提升.

基于多智能体强化学习的配电网电压分散控制

大规模分散资源接入配电网改变了传统配电网的潮流分布,导致电压频繁越限。以模型为基础的电压控制方法对电力系统网络拓扑结构要求较高,求解时间较长,不能达到电压实时控制要求。为此,提出一种考虑异步训练的多智能体在线学习配电网电压分散控制策略。该方法将每个光伏逆变器都视为一个智能体。首先对智能体进行分区调整,然后将配电网的电压无功控制问题建模为马尔可夫决策过程,在满足系统分布式约束的基础上,采用多智能体强化学习分散控制框架,结合多智能体深度确定性策略梯度算法对多智能体进行训练。经过训练的智能体可以不需要实时通信,利用局部信息实现分散决策,制定光伏逆变器的出力计划,做到电压实时控制,减少网络损耗。最后,通过仿真验证了该方法的有效性和鲁棒性。

多智能体强化学习方法综述

在自动驾驶、团队配合游戏等现实场景的序列决策问题中,多智能体强化学习表现出了优秀的潜力。然而,多智能体强化学习面临着维度灾难、不稳定性、多目标性和部分可观测性等挑战。为此,概述了多智能体强化学习的概念与方法,并整理了当前研究的主要趋势和研究方向。研究趋势包括CTDE范式、具有循环神经单元的智能体和训练技巧。主要研究方向涵盖混合型学习方法、协同与竞争学习、通信与知识共享、适应性与鲁棒性、分层与模块化学习、基于博弈论的方法以及可解释性。未来的研究方向包括解决维度灾难问题、求解大型组合优化问题和分析多智能体强化学习算法的全局收敛性。这些研究方向将推动多智能体强化学习在实际应用中取得更大的突破。

大语言模型支持的多智能体:技术路径、教育应用与未来展望

面对复杂多变的教育环境,多智能体系统以其协作、分布式和自适应的优势成为解决教育难题的新途径。本研究分析了多智能体系统的基本原理和演化历程,聚焦其在教育领域的源点,并从领域、结构和场景三个角度,探讨多智能体系统教育应用的形态演化。在技术层面,本研究探讨了生成式人工智能技术如何赋能多智能体系统,构建了基于大模型的智能体“眼—脑—手”三维能力框架,并提出了多智能体系统智能性提升的内外双循环框架。在教育应用方面,本研究阐述了多智能体系统教育应用的多重角色,包括促进知识管理的百科全书型智能体、促进协作交互的智能学伴型智能体、促进学习规划的教学助手型智能体和促进学科教学的专业教师型智能体等,探讨了多智能体系统在教育应用与跨文化体系适应中的潜力。多智能体系统的教育应用也面临诸多挑战,包括如何确保系统稳定性和安全性、如何避免负面影响、如何实现与传统教育方法优势互补等。针对这些挑战,本研究提出融合教学要素、对接数字基座、变革教育范式、加强安全伦理隐私保护等对策,以期重塑多智能体教育生态,引领其稳健前行。本研究可为促进智能化教育技术的发展提供新思路,为推动教育数字化和教育高质量发展贡献新力量。

多智能体双注意力自适应熵深度强化学习

在执行–评价算法和最大熵强化学习算法中分别存在价值函数过高估计和温度参数脆弱性的问题,从而导致策略网络陷入局部最优.针对此问题,本文提出了一种基于双集中注意力机制与自适应温度参数的多智能体强化学习算法.首先,要构建出两个初始参数不同的具有注意力机制的评价网络,通过这两个评价网络对策略网络做出更加准确的评价,从而避免出现过高估计问题而导致策略网络陷入局部最优.其次,本文提出了自适应温度参数的最大熵强化学习算法,计算出每个智能体的策略熵和基线熵,从而动态调整温度参数以实现自适应调整智能体的探索.最后,在受限的合作导航环境和受限的宝藏收集环境中验证了本文算法的有效性,本文算法的平均总成本与平均总惩罚优于其他算法.

稀疏异质多智能体环境下基于强化学习的课程学习框架

现代战争的战场较大且兵种较多,利用多智能体强化学习(MARL)进行战场推演可以加强作战单位之间的协同决策能力,从而提升战斗力。当前MARL在兵棋推演研究和对抗演练中的应用普遍存在两个简化:各个智能体的同质化以及作战单位分布稠密。实际战争场景中并不总是满足这两个设定,可能包含多种异质的智能体以及作战单位分布稀疏。为了探索强化学习在更多场景中的应用,分别就这两方面进行改进研究。首先,设计并实现了多尺度多智能体抢滩登陆环境M2ALE,M2ALE针对上述两个简化设定做了针对性的复杂化,添加了多种异质智能体和作战单位分布稀疏的场景,这两种复杂化设定加剧了多智能体环境的探索困难问题和非平稳性,使用常用的多智能体算法通常难以训练。其次,提出了一种异质多智能体课程学习框架HMACL,用于应对M2ALE环境的难点。HMACL包括3个模块:1)任务生成模块(STG),用于生成源任务以引导智能体训练;2)种类策略提升模块(CPI),针对多智能体系统本身的非平稳性,提出了一种基于智能体种类的参数共享(Class Based Parameter Sharing)策略,实现了异质智能体系统中的参数共享;3)训练模块(Trainer),通过从STG获取源任务,从CPI获取最新的策略,使用任意MARL算法训练当前的最新策略。HMACL可以缓解常用MARL算法在M2ALE环境中的探索难问题和非平稳性问题,引导多智能体系统在M2ALE环境中的学习过程。实验结果表明,使用HMACL使得MARL算法在M2ALE环境下的采样效率和最终性能得到大幅度的提升。

基于观测重构的多智能体强化学习方法

共同知识是多智能体系统内众所周知的知识集。如何充分利用共同知识进行策略学习,是多智能体独立学习系统中的一个挑战性问题。针对这一问题,围绕共同知识提取和独立学习网络设计,提出了一种基于观测重构的多智能体强化学习方法IPPO-CKOR。首先,对智能体的观测信息进行共同知识特征的计算与融合,得到融合共同知识特征的观测信息;其次,采用基于共同知识的智能体选择算法,选择关系密切的智能体,并使用重构特征生成机制构建它们的特征信息,其与融合共同知识特征的观测信息组成重构观测信息,用于智能体策略的学习与执行;最后,设计了一个基于观测重构的独立学习网络,使用多头自注意力机制对重构观测信息进行处理,使用一维卷积和GRU层处理观测信息序列,使得智能体能够从观测信息序列中提取出更有效的特征,有效缓解了环境非平稳与部分可观测问题带来的影响。实验结果表明,相较于现有典型的采用独立学习的多智能体强化学习方法,所提方法在性能上有显著提升。

基于演员-评论家框架的层次化多智能体协同决策方法

针对复杂作战环境下多智能体协同决策中出现的任务分配不合理、决策一致性较差等问题,提出一种基于演员-评论家(Actor-Critic,AC)框架的层次化多智能体协同决策方法。通过将决策过程分为不同层次,并使用AC框架来实现智能体之间的信息交流和决策协同,以提高决策效率和战斗力。在高层次,顶层智能体制定任务决策,将总任务分解并分配给底层智能体。在低层次,底层智能体根据子任务进行动作决策,并将结果反馈给高层次。实验结果表明,所提方法在多种作战仿真场景下均取得了较好的性能,展现了其在提升军事作战协同决策能力方面的潜力。

矿工安全行为的群体演化和干预策略研究:基于多智能体仿真分析

随着我国多数矿山企业正实现从“系统智能化”向“智能系统化”的跨越,矿工群体逐渐呈现知识化、年轻化的特征。为推进矿工安全行为管理,结合后悔理论构建了包含情绪反应的矿工安全行为决策模型,并制定了考虑矿工风险偏好异质性的互动规则,通过多智能体仿真的方法,探讨了正念和警示两类事前干预策略下矿工群体安全行为的演化路径。结果表明,仅靠处罚这一事后控制手段并不能有效促进矿工选择安全行为;在事前干预策略中,正念策略比警示策略更有利于促进矿工的安全行为,且这两种策略具有协同效应。此外,矿工之间的互动强度会影响安全行为决策,连结的邻居数量越多,邻居更新越快,矿工会越倾向选择不安全行为。最后,在陕西榆林某矿山企业开展了现场实验,实证检验了正念策略和警示策略对矿工安全行为的激励作用。

基于多智能体深度强化学习的多星观测任务分配方法

为应对多星环境中复杂多约束条件下的任务分配场景,提出一种多星自主决策观测任务分配算法,该算法采用基于集中式训练、分布式执行的多智能体深度强化学习算法。通过这种方式训练后的卫星智能体,即使在没有中心决策节点或通信受限的情况下,仍具有一定的自主协同能力及独立实现多星观测任务的高效分配能力。

重放攻击下多智能体系统H_(∞)一致性PID控制

本文针对一类带有加性噪声和乘性噪声的离散多智能体系统,研究重放攻击下多智能体系统的H_(∞)一致性比例-积分-微分(PID)控制问题.首先,根据智能体的测量输出设计状态观测器,对智能体的状态进行有效估计,观测器设计过程中考虑了系统测量输出从传感器传输到观测器过程中受到重放网络攻击的影响.然后,利用智能体与其邻居智能体的估计状态差设计PID控制器.利用李雅普诺夫稳定性理论和代数图论,证明在该控制策略下,多智能体系统在重放攻击存在的情况下达到预期的H_(∞)性能指标.最后,利用线性矩阵不等式(LMI)方法求解观测器和控制器增益,利用数值仿真验证了所设计的观测器和PID控制器的有效性.

具有时变输出约束的非线性多智能体系统自适应最优包含控制

本文对具有时变输出约束和未建模动态的不确定严格反馈非线性多智能体系统,提出了一种最优包含控制方法.利用一种新型积分型障碍Lyapunov函数处理输出约束,利用动态信号处理未建模动态,利用动态面控制方法设计前馈控制器,结合自适应动态规划和积分强化学习方法设计最优反馈控制器,利用神经网络在线逼近相应代价函数,并设计权重更新律.理论分析证明了所有跟随者的输出收敛到领导者生成的凸包中,全部跟随者组成的闭环系统是半全局一致最终有界的,同时,跟随者的输出保持在给定的约束集中,代价函数达到最小.仿真结果验证了所提出方法的有效性.

基于平均一致协议的分布式自适应多智能体聚集控制

分布式聚集控制问题是多智能体协同控制中的一个重要问题。由于智能体的可移动性和感知能力有限,传统的分布式聚集算法难以保证连通性,从而聚集成多个簇群。此外,去中心化的大规模聚集控制给获取全局聚集点带来了巨大的挑战。针对连通性保护问题,基于平均一致协议与约束集,提出了一个带有连通性约束的多智能体聚集协议(Multi-Agent Rendezvous Protocol with Connectivity constraints,MARP-CC)。然后针对聚集点无法预测的问题,提出了位置合成(Location Synthesis Strategy,LSS)和位置重定向(Location Redirection Strategy,LRS)两种控制策略。智能体根据当前连通情况,自适应选择最优的控制策略进行迭代。结合这两种控制策略,提出了带连通性约束的分布式自适应多智能体聚集算法(Distributed Adaptive Multi-Agent Rendezvous algorithm with Connectivity Constraints,DAMAR-CC)。对算法的收敛性和连通性进行了分析,并通过大量的仿真说明了DAMAR-CC可以引导智能体稳定地聚集在初始拓扑的几何中心。

基于事件触发的多智能体固定时间滑模一致性控制

针对具有未知扰动的非线性领导跟随多智能体系统一致性问题,提出一种基于自适应事件触发机制的分布式积分滑模固定时间一致性控制方法。考虑到未知外部扰动会使系统出现抖振,设计基于连续积分滑模面的分布式控制协议;为降低系统中各智能体的事件触发次数及能源损耗,保证向邻居智能体更新并传递采样信息,设计基于状态误差的自适应事件触发机制;采用固定时间稳定性理论证明设计的控制协议和事件触发机制可确保系统能迅速稳定;与有限时间相比,固定时间理论可使系统的稳定时间摆脱初值限制。仿真结果表明,相同条件下所提方法分别和引入连续积分滑模面的静态事件触发控制方法以及引入不连续积分滑模面的自适应事件触发控制方法相比可将触发次数分别平均降低32.01%和20.24%,在系统存在未知扰动的情况下5.2 s内即可达到状态一致,减少收敛时间的同时保证各跟随者的跟踪误差始终保持在±0.05以内。

多智能体系统中的同步问题综述

多智能体系统的同步问题在机器人网络、传感器网络、电力网络、社交网络等诸多领域有着广泛应用。首先,介绍了多智能体系统和多智能体同步问题的相关背景。随后,对多智能体系统模型和多智能体同步的基本概念进行了阐述,着重介绍了多智能体的状态同步和输出同步及其研究现状。从多智能体自身特性和网络拓扑结构的特性出发,列举了自适应控制,事件触发控制等常见的同步控制器。最后,对多智能体同步问题进行了简要总结和展望。