改进MADDPG算法的非凸环境下多智能体自组织协同围捕

针对多智能体在非凸环境下的围捕效率问题,提出基于改进经验回放的多智能体强化学习算法。利用残差网络(ResNet)来改善网络退化问题,并与多智能体深度确定性策略梯度算法(MADDPG)相结合,提出了RW-MADDPG算法。为解决多智能体在训练过程中,经验池数据利用率低的问题,提出两种改善经验池数据利用率的方法;为解决多智能体在非凸障碍环境下陷入障碍物内部的情况(如陷入目标不可达等),通过设计合理的围捕奖励函数使得智能体在非凸障碍物环境下完成围捕任务。基于此算法设计仿真实验,实验结果表明,该算法在训练阶段奖励增加得更快,能更快地完成围捕任务,相比MADDPG算法静态围捕环境下训练时间缩短18.5%,动态环境下训练时间缩短49.5%,而且在非凸障碍环境下该算法训练的围捕智能体的全局平均奖励更高。

基于ATMADDPG算法的多水面无人航行器编队导航

为提高多无人船编队系统的导航能力,提出了一种基于注意力机制的多智能体深度确定性策略梯度(ATMADDPG:Attention Mechanism based Multi-Agent Deep Deterministic Policy Gradient)算法。该算法在训练阶段,通过大量试验训练出最佳策略,并在实验阶段直接使用训练出的最佳策略得到最佳编队路径。仿真实验将4艘相同的“百川号”无人船作为实验对象。实验结果表明,基于ATMADDPG算法的队形保持策略能实现稳定的多无人船编队导航,并在一定程度上满足队形保持的要求。相较于多智能体深度确定性策略梯度(MADDPG:Multi-Agent Depth Deterministic Policy Gradient)算法,所提出的ATMADDPG算法在收敛速度、队形保持能力和对环境变化的适应性等方面表现出更优越的性能,综合导航效率可提高约80%,具有较大的应用潜力。

基于MADDPG的散装物料输送多智能体协同控制

为提升带式输送系统的智能化决策,提高生产效率,降低能耗,应用多智能体深度确定性策略梯度(MADDPG)算法,构建多输送机智能体协同控制系统。系统采用集中式结构控制多输送机,由输送机运行能耗模型,结合MADDPG算法结构,构建多智能体协同控制模型。通过训练模型,寻优输送机运行速度与煤流量最佳匹配关系,得出节能最优速度控制策略。与深度确定性策略梯度(DDPG)算法进行实验对比。结果表明,提出的多输送机智能体算法模型学习效率高,收敛速度快,具有较强的稳定性。

基于MADDPG算法协同预测的多智能体节能制热饮水机的能效提升

为提升公共场所制热饮水机的群体性能,降低整体能耗,设计了多智能体协同预测的节能制热饮水机。利用季节性ARIMA模型预测饮水机使用人数,结合决策树及遗传算法设定单台饮水机的临界阈值,应用多智能体协同MADDPG算法建立多台饮水机协同控制。通过构建用电成本回归模型测试样机性能,实验结论表明,与市面的商用饮水机相比,新设计的饮水机可节约55%的电费,在提高饮水机能源利用效率方面具有潜在应用价值。

基于MADDPG的多AGVs路径规划算法

针对多辆自动导引车系统(automated guided vehicle system,AGVs)在动态不确定环境下完成货物运送并进行路径规划的问题,提出一种基于多智能体深度确定性策略梯度(MADDPG)的多AGVs路径规划算法。本方法通过状态空间、动作空间、奖励函数和网络结构重新设计MADDPG算法的模型结构,通过OpenAI Gym接口搭建二维仿真环境用作多AGVs (agents)的训练平台。实验结果表明,相比于深度确定性策略梯度(DDPG)算法和双延迟深度确定性策略梯度(TD3)算法,基于MADDPG的多AGVs路径规划算法在智能仓储仿真环境下,多AGVs碰到货架的次数分别减少了21.49%、11.63%,碰到障碍物的次数分别减少了14.69%、10.12%,全部AGVs到达货物装卸点的成功率分别高出了17.22%、10.53%,表明学习后的AGV具有更高效的在线决策能力和自适应能力,能够找到较优的路径。

规则耦合下的多异构子网络MADDPG博弈对抗算法

针对多无人机博弈对抗过程中无人机数量动态衰减问题和传统深度强化学习算法中的稀疏奖励问题及无效经验抽取频率过高问题,本文以攻防能力及通信范围受限条件下的多无人机博弈对抗任务为研究背景,构建了红、蓝两方无人机群的博弈对抗模型,在多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient,MADDPG)算法的Actor-Critic框架下,根据博弈环境的特点对原始的MADDPG算法进行改进。为了进一步提升算法对有效经验的探索和利用,本文构建了规则耦合模块以在无人机的决策过程中对Actor网络进行辅助。仿真实验表明,本文设计的算法在收敛速度、学习效率和稳定性方面都取了一定的提升,异构子网络的引入使算法更适用于无人机数量动态衰减的博弈场景;奖励势函数和重要性权重耦合的优先经验回放方法提升了经验差异的细化程度及优势经验利用率;规则耦合模块的引入实现了无人机决策网络对先验知识的有效利用。

基于EPF-MADDPG算法的多导弹机动策略研究

随着人工智能研究的进一步加深以及在俄乌战场上相关技术的大放异彩,其在军事领域扮演的角色越来越重要;针对日益复杂的战场环境,当前的导弹突防领域存在着信息维度高、指挥反应缓慢、突防机动战术不够灵活等问题;提出了一种基于多智能体深度确定性策略梯度(MADDPG)的训练方法,用以快速制定导弹攻击机动方案,协助军事指挥官进行战场决策;同时改进算法的经验回放策略,添加经验池筛选机制缩短训练的时长,达到现实场景中的快速反应需求;通过设置多目标快速拦截策略,仿真验证了所设计的方法能够突防的机动策略优势,通过协作智能地对目标进行突防打击,并通过比较,验证了该方法相较其他算法可以提升8%的收敛速度以及10%的成功率。

面向多机协同的Att-MADDPG围捕控制方法设计

多无人机对动态目标的围捕是无人机集群作战中的重要问题。针对面向动态目标的集群围捕问题,通过分析基于MADDPG算法的围捕机制的不足,借鉴Google机器翻译团队使用的注意力机制,将注意力机制引入围捕过程,设计基于注意力机制的协同围捕策略,构建了相应的围捕算法。基于AC框架对MADDPG进行改进,首先,在Critic网络加入Attention模块,依据不同注意力权重对所有围捕无人机进行信息处理;然后,在Actor网络加入Attention模块,促使其他无人机进行协同围捕。仿真实验表明,Att-MADDPG算法较MADDPG算法的训练稳定性提高8.9%,任务完成耗时减少19.12%,经学习后的围捕无人机通过协作配合使集群涌现出更具智能化围捕行为。

基于MADDPG的无人机群空中拦截作战决策研究

基于未来现代化作战需求,构建作战想定,研究在此想定条件下,使用强化学习解决关于红蓝双方无人机编队空中拦截任务的多目标智能决策问题。根据作战模式和应用需求,选择多智能体确定性梯度算法,并对算法原理进行简要介绍;按照想定,编程搭建了完备的模拟作战训练平台;设计智能体网络模型、网络参数和训练方法;经过训练,初步达到预期效果。实验证明了所选用算法能够有效地解决该类问题,不仅为该类问题的现实应用提供了技术支撑,也为更复杂作战场景和作战任务条件下智能决策的研究提供了理论基础和实验参考。

基于改进K-means和MADDPG算法的风储联合系统日前优化调度方法

风储联合运行可有效地应对风电出力的不确定性,提高风电竞争力,然而储能与风电联合运行的优化调度问题是一大难点。为保证储能可调控容量的基础上实现风储联合运行收益最大化,提出了基于改进K-means和多智能体深度确定性策略梯度(MADDPG)算法的风储联合系统日前优化调度方法。首先,根据储能特性和运行状态采用萤火虫优化的改进K-means聚类算法实现储能分组;然后,将风电与分组后的储能设备建模为不同的智能体,组成多智能体系统,采用MADDPG算法求解,设计了MADDPG算法的状态空间、动作空间和奖励函数;最后,对算法进行了算例仿真验证。结果表明,所提调度策略能够较好协调风电和储能运行,有效平抑了风电出力波动,与常规深度强化学习相比,提高了风储联合系统的运行收益。

基于MADDPG的边缘网络任务卸载与资源管理

随着物联网的飞速发展,连接到第六代无线移动网络(6G)的智能设备数量急剧增加。由于存在多维网络资源并存,网络设备异构,网络结构复杂时变等一系列问题,无线网络面临着前所未有的挑战。基于边缘设备的新型网络提供了低时延的就近处理计算和通信资源分配等问题,是合理解决巨量智能设备接入下通信资源分配的有效解决方案。将AI技术融入边缘计算网络架构中,提出了一种基于深度确定性策略梯度算法(MADDPG)的边缘计算网络任务卸载与资源管理模型,通过联合优化任务分层卸载和资源分配,实现处理效率的最大化。

基于DE-MADDPG多智能体强化学习机械臂装配

为了提高机械臂在复杂装配任务中智能程度,提出了一种基于深度强化学习的多智能体装配策略。以六自由度机械臂Pieper准则构型为基础,将末端的位置和姿态分开独立控制,应用解耦多智能体深度确定性策略梯度算法(DE-MADDPG),依据其不同的结构装配特性设计了全局奖励函数和局部奖励函数,并在Gezebo仿真平台上进行了圆孔和方孔装配的仿真实验,同时对DDPG算法和MADDPG算法进行对比实验。结果表明DE-MADDPG算法比DDPG提升了13.2%的装配效率,比MADDPG装配更加稳定。通过搭建装配实验平台,验证了该算法在实体装配过程中具有可行性和较强的泛化能力。

P3C-MADDPG算法的多无人机协同追捕对抗策略研究

针对策略未知逃逸无人机环境中多无人机协同追捕对抗任务,提出P3C-MADDPG算法的多无人机协同追捕对抗策略。首先,为解决多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)算法训练速度慢和Q值高估问题,在MADDPG算法中分别采用基于树形结构储存的优先经验回放机制(Prioritized Experience Replay,PER)和设计的3线程并行Critic网络模型,提出P3C-MADDPG算法。然后基于构建的无人机运动学模型,设计追逃无人机的状态空间、稀疏奖励与引导式奖励相结合的奖励函数、加速度不同的追逃动作空间等训练要素。最后基于上述训练要素,通过P3C-MADDPG算法生成策略未知逃逸无人机环境中多无人机协同追捕对抗策略。仿真实验表明,P3C-MADDPG算法在训练速度上平均提升了11.7%,Q值平均降低6.06%,生成的多无人机协同追捕对抗策略能有效避开障碍物,能实现对策略未知逃逸无人机的智能追捕。

基于后验经验回放的MADDPG算法

训练效率过低和收敛速度过慢是多智能体深度强化学习(MDRL)领域一大问题。多智能体深度确定性策略梯度(MADDPG)作为经典算法已应用于多种仿真场景,但其原始的经验回放机制在样本存放和抽取方面效率较低。针对该问题,提出了基于后验经验回放(HER)的MADDPG算法,以不断更新目标状态和计算回报值的方式提升样本抽取效率,进而提升算法的训练效果。多场景对比试验表明,该算法在效率和性能方面较原始算法均有较大提升。

引入混合超网络改进MADDPG的双机编队空战自主机动决策

针对局部信息可观测的双机编队空战协同奖励难以量化设计、智能体协同效率低、机动决策效果欠佳的问题,提出了一种引入混合超网络改进多智能体深度确定性策略梯度(MADDPG)的空战机动决策方法。采用集中式训练-分布式执行架构,满足单机智能体在局部观测数据下对于全局最优机动决策的训练需求。在为各单机设计兼顾局部快速引导和全局打击优势的奖励函数基础上,引入混合超网络将各单机估计的Q值进行单调非线性混合得到双机协同的全局策略Q值,指导分布式Actor网络更新参数,解决多智能体深度强化学习中信度分配难的问题。大量仿真结果表明,相较于典型的MADDPG方法,该方法能够更好地引导各单机做出符合全局协同最优的机动决策指令,且拥有更高的对抗胜率。

基于DE-MADDPG的多无人机协同追捕策略

针对多无人机协同对抗快速目标的追逃博弈问题,研究了多无人机的协同追捕策略。基于解耦多智能体深度确定性策略梯度算法DE-MADDPG研究了多无人机协同对抗快速目标的追捕策略,设计了多无人机协同追捕的全局奖励和局部奖励两种奖励函数,训练后的多无人机能够有效地执行协同追捕任务。通过设置快速目标的多种逃逸控制策略,仿真验证了所设计的方法能够利用追捕无人机的数量优势,通过协作完成对快速目标的协同围捕,并且通过比较,验证本文所提出的算法相比MADDPG算法更快地取得了收敛效果。

MADDPG算法经验优先抽取机制

针对多智能体深度确定性策略梯度算法(MADDPG)学习训练效率低、收敛速度慢的问题,研究MADDPG算法经验优先抽取机制,提出PES-MADDPG算法.首先,分析MADDPG算法的模型和训练方法;然后,改进多智能体经验缓存池,以策略评估函数误差和经验抽取训练频率为依据,设计优先级评估函数,以优先级作为抽取概率获取学习样本训练神经网络;最后,在合作导航和竞争对抗2类环境中进行6组对比实验,实验结果表明,经验优先抽取机制可提高MADDPG算法的训练速度,学习后的智能体具有更好的表现,同时对深度确定性策略梯度算法(DDPG)控制的多智能体训练具有一定的适用性.

基于墨子平台的水下多智能体协同占位决策算法设计

[目的]开展基于墨子平台的水下战场多智能体协同占位决策算法设计研究,探索水下无人平台作战应用。[方法]提出基于墨子平台的设计思路。针对算法处理确定性规则下的行动决策,提出基于知识图谱的设计方法。采用Neo4J图数据库构建全局知识库,并设计数据交换接口,为智能算法模块提供确定性规则的辅助决策信息输入;针对算法处理非确定性和不完全信息下的行动决策,在设定场景下论述基于MADDPG的协同占位决策算法设计。提出状态空间、动作空间、奖励函数以及与知识图谱模块的交互设计思路。[结果]基于上述思路,完成了算法框架总体设计。在墨子平台中实现了知识图谱和智能算法的整合,并通过墨子平台提供的可视化手段,进一步验证了确定性规则下的行为约束与处理非确定性态势信息的智能算法进行整合的有效性。[结论]仿真结果表明,本文研究工作可为后续进一步开展多智能体协同占位算法设计提供参考。

基于无线传播环境的无蜂窝大规模MIMO系统接入点部署优化

无蜂窝大规模多输入多输出(MIMO)系统通过在覆盖区域内部署大量的接入点(AP),可以为用户提供均匀、可靠的服务。传统的无蜂窝大规模MIMO系统采用随机部署,未考虑AP周围的路径损耗、阴影衰落散射物以及环境遮挡对覆盖质量的影响。为了考虑实际环境下无蜂窝大规模MIMO能实现均匀、一致的覆盖,提出了基于无线传播环境的AP部署方案。首先,通过混合概率路径损耗模型对无线传播环境进行表征,其次构建了以最大化平均吞吐量为目标的AP部署优化问题,最后将问题转化为马尔可夫博弈过程,并且基于多智能体深度确定性策略梯度(MADDPG)算法得出最优的AP部署策略。仿真结果表明,相比于传统的随机部署和现有AP部署策略,所提方案可明显改善复杂环境下的非均匀覆盖问题,为用户提供良好一致的均匀覆盖。

基于双层无人机网络的节能计算研究

本文提出一种双层无人机辅助计算和供能系统,该系统将移动边缘计算(Mobile Edge Computing,MEC)的基站迁移至低层无人机上为地面用户设备提供服务,而高层无人机利用太阳能和激光充电技术,在保障自身续航的同时为低层无人机补充能量。同时联合优化双层无人机飞行轨迹、用户设备卸载决策及低层无人机充电决策,以最小化双层无人机与用户设备能耗。参考多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)算法,设计了一种改进的双层MADDPG算法对问题进行求解。仿真结果表明,该算法可以有效地降低双层无人机剩余能量的衰减速率,从而间接地提升无人机的续航时间。