基于MADDPG算法协同预测的多智能体节能制热饮水机的能效提升

为提升公共场所制热饮水机的群体性能,降低整体能耗,设计了多智能体协同预测的节能制热饮水机。利用季节性ARIMA模型预测饮水机使用人数,结合决策树及遗传算法设定单台饮水机的临界阈值,应用多智能体协同MADDPG算法建立多台饮水机协同控制。通过构建用电成本回归模型测试样机性能,实验结论表明,与市面的商用饮水机相比,新设计的饮水机可节约55%的电费,在提高饮水机能源利用效率方面具有潜在应用价值。

基于MADDPG的多AGVs路径规划算法

针对多辆自动导引车系统(automated guided vehicle system,AGVs)在动态不确定环境下完成货物运送并进行路径规划的问题,提出一种基于多智能体深度确定性策略梯度(MADDPG)的多AGVs路径规划算法。本方法通过状态空间、动作空间、奖励函数和网络结构重新设计MADDPG算法的模型结构,通过OpenAI Gym接口搭建二维仿真环境用作多AGVs (agents)的训练平台。实验结果表明,相比于深度确定性策略梯度(DDPG)算法和双延迟深度确定性策略梯度(TD3)算法,基于MADDPG的多AGVs路径规划算法在智能仓储仿真环境下,多AGVs碰到货架的次数分别减少了21.49%、11.63%,碰到障碍物的次数分别减少了14.69%、10.12%,全部AGVs到达货物装卸点的成功率分别高出了17.22%、10.53%,表明学习后的AGV具有更高效的在线决策能力和自适应能力,能够找到较优的路径。

基于MADDPG的散装物料输送多智能体协同控制

为提升带式输送系统的智能化决策,提高生产效率,降低能耗,应用多智能体深度确定性策略梯度(MADDPG)算法,构建多输送机智能体协同控制系统。系统采用集中式结构控制多输送机,由输送机运行能耗模型,结合MADDPG算法结构,构建多智能体协同控制模型。通过训练模型,寻优输送机运行速度与煤流量最佳匹配关系,得出节能最优速度控制策略。与深度确定性策略梯度(DDPG)算法进行实验对比。结果表明,提出的多输送机智能体算法模型学习效率高,收敛速度快,具有较强的稳定性。

基于无线传播环境的无蜂窝大规模MIMO系统接入点部署优化

无蜂窝大规模多输入多输出(MIMO)系统通过在覆盖区域内部署大量的接入点(AP),可以为用户提供均匀、可靠的服务。传统的无蜂窝大规模MIMO系统采用随机部署,未考虑AP周围的路径损耗、阴影衰落散射物以及环境遮挡对覆盖质量的影响。为了考虑实际环境下无蜂窝大规模MIMO能实现均匀、一致的覆盖,提出了基于无线传播环境的AP部署方案。首先,通过混合概率路径损耗模型对无线传播环境进行表征,其次构建了以最大化平均吞吐量为目标的AP部署优化问题,最后将问题转化为马尔可夫博弈过程,并且基于多智能体深度确定性策略梯度(MADDPG)算法得出最优的AP部署策略。仿真结果表明,相比于传统的随机部署和现有AP部署策略,所提方案可明显改善复杂环境下的非均匀覆盖问题,为用户提供良好一致的均匀覆盖。

针对无人机集群对抗的规则与智能耦合约束训练方法

基于无人机集群智能攻防对抗构想,建立了无人机集群智能攻防对抗仿真环境。针对传统强化学习算法中难以通过奖励信号精准控制对抗过程中无人机的速度和攻击角度等问题,提出一种规则与智能耦合约束训练的多智能体深度确定性策略梯度(rule and intelligence coupling constrained multi-agent deep deterministic policy gradient,RIC-MADDPG)算法,该算法采用规则对强化学习中无人机的动作进行约束。实验结果显示,基于RIC-MADDPG方法训练的无人机集群对抗模型能使得红方无人机集群在对抗中的胜率从53%提高至79%,表明采用“智能体训练—发现问题—编写规则—再次智能体训练—再次发现问题—再次编写规则”的方式对优化智能体对抗策略是有效的。研究结果对建立无人机集群智能攻防策略训练体系、开展规则与智能相耦合的集群战法研究具有一定参考意义。

基于多智能体强化学习的无人机集群对抗方法研究

针对复杂动态不确定环境下的无人机集群对抗问题,基于多智能体强化学习开展了对抗决策方法的研究。首先,基于MaCA环境构建了无人机集群对抗模型;其次,引入集中训练网络的混合架构模式,改进了传统DDPG算法,设计了面向无人机集群对抗的MADDPG算法,分别采用基于规则的对抗策略和基于DQN的对抗策略对算法进行了训练,提升了对抗算法的鲁棒性、适应性和泛化性;最后,通过搭建对抗仿真环境,验证了所设计方法的有效性和可靠性。

无人集群系统行为决策学习奖励机制

未来作战的发展方向是由多智能体系统构成的无人集群系统通过智能体之间自主协同来完成作战任务。由于每个智能体自主采取行为和改变状态,增加了智能群体行为策略训练的不稳定性。通过先验约束条件和智能体间的同构特性增强奖励信号的实时性,提高训练效率和学习的稳定性。采用动作空间边界碰撞惩罚、智能体间时空距离约束满足程度奖励;通过智能体在群体中的关系特性,增加智能体之间经验共享,进一步优化学习效率。在实验中,将先验增强的奖励机制和经验共享应用到多智能体深度确定性策略梯度(MADDPG)算法中验证其有效性。结果表明,学习收敛性和稳定性有大幅提高,从而提升了无人集群系统行为学习效率。