基于MADDPG的多阵面相控阵雷达引导搜索资源优化算法

针对传统单阵面雷达搜索资源优化算法在复杂多阵面场景下的参数求解困难问题,提出一种基于多智能体深度确定性策略梯度(MADDPG)的多阵面雷达搜索资源优化算法。考虑多阵面相控阵雷达场景约束,结合机载雷达实际搜索任务需求,建立基于最大目标平均积累期望发现概率的多阵面雷达搜索资源优化模型。分别设计多智能体局部及全局观测空间和带折扣因子的复合奖励函数,基于执行者-评论者(Actor-Critic)算法结构,通过各智能体策略网络在线更新各雷达阵面搜索资源分配系数实现上述模型参数的优化求解。仿真结果表明,该算法能够根据空域-目标覆盖情况及各目标威胁权系数迅速作出精确的自主决策,在多阵面相控阵雷达搜索资源优化场景下的表现显著优于传统算法。

行星软着陆GPS有模型强化学习制导方法

由于距离地球较远、测控延时误差较大、飞行环境十分复杂且难以提前预测,行星软着陆的自主制导技术目前面临着水平位置估计困难、导航参考信息匮乏、复杂地形着陆困难等挑战。针对行星软着陆存在的困难和挑战,提出了基于引导策略搜索算法的有模型强化学习制导方法,实现了着陆器在初始状态受到扰动时无需重新规划,仍能在满足约束条件的情况下降落在指定位置。该方法首先将迭代线性二次调节器作为控制器,产生初始轨迹;其次,利用多层神经网络拟合制导策略;最后,利用控制器监督策略学习,进而收敛,产生可行策略。针对行星表面软着陆的仿真验证结果显示,该算法仅通过几次循环,即可实现初始状态变化的快速软着陆。该方法一方面表明了基于有模型强化学习的数据的高效利用率,另一方面也证明了强化学习方法在深空探测领域中具有广阔的应用前景。