基于ADDPG策略的超立方体卫星编队控制

针对大规模卫星高精度编队控制问题,提出了一种基于吸引法则的深度确定性策略梯度控制方法(attraction-based deep deterministic policy gradient,ADDPG)。首先阐述了超立方体拓扑编队拓扑构型特性,建立了卫星编队动力学模型,设计了超立方体卫星编队虚拟中心用于衡量编队整体飞行状态。为解决无模型深度强化学习的探索和扩展平衡问题,设计了ε-imitation动作选择策略方法,最终提出了基于ADDPG的卫星编队控制策略。算法不依赖于环境模型,通过充分利用已有信息,可以降低学习模型初期探索过程中的盲目试错。仿真结果表明ADDPG策略以较少的能量消耗达到更高的精度,相比知名算法在加快编队收敛速度的同时,误差减少5%以上,能量消耗减少7%以上,验证了算法的有效性。