航天器轨道追逃动力学与控制问题研究综述

随着航天器交会与接近操作技术的快速发展,轨道追逃问题逐渐成为航天领域的研究热点。从动力学与控制视角,对航天器轨道追逃问题的研究现状进行综述。给出了基于定量微分对策的轨道追逃问题模型的一般形式,系统梳理了各种类型的轨道追逃问题;对于追逃策略求解,分别针对闭环策略和开环策略,分析了各种方法的优缺点;围绕人工智能算法与轨道追逃问题的结合,阐述了基于深度神经网络和强化学习的轨道追逃策略的研究现状。关于未来展望,提出了追逃博弈态势分析、多航天器博弈控制、三体条件下博弈动力学与控制等发展方向。

基于改进蜣螂优化的GEO轨道多脉冲追逃博弈

研究了考虑J_(2)摄动、脉冲推力情况下,具有感知延迟的GEO(geosynchronous Earth orbit)轨道追逃博弈问题,建立了综合考虑燃料消耗、单次脉冲速度增量、脉冲时间间隔、任务时长、脉冲数量以及终端距离下的轨道追踪策略优化模型。涉及的优化变量包括脉冲个数、机动时刻序列以及脉冲增量序列。追踪航天器通过多次脉冲追踪目标航天器。为了提高问题求解效率,提出了一种利用Bernoulli混沌映射和最优值引导的改进蜣螂优化算法IBDBO(improved Bernoulli dung beetle optimization),并且为解决终端约束难以满足的问题,引入Lambert机动修正。通过与其他智能算法的对比试验,验证了本算法在收敛速度、收敛稳定性和优化效率上的优势。进而,在一些存在感知延迟的真实场景下的仿真验证了本算法规划追踪策略的有效性,探讨了博弈双方最小距离与目标航天器机动能力以及感知延迟时间之间的因果关系。

不完全信息Epsilon纳什均衡的航天器末端追逃博弈策略

针对不完全信息下的航天器末端追逃问题,提出了一种满足Epsilon纳什均衡的微分博弈控制策略。首先,建立了完全信息下的有限时间追逃纳什均衡策略对,并将其作为目标航天器实际采取的控制策略,使目标航天器掌握博弈进程的完全信息,进而获得更好的逃逸性能。在此基础上,考虑拦截航天器不能获取目标控制矩阵信息的态势,设计了基于广义卡尔曼滤波的行为学习信息估计算法,使拦截器能够对目标的不完全信息进行估计,并提出了不完全信息下的末端追逃博弈控制策略。经过理论分析,证明了所设计的不完全信息下微分博弈策略对满足Epsilon纳什均衡。最后,仿真结果表明该算法可以有效估计目标的不完全信息,确保拦截器能够在有限时间内快速拦截目标。

航天器轨道追逃态势分析的水平集方法

航天器轨道追逃是当前航天动力学与控制领域的研究热点。针对轨道追逃定性问题开展研究,提出了一种综合运用降维动力学模型和后向可达集的航天器近距离轨道追逃态势分析方法,以支撑任务可行性分析;通过在视线旋转坐标系下推导博弈系统降维动力学模型,建立近距离追逃定性问题模型,减少了状态空间维度;使用目标集的后向可达集描述捕获区并划分追逃状态空间,基于水平集方法建立可达集在降维动力学模型中演化的动态HJI(Hamilton-Jacobi-Isaacs)偏微分方程,并设计WENO-TVD求解器数值计算HJI方程终值问题粘性解,完成了追逃目标集的准确描述并避免了可能出现的终端奇异现象。通过不同推力构型的追逃场景数值仿真验证了方法的有效性,展现了一次计算批量化处理初始态势的功能。

航天器交会型轨道追逃策略的滚动时域优化

针对航天器自由时域交会型轨道追逃过程中的测量误差等不确定性对交会的影响,提出了一种基于滚动时域优化的高时效策略求解方法。根据微分对策理论推导得到博弈鞍点控制策略,并对问题进行等价转换;通过预先离线求解开环鞍点策略,将问题初始状态和相应的解作为样本以进行神经网络训练,训练后的网络结构可以快速得到相应问题的近似解。为了更好地应对博弈环境中的测量噪声,基于神经网络结构设计了滚动时域求解框架,并通过周期性的滚动求解最终实现对逃逸航天器的交会。数值仿真表明,所提出的策略可以有效应对测量噪声不确定性,且相比于文献中已有的策略,计算耗时可从分钟级降至秒级。

航天器追踪-逃逸-防御三方博弈均衡解

为提高航天器在轨防御能力,对航天器追踪-逃逸-防御三方博弈场景进行了研究。博弈中,追踪航天器(追踪器)旨在拦截逃逸航天器(逃逸器),逃逸器旨在躲避追踪器,而防御航天器(防御器)通过主动拦截追踪器来保护逃逸器。由于防御器的存在,追踪器在接近目标时不得不规避防御器,而逃逸器和防御器之间也可以开展合作。对于这样的场景,综合能量和距离指标,建立了线性二次型微分对策模型,推导了三方博弈的纳什均衡条件,求解了追踪器的最优追踪制导律和逃逸器与防御器的最优合作逃逸-防御制导律。进一步考虑多防御器的场景,求解了三方多人博弈的纳什均衡解。仿真结果表明,防御器的存在提高了逃逸器的生存能力,二者可以在机动加速度劣势情况下共同抵御一个机动能力强的追踪器。处在绕飞护卫下的防御器的初始位置并非离追踪器或逃逸器越近越好,而是存在优势位置。

基于自适应增强随机搜索的航天器追逃博弈策略研究

针对航天器与非合作目标追逃博弈的生存型微分对策拦截问题,基于强化学习研究了追逃博弈策略,提出了自适应增强随机搜索(adaptive-augmented random search,A-ARS)算法。针对序贯决策的稀疏奖励难题,设计了基于策略参数空间扰动的探索方法,加快策略收敛速度;针对可能过早陷入局部最优问题设计了新颖度函数并引导策略更新,可提升数据利用效率;通过数值仿真验证并与增强随机搜索(augmented random search,ARS)、近端策略优化算法(proximal policy optimization,PPO)以及深度确定性策略梯度下降算法(deep deterministic policy gradient,DDPG)进行对比,验证了此方法的有效性和先进性。

基于强化学习的舰船目标跟踪有限理性博弈算法研究

针对现实中的决策者并非总能完全理性分析问题的情况,提出有限理性下的追逃博弈算法。建立追逃博弈模型,先求解完全理性下博弈双方的鞍点策略。引入有限理性level-k模型,对追击者和躲避者思考策略的层次进行结构性假设,允许追逃双方具备不同的策略推理能力,并给出相应等级的值函数和策略,策略满足HJI方程。随着等级的增加,策略最终会趋于纳什均衡。由于HJI方程难以直接求解,基于强化学习的actor-critic算法进行求解,设计算法使追击者能够估算出躲避者的思维等级并采取合适的策略。以舰船为对象,将舰船运动简化为二维的数学模型,建立舰船追逃博弈模型,对其进行算法仿真验证。

一种结合MADDPG和对比学习的无人机追逃博弈方法

针对复杂作战环境中无人机的追逃博弈问题,建立了其马尔科夫模型,采用零和博弈思想,设计了追逃双方的奖励函数。构建了集中训练-分布执行的多智能体深度确定性强化学习算法(MADDPG)的训练流程,求解得到追逃博弈的纳什均衡解。针对以追逃双方初始位置等高维向量构成的捕获域(逃逸域)难以解析表征的问题,在MADDPG博弈网络基础上,结合深度对比学习算法,通过构建和训练孪生神经网络,实现了对高维捕获域(逃逸域)的间接表征。仿真结果表明,MADDPG算法可以有效求出给定条件下的无人机追逃博弈的纳什均衡解,同时,对比学习算法结合收敛的MADDPG网络对高维的捕获域(逃逸域)表征的正确率达到95%。

多人追逃的协商微分对策最优躲避策略

针对夺旗运动中追逃博弈的最优躲避问题,提出了一种多人追逃的协商微分对策最优躲避策略。首先,建立夺旗追逃线性化模型,并对模型进行降阶。其次,考虑能量约束和交汇时刻博弈双方距离的代价函数,构造了哈密顿函数。最后,利用Hamilton-Jacobi-Isaacs(H-J-I)方程组,求解得到了协商微分对策最优躲避策略。对所设计最优躲避策略进行了“二追一”仿真和多层追捕仿真,结果表明夺旗一方的队员成功夺旗的同时能量消耗最小,验证了本文提出协商微分对策躲避策略的有效性和适用性。

仿鹰鸽捕食逃逸行为的多无人机分组对抗博弈方法

针对多无人机对抗问题,本文提出了一种三维空间中仿鹰鸽捕食逃逸行为的多无人机分组对抗博弈方法.在分析鹰鸽捕食逃逸行为的基础上,文章构建了多无人机博弈对抗系统模型,并定义了微分博弈中的连续可微值函数,证明了值函数满足Hamilton-Jacobi-Isaacs(HJI)方程,从而保证鞍点策略存在.使用最优分配方法,为仿鹰无人机一方设计了分组对抗分配策略,以解决多无人机追逃场景中的任务分配问题.本文对比仿真实验结果验证了所提出方法的有效性.

群体追逃微分博弈

本文以微分博弈和经典的追逃问题为主线,对群体追逃微分博弈的历史发展脉络进行梳理。针对大规模群体追逃问题,从平均场博弈视角出发,阐释了强化学习技术的应用前景。提出探索解决逆向追逃微分博弈的观点,可适用于水下无人舰艇、陆地机器人以及空中无人机集群等同类场景。区别于其他综述性文章,作者对于俄罗斯以及苏联在本领域发展历史中代表性的学术流派给予了较多关注。

基于距离信息的追逃策略:信念状态连续随机博弈

追逃问题的研究在对抗、追踪以及搜查等领域极具现实意义.借助连续随机博弈与马尔科夫决策过程(Markov decision process, MDP),研究使用测量距离求解多对一追逃问题的最优策略.在此追逃问题中,追捕群体仅领导者可测量与逃逸者间的相对距离,而逃逸者具有全局视野.追逃策略求解被分为追博弈与马尔科夫决策两个过程.在求解追捕策略时,通过分割环境引入信念区域状态以估计逃逸者位置,同时使用测量距离对信念区域状态进行修正,构建起基于信念区域状态的连续随机追博弈,并借助不动点定理证明了博弈平稳纳什均衡策略的存在性.在求解逃逸策略时,逃逸者根据全局信息建立混合状态下的马尔科夫决策过程及相应的最优贝尔曼方程.同时给出了基于强化学习的平稳追逃策略求解算法,并通过案例验证了该算法的有效性.

回合制轨道博弈中MCTS算法的改进与应用

航天器回合制追逃博弈中的变轨感知延迟使得微分对策法求解困难,基于深度强化学习的博弈算法可解释性弱,在工程上的运用仍存在风险。针对航天器回合制追逃博弈问题,提出了一种预测价值积累的蒙特卡洛树搜索(PVA-MCTS)算法。该算法基于航天器轨道运动的可预知性,对博弈过程中的决策价值进行预测并积累,解决了航天器回合制追逃博弈奖励稀疏、时间跨度大的问题,采用的自适应扩展方法提升了学习效率。将其用于求解航天器回合制追逃博弈问题,并与蒙特卡洛树搜索(MCTS)算法求解得到的结果对比,结果表明PVA-MCTS算法对追踪航天器和逃逸航天器分别有约27.6%的追捕用时缩短和约6.8%的逃逸时间延长。该算法的提出可加快推进后续轨道博弈技术在非合作目标接近、碰撞规避等领域应用的落实落地。

基于行为树的多星轨道追逃博弈方法

多智能体强化学习是解决空间追逃博弈问题的一类有效方法,但在多星追逃博弈场景下存在复杂性高、训练时间长、难以收敛等问题。本文提出一种基于行为树的多星轨道追逃博弈方法,将对多个目标的复杂追逃博弈问题分解为对单一目标的追逃博弈问题。利用行为树构建多星追逃任务分配与博弈决策框架,以最大化追击成功概率为目标建立最优任务分配模型,并利用遗传算法进行求解,实现多星追逃任务快速分解;对于分配的追击任务,各卫星自主选择多智能体深度确定性策略梯度算法训练得到的博弈策略开展博弈决策。结果表明,本文所提方法能将多星轨道博弈任务有效分解,并在行为树的驱动下成功完成对目标的追击。

基于航天器协同作战模式的仿真研究

提出了一种在轨道空间中卫星集群中进行的非合作目标追踪和逃逸博弈的方法。该方法解决了复杂的动态模型和卫星之间难以协调的问题。基于多智能体深度强化学习算法,首先构建了卫星集群博弈场景的动态模型,并通过多智能体深度确定性策略梯度算法(MADDPG)训练每个卫星的最优策略,同时考虑最小燃料消耗和最短时间,然后使用分布式执行来实现追逐和逃逸博弈。结果表明,当追逐和逃逸卫星的性能相同时,它们之间的距离保持恒定,达到纳什均衡点;当逃逸的航天器、追逐卫星的数量和性能不同时,追逐卫星可学习最优策略并成功捕获逃逸的航天器。该方法可为解决轨道空间中卫星集群的博弈问题提供一种新的方法和途径。

近地共面轨道上两飞行器在径向连续小推力下的追逃界栅

针对近地共面轨道上两飞行器在轨追逃对策问题,以轨道根数为状态变量,在双方均为径向连续可变小推力的假设条件下,研究定性微分对策方法中考虑推力性能的界栅存在条件.在此条件下推导出可变推力的最优控制量,以及以偏心率和幅角为状态变量的界栅表达式.仿真实例在给定捕获半径的条件下,给出了偏心率的界栅曲线,并表明当对策结束时。

未知环境下多机器人协作追捕算法

研究了在未知环境下一种多机器人协作追捕多个移动目标方法,将追捕过程分为环境地图创建、构建追捕团队,及团队成员协作快速捕获目标三部分.设计抽象传感器模型用于追捕者探索障碍物.综合考虑与捕获目标相关的各种因素建立属性关系样本数据集,提出了利用关联规则数据挖掘技术构建追捕团队的方法.通过对追捕目标位置预测,将追捕问题类比为多机器人协作路径规划问题,在环境地图基础上求解追捕团队到达目标位置的最优路径.仿真结果表明,多机器人能够高效地协作捕获移动目标,证明了所提方法在复杂动态环境下实现的可行性及有效性.

动态环境下多机器人合作追捕研究

主要研究了多个自主型移动机器人合作追捕多个运动猎物的追捕—逃避问题.从基于范例的推理缩小任务招标范围、引入辅助决策矩阵改善联盟决策两个方面对传统的合同网协议进行了改进,以减少任务协商过程中的通信开销,接着引入了联盟生命值、违约金等概念,在此基础上,实现了一种允许动态联盟的多机器人合作追捕算法.仿真实验证明了所提算法的可行性和有效性.

导弹攻防对抗中追逃对策模型与配点求解法

未来的来袭导弹可能具备较强的机动性,其弹道不可预测,针对拦截弹追击此类目标的追逃问题,基于微分对策(differential game,DG)理论建立追逃博弈模型并给出求解方法。模型在分析两者相对运动的基础上,考虑地球重力和自转的影响,以推力角为控制变量,离地高度、速度和经度角为状态变量,建立微分方程组。然后将追逃DG模型转化为单边最优对策问题;并给出改进的高精度五阶Gauss-Lobatto多项式配点法来近似状态变量对时间的导数,将微分方程组转换为代数约束,降低非线性规划问题复杂程度。最后给出了本文研究的仿真实例。