无人机集群协同主动搜索的强化学习策略研究

在多变和复杂的灾害环境中,迅速定位幸存者是一项至关重要的任务,无人机(UAV,unmanned aerial vehicle)群的主动搜索能力在这一过程中发挥着关键作用。然而,无人机的传感器性能与其飞行高度紧密相关,覆盖范围和探测精度难以平衡。为了实现高效的搜索,无人机集群需要在高空飞行以覆盖更广的区域,同时在低空飞行以提高探测的准确性。此时,策略的制定对于无人机集群的协调和决策至关重要。为了应对这些挑战,提出了协同高度自适应强化学习(CARL,collaborative altitude-adaptive reinforcement learning)方法,该方法融合了可变高度传感器模型、基于信心的评估机制以及基于近端策略优化(PPO,proximal policy optimization)的高度自适应规划器。通过CARL方法,无人机能够根据实时情况动态地调整感知策略,并做出更加明智的决策。此外,引入了一种创新的奖励塑造策略,从而在广阔环境中最大化搜索效率。通过在多种条件下的模拟测试,CARL方法在提高完全搜索率方面表现出色,相较于基线方法提升了12%,充分证明了其在提升无人机集群在主动搜索任务中的有效性。

基于A-HPSO算法的无人机集群协同目标分配

首先对透明态势下无人机集群近视距空战协同任务目标分配这一问题进行了数学建模。针对在建模后问题求解过程中时常产生的“算法易陷入局部极值而无法继续搜索”这一“算法早熟”问题,在混合粒子群算法(HPSO)基础上,提出了一种引入堵塞检测机制和强制打散操作的自打散混合粒子群算法(A-HPSO)。为验证研究思路及改进后算法性能,分别将HPSO算法及其两种改进型算法M-HPSO算法和I-HPSO算法与A-HPSO算法在六种标准测试目标优化函数及固定-随机两种空战态势下所建模问题上进行对比仿真。实验结果显示,在多约束多目标函数的优化求解上,改进后的A-HPSO算法显著避免了“算法早熟”问题的发生,并进一步提升了HPSO算法的收敛速度和收敛精度。

一种欧椋鸟群协同算法

针对当前基于控制策略解决群体协同问题的不足之处,受生物群集行为启发,提出一种欧椋鸟群协同算法(starling swarm coordination algorithm,SSCA)。该算法采用无中心自组织思想,利用智能体(agent)从其最邻近的6、7个邻居信息中寻找最优解,并通过智能体之间相互作用的10条简单行为规则,描述整个群体运动从无序行为到有序行为的演化过程。结合欧椋鸟群集行为最新研究成果,从局部感知、运动行为、安全规避、适应进化4个方面论述欧椋鸟群协同算法的基本机理。以无人机集群协同飞行为应用实例,分别采用粒子群算法和本文算法测试无人机集群执行任务效率,并采用本文算法模拟无人机集群聚合、分散、规避等行为。实验结果表明,本文算法在执行任务效率上优于传统粒子群算法,具有有效性与可靠性。