无人机集群协同主动搜索的强化学习策略研究

在多变和复杂的灾害环境中,迅速定位幸存者是一项至关重要的任务,无人机(UAV,unmanned aerial vehicle)群的主动搜索能力在这一过程中发挥着关键作用。然而,无人机的传感器性能与其飞行高度紧密相关,覆盖范围和探测精度难以平衡。为了实现高效的搜索,无人机集群需要在高空飞行以覆盖更广的区域,同时在低空飞行以提高探测的准确性。此时,策略的制定对于无人机集群的协调和决策至关重要。为了应对这些挑战,提出了协同高度自适应强化学习(CARL,collaborative altitude-adaptive reinforcement learning)方法,该方法融合了可变高度传感器模型、基于信心的评估机制以及基于近端策略优化(PPO,proximal policy optimization)的高度自适应规划器。通过CARL方法,无人机能够根据实时情况动态地调整感知策略,并做出更加明智的决策。此外,引入了一种创新的奖励塑造策略,从而在广阔环境中最大化搜索效率。通过在多种条件下的模拟测试,CARL方法在提高完全搜索率方面表现出色,相较于基线方法提升了12%,充分证明了其在提升无人机集群在主动搜索任务中的有效性。

无人机群目标搜索的主动感知方法

为提升蚁群搜索算法在规模大的栅格环境中对未知目标的搜索效率,提出基于蚁群算法的主动感知搜索框架。该框架通过应用历史环境信息来选择无人机的运动方式,并由无人机运动方式和感知域信息得到新的环境信息,从而实现无人机群的智能自动化搜索功能。新方法计算出一种具有探索偏好的未搜索概率,可使无人机搜索时偏向未搜索程度高的栅格,以此来提高算法的搜索能力。同时,以未搜索概率和信息素作为运动方式决策的依据来建立一种新的运动方式选择机制。该机制不仅考虑了目标可能出现的区域,又可兼顾未知区域,从而可实现无目标先验信息条件下的搜索过程。仿真结果表明,此算法在规模大的栅格环境中,与现有算法相比具有更高的搜索效率,并且得到的目标分布信息将更加全面。