未知环境下基于虚拟子目标的对立Q学习机器人路径规划

针对Q学习算法在复杂的未知环境下Q值更新速度慢,容易产生维数灾难等问题,提出了一种未知环境下基于虚拟子目标的对立Q学习机器人路径规划算法.该算法根据移动机器人探索过的状态轨迹,建立了2个状态链分别记录状态-动作对和状态-反向动作对,并将每个单链当前状态的Q值,依次反馈影响前一状态的Q值,直到状态链的头端.同时,在局部探测域内通过寻找最优虚拟子目标的方法解决了大规模环境下Q学习容易产生维数灾难的问题.实验结果表明,在复杂的未知环境中,该算法可以有效地加快算法学习的收敛速度,提高学习效率,以较优的路径完成机器人导航任务.