智能体记忆引导的学习与决策: 海马体记忆回放的视角

生物体记忆回放对提高其学习和决策能力有重要作用.研究表明,生物体记忆回放主要是由位于海马体内的位置细胞完成的,在回放激活顺序和具体激活位置上具有多样性,但是现有模拟海马体记忆回放研究方法大多形式单一,只模拟了单方向或者部分情形下的回放,难以较好地复现海马体记忆回放机理.因此,结合生物体记忆回放机理,多方面模拟海马体位置细胞的记忆回放功能来提高智能体的学习与决策性能,具有重要的研究价值和应用前景.针对静态栅格场景,本文通过使用组合的强化学习机制来模拟海马体重新激活的多样性,设计了一种轨迹采样和优先扫描两个过程相互交替使用的双向搜索模型,来模拟海马体不同位置记忆的再激活,同时,通过在线学习和离线学习的方式分别模拟生物体清醒和睡眠状态下的记忆机理,更好地复现海马体的记忆回放过程.进一步地,针对变化的动态场景,设计具有“一套参数,两段更新”功能的深度双向搜索模型,来提高智能体动态环境下的学习与决策性能.复杂静态和动态栅格环境下智能体导航实验以及与其他强化学习算法的性能对比实验验证了本文所提模型的有效性.