PAC最优的RMAX-KNN探索算法

探索与利用的均衡是强化学习研究的重点之一。探索帮助智能体进一步了解环境来做出更优决策;而利用帮助智能体根据其自身当前对于环境的认知来做出当前最优决策。目前大多数探索算法只与值函数相关联,不考虑当前智能体对于环境的认知程度,探索效率极低。针对此问题,提出了一种基于状态空间自适应离散化的RMAX-KNN强化学习算法,算法根据当前智能体对于环境状态空间的离散化程度改写值函数形式,然后基于此值函数对环境进行合理的探索,逐步实现对于环境状态空间的自适应离散化划分。RMAXKNN算法通过将探索与环境状态空间离散化相结合,逐渐加深智能体对于环境的认知程度,进而提高探索效率,同时在理论上证明该算法是一种概率近似正确(PAC)最优探索算法。在Benchmark环境上的仿真实验结果表明,RMAX-KNN算法可以在探索环境的同时实现对于环境状态空间的自适应离散化,并学习到最优策略。

无人机群目标搜索的主动感知方法

为提升蚁群搜索算法在规模大的栅格环境中对未知目标的搜索效率,提出基于蚁群算法的主动感知搜索框架。该框架通过应用历史环境信息来选择无人机的运动方式,并由无人机运动方式和感知域信息得到新的环境信息,从而实现无人机群的智能自动化搜索功能。新方法计算出一种具有探索偏好的未搜索概率,可使无人机搜索时偏向未搜索程度高的栅格,以此来提高算法的搜索能力。同时,以未搜索概率和信息素作为运动方式决策的依据来建立一种新的运动方式选择机制。该机制不仅考虑了目标可能出现的区域,又可兼顾未知区域,从而可实现无目标先验信息条件下的搜索过程。仿真结果表明,此算法在规模大的栅格环境中,与现有算法相比具有更高的搜索效率,并且得到的目标分布信息将更加全面。

基于蚁群信息素辅助的Q学习路径规划算法

当Q学习应用于路径规划问题时,由于动作选择的随机性,以及Q表更新幅度的有限性,智能体会反复探索次优状态和路径,导致算法收敛速度减缓.针对该问题,引入蚁群算法的信息素机制,提出一种寻优范围优化方法,减少智能体的无效探索次数.此外,为提升算法初期迭代的目的性,结合当前栅格与终点位置关系的特点以及智能体动作选择的特性,设计Q表的初始化方法;为使算法在运行的前中后期有合适的探索概率,结合信息素浓度,设计动态调整探索因子的方法.最后,在不同规格不同特点的多种环境中,通过仿真实验验证所提出算法的有效性和可行性.