基于强化学习的干扰条件下高速铁路时刻表调整研究

研究干扰条件下列车时刻表调整对提高高速铁路实时调度指挥决策水平和行车组织效率具有重要意义。本文基于数据驱动的优化方法研究干扰条件下列车时刻表调整,旨在提升时刻表调整模型实时应用效果。考虑列车运行约束,以列车晚点时间最小为目标,基于强化学习近端策略优化(Proximal Policy Optimization,PPO)模型提出列车时刻表实时调整方法。建立列车运行仿真环境,PPO智能体与环境不断交互贪婪搜索使目标函数最优的策略。分别使用随机干扰案例和我国武广高速铁路实际数据中干扰案例测试PPO模型的性能及效率。结果表明:PPO模型优于其他常见的强化学习模型,以及调度员现场决策方案(由历史数据获得),PPO模型至少可减少13%的列车晚点时间;PPO模型收敛速度明显优于其他常用强化学习模型;PPO得到解的质量与最优解仅相差约2%,且相比于得到最优解的速度具有明显提升,使其能更好地应用于实时决策。