基于强化学习的高速列车群运行调整方法

随着我国高速铁路建设成网,行车密度不断提高,在出现突发事件导致列车晚点时,行车调度的复杂性和难度急剧增加,如何动态调整列车群运行,以减少晚点,提高准点率是运行调整的核心.本文提出了一种适用于突发事件下高速列车群运行调整的无模型强化学习方法.首先将多个列车在多个车站和闭塞区间的运行调整建模为受约束的资源占用和配置的多阶段序贯决策过程,提出了基于动态时空拓扑矩阵的车站和区间统一化建模方法.针对高铁列车群时空关联强的特点,首次提出了一种包含车辆位置、路网资源等时空分布信息的强化学习状态空间、动作空间和回报函数,构建了有效的奖励反馈机制.然后,针对高铁运行系统搜索空间巨大的难点,提出了启发式动作子空间自适应生成方法,利用部分显式静态约束构建启发式规则减少搜索空间,有效减少了无模型强化学习的试错次数,提高了求解效率,也保留了无模型通用性好的优点.最后,基于京广高铁实际案例的仿真分析表明,在发生不同时空范围的大风限速,导致多车延误的事件下,所提出的算法均能较好收敛,明显减少列车群内晚点传播,与MILP,ACO,FCFS方法相比,列车群的平均晚点时间可减少2%~20%.