基于Q-learning的高速铁路列车动态调度方法

高速铁路作为国家综合交通运输体系的骨干核心,近十年来取得了飞速蓬勃的发展.其飞速发展的同时也引发了路网复杂化、分布区域广等现象,这些现象对高铁动态调度提出了更高的要求.突发事件的不确定性会对列车造成时间延误影响,甚者时间延误会沿路网传播,造成大面积列车到发晚点.而目前对于此问题的人工调度方式,前瞻性及针对性较差,难以对受影响列车进行迅速调整.针对上述问题,本文建立了以各列车在各车站延误时间总和最小为目标函数的高速铁路列车动态调度模型,在此基础上设计了用于与智能体交互的仿真环境,采用了强化学习中的Q-learning算法对模型进行求解.最后通过仿真实例验证了仿真环境的合理性以及Q-learning算法用于高铁动态调度的有效性,为高铁调度员做出优化决策提供了良好的依据.

基于改进粒子群算法的高铁列车动态调度

高铁列车易受到恶劣天气、设备故障、异物入侵等突发事件的影响,导致列车无法按照初始调度计划运行而出现列车晚点。针对高铁列车晚点动态调度问题,引入调整策略控制参数,以列车总晚点时间最小和列车总晚点数量最少之和为目标,建立了高铁列车动态调度非线性规划模型。为提高求解效率,利用动态变化不可行解比例控制参数,提出基于双适值的改进粒子群算法。以南京南到沧州区段实际运行数据为例,将所提粒子群算法与基本粒子群算法、改进遗传算法进行了比较,仿真结果表明了所提算法的优越性。在此基础上深入研究了调整策略控制参数为固定值和动态变化值时的粒子群算法优化效果,仿真结果表明调整策略控制参数值在权重随迭代次数前增后减情况下的求解效果最好。

基于策略梯度强化学习的高铁列车动态调度方法

高速铁路以其运输能力大、速度快、全天候等优势,取得了飞速蓬勃的发展.而恶劣天气等突发事件会导致列车延误晚点,更甚者延误会沿着路网不断传播扩散,其带来的多米诺效应将造成大面积列车无法按计划运行图运行.目前依靠人工经验的动态调度方式难以满足快速优化调整的实际要求.因此,针对突发事件造成高铁列车延误晚点的动态调度问题,设定所有列车在各站到发时间晚点总和最小为优化目标,构建高铁列车可运行情况下的混合整数非线性规划模型,提出基于策略梯度强化学习的高铁列车动态调度方法,包括交互环境建立、智能体状态及动作集合定义、策略网络结构及动作选择方法和回报函数建立,并结合具体问题对策略梯度强化学习(REINFORCE)算法进行误差放大和阈值设定两种改进.最后对算法收敛性及算法改进后的性能提升进行仿真研究,并与Q-learning算法进行比较,结果表明所提出的方法可以有效地对高铁列车进行动态调度,将突发事件带来的延误影响降至最小,从而提高列车的运行效率.