基于绿灯时间等饱和度的TD学习配时优化模型

首先对传统的绿灯时间等饱和度概念进行了扩展,提出了分级绿灯时间等饱和度.在此基础上,针对分级绿灯时间等饱和度目标,构造了奖赏函数,采用了模糊方法解决流量状态空间维数爆炸问题,建立了定周期和变周期两种模式下的四种离线TD学习配时优化模型.通过Matlab编程,开发了这四种模型的计算程序,相对于在线TD学习模型,离线TD学习模型更适合交叉口信号配时优化.以一个两相位控制的单交叉口配时优化作为算例,对比分析了四种模型的性能.总体上变周期模式的离线TD学习模型可以获得解的结构、最优解的分布,这是传统配时理论不具备的.定周期条件下,奖赏分级的效果不明显;变周期条件下,奖赏分级效果明显,交通性能更优.

基于绿灯时间等饱和度的离线Q学习配时优化模型

首先对传统的绿灯时间等饱和度概念进行了扩展,提出了分级绿灯时间等饱和度。在此基础上,针对分级绿灯时间等饱和度目标,构造了奖赏函数,建立了定周期和变周期两种模式下的四种离线Q学习配时优化模型。相对于在线Q学习模型,离线Q学习模型更适合交叉口信号配时优化,变周期模式的离线Q学习模型可以获得解的结构、最优解的分布,这是传统配时理论不具备的。算例结果表明,定周期模式下最优解是唯一的。变周期模式下最优解是不唯一的,呈带状,奖赏分级模型比奖赏不分级的最优解更加集中。