基于D3QN的交通灯控制优化

交通灯在控制路口车辆通行上起着至关重要的作用。现阶段城市路口的交通灯多采用固定配时、固定相位变换的控制策略,难以满足不同的车流情况。设计出能够根据路口车流情况实时调整交通灯变换的控制方案成为智能交通领域的研究热点之一。而城市路口车流具有动态变化性,难以直接对其展开研究。为了设计一种合适的交通灯动态控制方案,本文引入深度强学习技术。将十字路口交通灯控制问题抽象成强化学习模型,采用D3QN算法对该模型进行求解。在此基础上综合考虑处于不同状态的车辆,改进状态输入和奖励函数。最终在交通模拟器SUMO上进行不同车流下的仿真实验。实验结果表明,模型训练趋于稳定后,改进奖励函数和状态输入的D3QN算法的平均队列长度在3种车流量下对比传统的固定控制策略和自适应控制策略均有明显提升,对比DQN和DDQN算法也有一定的优化,控制效果更佳。