基于混合域注意力的深度强化学习交叉口信号控制方法

针对强化学习智能体对微观交通状态感知能力有限的问题,本文提出了一种基于混合域注意力的深度强化学习交叉口信号控制算法3DQN_MDAM。首先,为减少存储开销,设计了一种轻量的混合域注意力模块(Mixed Domain Attention Module, MDAM),仅使用少量的参数就能实现自适应地调整交通状态特征图中通道之间及空间位置之间权重的功能。然后,在现有基于双深度决斗Q网络(Double Dueling DQN, 3DQN)算法模型的基础上通过引入MDAM,使智能体自动地聚焦于对当前控制任务更为重要的交通状态信息,以增强智能体的状态感知能力。最后,利用仿真平台SUMO (Simulation of Urban Mobility)进行实验。实验结果显示,在低、中、高三种不同交通流条件下,3DQN_MDAM相比3DQN在各项指标上均得到改善,其中车辆平均等待时间分别缩短了20%、20%、17.6%。与其它常用的基准算法相比,3DQN_MDAM在各项指标上均得到最好的控制效果。