基于混合专家模型的智能网联汽车换道决策方法

高速公路换道决策问题场景复杂、不确定性强、实时性要求高,是国内外自动驾驶领域的研究热点和难点。深度强化学习(deep reinforcement learning,DRL)具有良好的决策实时性和面向复杂场景的适应性,然而,在训练样本与成本有限的条件下学习效果有限,其难以保证最优的驾驶效率和完全的行驶安全性。本文提出了一种基于改进DRL的混合专家模型(DRL-mixture of expert,DRL-MOE)换道决策方法。首先,模型的上层分类器根据输入状态特征动态地决定下层DRL专家或启发式专家的激活状态。为提高DRL专家的学习效果,本方法通过行为克隆(behavior cloning,BC)对神经网络参数进行初始化,对传统深度确定性策略梯度算法(deep deterministic policy gradient,DDPG)进行了改进。将智能驾驶员模型和最小化换道引起的总制动策略设计为启发式专家,以确保行驶安全性。仿真结果表明,本文所提出的DRL-MOE模型方法与非混合专家型DRL方法相比,在驾驶效率方面提高了15.04%,并确保了零碰撞和零出界,具有较高的鲁棒性和更优的效果。