基于深度强化学习的网联混合动力汽车队列控制

针对网联混合动力汽车队列具有混杂非线性、多动力源混合驱动等特点,提出基于深度强化学习的队列分层控制策略。首先,设计了队列模型预测控制器,基于车车通信获取的车辆状态求解约束条件下满足多性能目标的队列车辆最优期望加速度。其次,为提高车辆的燃油经济性,将发动机最优工作曲线和电池特性曲线作为专家知识嵌入深度强化学习算法中。然后,通过分析电池荷电状态、车辆车速以及车辆加速度对智能体动作值的影响来阐明基于深度强化学习(Deep Q network,DQN)的队列能量管理策略是如何根据动作值实现对队列中车辆多系统动力输出之间的协调控制。最后,设计了以电池荷电状态、瞬时燃油消耗率为自变量的奖励值函数,利用最小化损失函数,采用梯度下降法对DQN网络参数进行更新,通过深度强化学习算法实现网联混合动力汽车队列的能量管理控制。试验结果表明,所提出的队列控制策略可以动态规划出队列中车辆期望加速度,实时合理的分配发动机功率与电机功率,最终实现队列中车辆的节能行驶。