基于深度强化学习和历史轨迹的船舶路径规划

为减少船舶在航行过程中人为操作不当或者没有及时对障碍风险做出反应而造成的船舶碰撞事故,增加船舶航行的安全性,提出一种船舶路径规划方法。将船舶历史的船舶自动识别系统(AIS)数据进行相应的预处理后,运用K-means聚类算法对相应数据进行聚类,得到的一条特征轨迹,并将其作为船舶在该区域的全局静态路径规划轨迹。设计一种基于深度确定性策略梯度(DDPG)算法的局部路径避碰方法和基于深度强化学习(DQN)的局部路径回归方法,使船舶可对局部动态风险做出有效的反应。分析全局静态路径的效果,并对局部动态路径规划方法做了仿真验证,结果表明:该方法可得到一条较为安全的全局路径,并且可规避航行时的局部动态风险,为船舶安全航行提供一定的参考。