基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一,识别和定位驾驶人的感兴趣目标和区域,进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息,能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络,建立轻量化驾驶人注意力预测模型。首先,以MobileNetV2作为编码器的骨干网络,提取当前帧4个尺度上的多层次空间特征,将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加,得到连续帧间的时空特征后传输至解码器。其次,基于层次化解码结构设计解码器,采用逆瓶颈3D卷积模块设计时空融合层,融合每个独立分支上的时空特征。最后,融合4个独立分支上捕获不同尺度信息的预测结果,获得驾驶人注意力预测值作为模型预测输出结果。结果表明:本文提出的驾驶人注意力预测模型,通过在多个特征尺度上的编码与解码,能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息;在DADA-2000和TDV数据集上的测试实验表明,在多个指标上优于当前同类优秀模型;模型尺寸为19 MB,单帧运算速度为0.02 s,实现了优秀的模型轻量化与实时性效果。综上所述,本研究解决了当前复杂交通环境下的动态驾驶场景驾驶人注意力预测模型体积庞大、实时性较差的问题,对智能汽车类人感知、决策等研究有一定的理论支持和应用价值。