基于4D卷积和混合注意力的驾驶行为检测方法

交通状况的复杂性和不确定性往往会影响驾驶行为模型的检测性能,为准确从前方道路视频中检测出本车的驾驶行为,提出一种基于混合注意力的4D卷积神经网络(MA4DN)模型。结合4D残差卷积块,MA4DN模型具备同时建模短程和长程时空表征的能力;为MA4DN设计一种混合注意力模块(MAM),联合学习时空感知特征、通道依赖特征和运动上下文特征等多类型信息;设计一种融合focal loss的损失函数,增强MA4DN模型对难样本的学习能力。在一个自然驾驶数据集上的实验结果表明,MA4DN的检测精度和泛化能力明显优于其它先进的3D卷积神经网络模型。