基于BiViTNet的轻量级驾驶员分心行为检测方法

针对基于卷积神经网络的驾驶员分心行为检测,模型比较复杂、检测效率低下且缺少全局视觉表征的问题,提出了一种双分支并行双向交互神经网络BiViTNet(bidirectional interaction neural network based on vision transformer)对驾驶员行为进行识别,将ViT(vision transformer)引入到网络中对全局信息进行编码,在一定程度上提高检测精度。该网络由两个并行分支组成,第1个分支基于轻量级的CNN结构,第2个分支基于ViT结构。通过双向特征交互模块BiFIM(bidirectional feature interaction module)解决CNN Branch和ViT Branch之间特征不对称的问题,最后将两个分支的特征融合并对驾驶员行为进行检测。实验在自建的多视角驾驶员数据集上展开,验证集准确率达到97.18%,参数量为38.22 MB,计算量为271.20×10^(6)。研究表明:轻量级BiViTNet提高了驾驶员分心行为识别的准确率,可以在一定程度上辅助驾驶员的行车安全。