基于BiViTNet的轻量级驾驶员分心行为检测方法

针对基于卷积神经网络的驾驶员分心行为检测,模型比较复杂、检测效率低下且缺少全局视觉表征的问题,提出了一种双分支并行双向交互神经网络BiViTNet(bidirectional interaction neural network based on vision transformer)对驾驶员行为进行识别,将ViT(vision transformer)引入到网络中对全局信息进行编码,在一定程度上提高检测精度。该网络由两个并行分支组成,第1个分支基于轻量级的CNN结构,第2个分支基于ViT结构。通过双向特征交互模块BiFIM(bidirectional feature interaction module)解决CNN Branch和ViT Branch之间特征不对称的问题,最后将两个分支的特征融合并对驾驶员行为进行检测。实验在自建的多视角驾驶员数据集上展开,验证集准确率达到97.18%,参数量为38.22 MB,计算量为271.20×10^(6)。研究表明:轻量级BiViTNet提高了驾驶员分心行为识别的准确率,可以在一定程度上辅助驾驶员的行车安全。

基于MobileViT-CA模型的营运车辆驾驶人分心行为检测

营运车辆驾驶人因其职业特殊性,驾驶过程中易产生分心驾驶行为从而引发重大交通事故。为提高营运车辆驾驶人分心驾驶行为的检测准确性和泛化性,提出一种基于改进MobileViT网络的驾驶人分心行为检测方法。首先,基于自然驾驶实车试验,构建包含安全驾驶、使用手机、喝水、整理仪容和与副驾驶交谈5类行为的营运车辆驾驶人分心行为数据集。其次,将注意力机制引入轻量型MobileViT网络,通过选择有效的网络主干MobileViT、注意力模块CA、网络嵌入位置从而设计出最优分类模型MobileViT-CA。研究结果表明:所提出的MobileViT-CA分类模型可以有效提升分类网络的性能,在正常光照条件下的营运车辆驾驶人分心行为数据集和State Farm数据集上分别达到了96.57%和99.89%的准确率,且模型具有体积小、检测精度高的优势,有较高的可靠性和泛化能力。

基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测

针对基于端到端深度卷积神经网络的驾驶行为检测模型缺乏全局特征提取能力以及视觉Transformer(vision transformer,ViT)模型不擅长捕捉底层特征和模型参数量较大的问题,本文提出一种基于深度卷积和Tokens降维的ViT模型用于驾驶人分心驾驶行为实时检测,并通过开展与其他模型的对比试验、所提模型的消融试验和模型注意力区域的可视化试验充分验证了所提模型的优越性。本文所提模型的平均分类准确率和精确率分别为96.93%和96.95%,模型参数量为21.22 M,基于真实车辆平台在线推理速度为23.32 fps,表明所提模型能够实现实时分心驾驶行为检测。研究结果有利于人机共驾系统的控制策略制定和分心预警。

基于改进Mobile Net-SSD网络的驾驶员分心行为检测

驾驶员在驾驶时出现分心行为容易诱发交通事故。为了能对驾驶员在驾驶时的分心行为进行快速、准确识别,从而降低交通事故的发生率,保障人民生命财产安全。首先,将数据集进行分析评估,筛选出7种驾驶员分心状态,并制作成Voc2017格式数据集;其次,通过深度可分离卷积替换SSD(VGG16)网络中特征提取层的方法减少网络参数量,形成Mobile Net-SSD网络模型,使模型使用场景更适合车内检测,并在浅层网络中加入HDC处理模块改进网络的特征提取层,在网络中利用该模块提高特征提取能力,有效应对浅层网络特征提取时的特征丢失现象。然后对改进后的特征提取层进行网络叠加处理,使其可以进行多尺度融合提取特征,使网络鲁棒性提升,增强网络对驾驶员行为检测的性能,构成新的MH-SSD检测网络模型,随后,使用迁移学习方法对改进后的网络进行训练。最后,使用测试集和自制的短视频对改进后的网络进行测试评估,再通过对照组进一步说明改进后网络优势。结果表明,改进后的网络mAP值达到94.01%,较Mobile Net-SSD网络模型高2%,网络参数量为SSD(VGG16)的1/2,网络检测实时帧数保持在25 fps以上,改进后的网络可以实时,准确地识别7种分心行为。MH-SSD网络可实现驾驶员分心行为实时检测,为下一步研究打下了良好基础。

疲劳驾驶检测系统的设计与实现

为了解决驾驶过程中容易出现的疲劳和分心问题,制作一个高质量的疲劳驾驶检测系统是十分必要的,本文提出了一种基于机器视觉技术的人体专注性检测方法,包含疲劳检测和分心行为检测两个部分。通过将检测结果与预设的行为特征进行比对,判断人物是否分心,并对其进行提醒或提示。实验结果表明,所提出的系统能够快速且准确地检测人体的疲劳和分心行为,具有一定的应用价值。

基于人体姿态估计的分心驾驶行为检测

为弥补现有驾驶特征提取方法的不足,提高分心驾驶行为检测的准确性和鲁棒性,将2D/3D人体姿态估计应用于驾驶人行为检测,提出一种适用于驾驶舱环境下的驾驶特征提取方法。首先通过将2D姿态估计网络Simple Baseline和分类网络ResNet进行融合,构建基于2D姿态估计的分心驾驶行为检测模型,并在分心驾驶数据集State Farm上分析不同数据增强方法、不同超参数、不同分类网络对模型性能的影响。其次,融合3D密集姿态估计网络DensePose与分类网络ResNet,构建基于3D姿态估计的分心驾驶行为检测模型。接着,在State Farm数据集上,针对模型的实时性和泛化能力,对比分析基于原始图像和基于2D/3D姿态的分心驾驶行为检测模型。最后,针对效果更优的基于2D姿态估计的分心驾驶行为检测模型,在分心驾驶数据集State Farm上,对使用不同姿态估计算法和分类网络的分心驾驶行为检测模型做了交叉试验,对比分析4个不同检测模型的优缺点。进一步地,将基于2D姿态估计的分心驾驶行为检测模型应用于实际采集的驾驶图片,对模型的泛化能力和有效性进行了测试验证。研究结果表明:与基于原始图像的检测模型相比,基于2D和3D姿态的检测模型都能显著提高分心驾驶行为的检测准确率;基于3D姿态的检测模型在检测精度方面略优,但基于2D姿态的检测实时性更好,检测效率是基于3D姿态检测的4倍;在驾驶舱单一环境下,基于2D姿态估计的分心驾驶行为检测模型能够满足分心驾驶行为检测的需求,在分心驾驶行为检测方面具有重要应用价值。