基于CNN和HOG的司机分心检测

针对现有CNN网络模型只关注网络最后一层的输出而未能充分利用中间层的输出特征,而事实上中间层特征包含很多有用信息,提出一种端到端的提取多阶段中间网络层输出特征,并与HOG(Histogram of Oriented Gradient)特征融合的司机分心检测模型。模型参数量仅为3.6 M,同时采用L2权重正则化、Dropout以及批量正则化对模型性能进行提升。在两个公开的数据集State Farm Distracted Driver Detection(SFD3)和AUC Distracted Driver(AUCD2)进行了实验验证,在SFD3准确度达到99.78%,比现有论文提高约3百分点,网络参数量分别减少约95%;在AUCD2上准确度达到95.15%,比现有论文提高约2百分点,网络参数量减少约60%。

基于上下文语义联合YOLOv7的分心驾驶检测算法

针对分心驾驶检测方法存在实时性差、精度低、可部署性差的问题,提出了一种基于上下文语义增强联合YOLOv7的分心驾驶检测算法。首先将模型backbone和head部分的ELAN模块替换成语义上下文增强模块(contextual transformer,CoT),提高上下文语义信息的捕获能力。其次,将语义关联增强机制(triplet attention)融入卷积块中,插入backbone和head的连接头之间以及融合MP2模块,强化目标间的关联关系以及提升目标特征提取能力。最后,将自注意力双向Transformer模块(Biformer)模块融合SPPCSPC模块,提升模型对分心驾驶中的复杂场景和遮挡目标的处理能力。改进的YOLOv7算法在分心驾驶数据集下平均精度均值(mean average precision,mAP)达到了87.3%,比原算法提高了4.3%,模型参数量减少了4.7%,每秒传输帧数达到了90 fps,具有较好的检测精度与速度。

基于BiViTNet的轻量级驾驶员分心行为检测方法

针对基于卷积神经网络的驾驶员分心行为检测,模型比较复杂、检测效率低下且缺少全局视觉表征的问题,提出了一种双分支并行双向交互神经网络BiViTNet(bidirectional interaction neural network based on vision transformer)对驾驶员行为进行识别,将ViT(vision transformer)引入到网络中对全局信息进行编码,在一定程度上提高检测精度。该网络由两个并行分支组成,第1个分支基于轻量级的CNN结构,第2个分支基于ViT结构。通过双向特征交互模块BiFIM(bidirectional feature interaction module)解决CNN Branch和ViT Branch之间特征不对称的问题,最后将两个分支的特征融合并对驾驶员行为进行检测。实验在自建的多视角驾驶员数据集上展开,验证集准确率达到97.18%,参数量为38.22 MB,计算量为271.20×10^(6)。研究表明:轻量级BiViTNet提高了驾驶员分心行为识别的准确率,可以在一定程度上辅助驾驶员的行车安全。

基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测

针对基于端到端深度卷积神经网络的驾驶行为检测模型缺乏全局特征提取能力以及视觉Transformer(vision transformer,ViT)模型不擅长捕捉底层特征和模型参数量较大的问题,本文提出一种基于深度卷积和Tokens降维的ViT模型用于驾驶人分心驾驶行为实时检测,并通过开展与其他模型的对比试验、所提模型的消融试验和模型注意力区域的可视化试验充分验证了所提模型的优越性。本文所提模型的平均分类准确率和精确率分别为96.93%和96.95%,模型参数量为21.22 M,基于真实车辆平台在线推理速度为23.32 fps,表明所提模型能够实现实时分心驾驶行为检测。研究结果有利于人机共驾系统的控制策略制定和分心预警。

疲劳驾驶检测系统的设计与实现

为了解决驾驶过程中容易出现的疲劳和分心问题,制作一个高质量的疲劳驾驶检测系统是十分必要的,本文提出了一种基于机器视觉技术的人体专注性检测方法,包含疲劳检测和分心行为检测两个部分。通过将检测结果与预设的行为特征进行比对,判断人物是否分心,并对其进行提醒或提示。实验结果表明,所提出的系统能够快速且准确地检测人体的疲劳和分心行为,具有一定的应用价值。

驾驶分心行为及应对策略研究综述

驾驶分心行为对驾驶安全具有重要影响,文中对驾驶分心行为的定义、来源、影响因素、心的检测,研究实验方法以及缓解应对策略进行了综述。

基于MobileViT-CA模型的营运车辆驾驶人分心行为检测

营运车辆驾驶人因其职业特殊性,驾驶过程中易产生分心驾驶行为从而引发重大交通事故。为提高营运车辆驾驶人分心驾驶行为的检测准确性和泛化性,提出一种基于改进MobileViT网络的驾驶人分心行为检测方法。首先,基于自然驾驶实车试验,构建包含安全驾驶、使用手机、喝水、整理仪容和与副驾驶交谈5类行为的营运车辆驾驶人分心行为数据集。其次,将注意力机制引入轻量型MobileViT网络,通过选择有效的网络主干MobileViT、注意力模块CA、网络嵌入位置从而设计出最优分类模型MobileViT-CA。研究结果表明:所提出的MobileViT-CA分类模型可以有效提升分类网络的性能,在正常光照条件下的营运车辆驾驶人分心行为数据集和State Farm数据集上分别达到了96.57%和99.89%的准确率,且模型具有体积小、检测精度高的优势,有较高的可靠性和泛化能力。

用于驾驶员分心行为识别的姿态引导实例感知学习

目的基于图像的驾驶员分心行为识别可认为是一种二级图像子分类问题,与传统的图像分类不同,驾驶员分心识别任务中的各类区别比较微小,如区分一幅图像是在弄头发还是打电话完全取决于驾驶员手上是否有手机这个物体,即图像中的较小区域就决定了该图像的类别。对于那些图像差异较小的类别,通常的图像分类方法无法高精度地区分。因此,为了能够学习到不同驾驶行为之间微小的表征区别,提出了一种姿态引导的实例感知学习网络用于驾驶员行为识别。方法首先利用人体检测器检测到人体框,利用人体姿态估计获取具有辨识性的手部相关区域,将人体和手部区域的特征作为实例级别的特征,以此设计一种实例感知学习模块充分获取不同层级的上下文语义信息。其次利用手部相关特征构建双通道交互模块来对关键空间信息进行表征的同时,对视觉特征进行优化,组建成一个多分支的深度神经网络。最后将不同分支的结果进行融合。结果实验结果表明,本文方法在AUC(American University in Cairo)数据集和自建三客一危数据集上的测试准确率分别达到96.17%和96.97%,相较于未使用实例感知模块和通道交互的模型,准确率显著改善,在复杂数据集下识别效果提升明显。结论本文提出的姿态引导的实例感知学习网络,在一定程度上降低了环境的干扰,准确度高,能辅助驾驶员安全行车,减少交通事故的发生。

基于改进Mobile Net-SSD网络的驾驶员分心行为检测

驾驶员在驾驶时出现分心行为容易诱发交通事故。为了能对驾驶员在驾驶时的分心行为进行快速、准确识别,从而降低交通事故的发生率,保障人民生命财产安全。首先,将数据集进行分析评估,筛选出7种驾驶员分心状态,并制作成Voc2017格式数据集;其次,通过深度可分离卷积替换SSD(VGG16)网络中特征提取层的方法减少网络参数量,形成Mobile Net-SSD网络模型,使模型使用场景更适合车内检测,并在浅层网络中加入HDC处理模块改进网络的特征提取层,在网络中利用该模块提高特征提取能力,有效应对浅层网络特征提取时的特征丢失现象。然后对改进后的特征提取层进行网络叠加处理,使其可以进行多尺度融合提取特征,使网络鲁棒性提升,增强网络对驾驶员行为检测的性能,构成新的MH-SSD检测网络模型,随后,使用迁移学习方法对改进后的网络进行训练。最后,使用测试集和自制的短视频对改进后的网络进行测试评估,再通过对照组进一步说明改进后网络优势。结果表明,改进后的网络mAP值达到94.01%,较Mobile Net-SSD网络模型高2%,网络参数量为SSD(VGG16)的1/2,网络检测实时帧数保持在25 fps以上,改进后的网络可以实时,准确地识别7种分心行为。MH-SSD网络可实现驾驶员分心行为实时检测,为下一步研究打下了良好基础。

基于人体姿态估计的分心驾驶行为检测

为弥补现有驾驶特征提取方法的不足,提高分心驾驶行为检测的准确性和鲁棒性,将2D/3D人体姿态估计应用于驾驶人行为检测,提出一种适用于驾驶舱环境下的驾驶特征提取方法。首先通过将2D姿态估计网络Simple Baseline和分类网络ResNet进行融合,构建基于2D姿态估计的分心驾驶行为检测模型,并在分心驾驶数据集State Farm上分析不同数据增强方法、不同超参数、不同分类网络对模型性能的影响。其次,融合3D密集姿态估计网络DensePose与分类网络ResNet,构建基于3D姿态估计的分心驾驶行为检测模型。接着,在State Farm数据集上,针对模型的实时性和泛化能力,对比分析基于原始图像和基于2D/3D姿态的分心驾驶行为检测模型。最后,针对效果更优的基于2D姿态估计的分心驾驶行为检测模型,在分心驾驶数据集State Farm上,对使用不同姿态估计算法和分类网络的分心驾驶行为检测模型做了交叉试验,对比分析4个不同检测模型的优缺点。进一步地,将基于2D姿态估计的分心驾驶行为检测模型应用于实际采集的驾驶图片,对模型的泛化能力和有效性进行了测试验证。研究结果表明:与基于原始图像的检测模型相比,基于2D和3D姿态的检测模型都能显著提高分心驾驶行为的检测准确率;基于3D姿态的检测模型在检测精度方面略优,但基于2D姿态的检测实时性更好,检测效率是基于3D姿态检测的4倍;在驾驶舱单一环境下,基于2D姿态估计的分心驾驶行为检测模型能够满足分心驾驶行为检测的需求,在分心驾驶行为检测方面具有重要应用价值。