基于车载视觉的端到端驾驶员疲劳检测模型

营运驾驶员长时间疲劳驾驶是导致事故发生的重要原因,为此,企业在营运车辆上安装相机采集驾驶员面部视频,基于模型和算法自动识别驾驶员的疲劳状态,通过语音提醒甚至启用远程护航进行疲劳干预,以此提高驾驶安全。现有的疲劳检测研究大多数都是基于面部关键点检测的算法,该类算法对面部视频的质量要求严格。在真实的营运行车环境中,夜晚光线过差,相机位置安装不理想,驾驶员面部遮挡等均会造成关键点检测失效,从而影响模型的准确性。基于卷积神经网络(CNN)和长短时记忆神经网络(LSTM)设计了一种端到端营运驾驶员疲劳检测模型,该模型以相机采集的驾驶员面部视频作为输入,使用CNN网络提取视频单帧特征,在此基础上将时序单帧特征作为LSTM网络的输入来最终识别驾驶员的疲劳状态,实验表明,模型的接收者操作特征曲线下面积(AUC)为0.9,远优于现有的面部关键点模型。此外,为了提高该模型在实际行车环境中的鲁棒性,基于光线变化及相机变化的模拟操作在训练数据上进行了数据增强,通过模型重训练进一步提高了模型的精度及鲁棒性。实验结果表明,改进前,营运车辆行车环境下模型的AUC相比实验室模型下降37.3%,而改进后AUC仅下降9.7%,模型的鲁棒性得到改善,能够更好地适应复杂的营运车辆自然驾驶环境。

基于卷积神经网络的疲劳检测改进算法

为了解决当前的疲劳检测算法准确率低或实时性差的缺点,提出一种改进的卷积神经网络疲劳检测算法。使用HOG检测算法结合KCF跟踪算法对采集的人脸进行检测和跟踪;随后调用Dlib库进行脸部关键点的提取;通过引入可变形卷积神经网络对提取的眼部和嘴部进行状态识别;通过CEW和YAWDD数据集进行测试,疲劳检测准确率达到94.36%。实验表明,与当前的疲劳检测算法相比,提出的方法能够实时地检测驾驶员疲劳,并且具有较高的准确率。

基于卷积神经网络的学习疲劳检测研究

学习疲劳检测有助于教师获取学生的不良学习状态,从而进行针对性的干预,提高教学质量,促进学生身心健康发展。本文提出一种基于卷积神经网络的学习疲劳检测方法,该方法基于改进的SSD目标检测算法实现学生面部的实时精准检测,然后将面部图像输入改进的VGG16深度卷积神经网络进行学习疲劳特征的全面有效提取,实现学习疲劳的高效识别。实验结果表明,该方法既实现了人脸的精准定位,又显著提升了人脸检测速度,并明显地提高了疲劳识别的准确度。

基于随机森林和BP神经网络的船舶驾驶员疲劳检测算法

本文针对船舶驾驶场景,提出了一种基于随机森林和BP神经网络的船舶驾驶员疲劳检测算法,及时检测船舶驾驶员的疲劳驾驶行为,对安全航行有重要意义。首先,使用随机森林算法对特征数据按照场景分类;其次,根据场景将数据分发到不同的BP神经网络模型进行预测;最后,使用船舶仿真模拟器进行实验验证。结果显示,算法识别准确率为0.82,召回率为0.65,精确率为0.69,说明本文提出的算法对船舶驾驶员疲劳驾驶行为检测有一定实用价值,且与生理数据监测方法相比,简单方便、成本更低,对驾驶员无干扰。

面部三维生理特征点在睡眠剥夺中的疲劳检测

睡眠不足、生理节律紊乱是导致交通运输岗位人员疲劳的重要因素,随着值勤“刷脸”技术的兴起,及时识别岗位人员疲劳状态是安全风险防范关口前移的必要举措。为深入探索面部疲劳的三维变化,通过30 h睡眠剥夺实验,基于主成分分析(PCA)法融合面部双侧曲率特征,提出皱纹严重程度指数(WSI),结合主观疲劳评估、精神运动警觉度测试和客观心率(HR)监测方法,综合判断受试者的面部疲劳程度。结果表明:在睡眠剥夺条件下,WSI变化和疲劳的波动特征明显,整体呈逐渐升高趋势;30 h实验数据显示,WSI变化和主观疲劳指数、反应时的波动趋势有较强相关性(P<0.01)和HR的波动趋势有一定的关联性(P<0.05)。基于WSI指数将疲劳划分为4个等级,从三维生理特征的角度验证面部疲劳静态检测的可行性,研究结果为疲劳快速检测技术提供了新思路。

基于并行短时面部特征的驾驶人疲劳检测方法研究

为实现更快速、准确的疲劳预警,提出了一种基于并行短时面部特征的驾驶人疲劳检测方法。基于加入了MicroNet模块、CA注意力机制、Wise-IoU损失函数的YOLOv7-MCW目标检测网络提取驾驶人面部的短时面部特征,再使用并行Informer时序预测网络整合YOLOv7-MCW目标检测网络得到的面部时空信息,对驾驶人疲劳状态进行检测与预警。结果表明:在领域内公开数据集UTA-RLDD和NTHU-DDD上,YOLOv7-MCW-Informer模型的准确率分别为97.50%和94.48%,单帧检测时间降低至28 ms,证明该模型具有良好的实时疲劳检测性能。

一种基于人脸特征点的飞行签派员疲劳检测系统

民航飞行签派员长时间处于工作强度大、注意力高度集中的工作状态,生理、心理都容易产生疲劳,容易导致错误签派而造成飞行安全事故。本文通过摄像头采集签派员工作图像,对采集的图像进行人脸区域及关键点检测,然后对签派员的睁闭眼状态、嘴巴张合度等进行计算得到眼睑纵横比EAR值、嘴部纵横比MAR值,接下来基于EAR、MAR获取PERCLOS、平均闭眼时长和打哈欠频率三项特征并将其进行融合,最后,根据疲劳等级判断标准,利用OpenCV、Dlib等工具开发了签派员疲劳检测系统,该系统能够检测不同程度疲劳状态。

基于改进YOLOv5s的多特征疲劳检测算法

疲劳检测是通过监测和评估个体的身体状态和生理指标来确定其疲劳程度的技术。本文主要研究基于人脸检测的疲劳检测算法。首先,在YOLOv5s目标检测算法中加入CA注意力机制,并将损失函数替换为SIoU,以实现人脸检测。然后,对检测到的人脸进行68个人脸关键点定位,提取人脸眼部和嘴部关键点位置信息,并通过横纵比判断眼部和嘴部特征状态。接着,利用关键点信息检测头部状态,判断被测者是否点头。最后,综合这些状态特征判断当前被测者是否疲劳,实现了融合眼部、嘴部和头部姿态特征的疲劳检测。实验结果表明,改进后的YOLOv5s在人脸检测的mAP提升了3.1%,检测算法整体的准确率达到了94%,满足使用需求。

基于共空间模式的脑电信号疲劳检测

因脑电信号更能直接反映大脑皮层疲劳状况,论文提出了一种基于共空间模式的脑电信号疲劳检测方法。该方法首先对数据集进行滤波等预处理操作,然后应用共空间模式提取特征,最后用支持向量机对提取到的有效空间特征二分类。此外,实验还采用了5折和10折交叉验证法进行评估;探索了脑电疲劳特征阶数相关系数m的取值;划分了脑区并对各区域疲劳识别准确率进行了比较。研究结果表明:论文方法的识别率高于基于样本熵、模糊熵等方法的识别率,疲劳检测准确率均值可达98.54%,全头皮疲劳识别率最高,额区疲劳识别率优于其他区域,可达92.54%。论文研究可为疲劳检测设备的研发提供更简单准确的检测方法,有助于促进可穿戴脑机接口在疲劳驾驶预警中的应用。

融合BiFPN的轻量化YOLO v7疲劳检测方法

为了解决矿井提升机司机疲劳检测准确率低和实时性差等问题,提出一种融合BiFPN的轻量化YOLO v7疲劳检测方法。该模型将YOLO v7主干网络中会产生冗余的卷积计算用轻量级的Ghost网络代替来提取特征并将Ghost网络中指数型的激活函数换成轻量级激活函数SMU(Smooth Maximum Unit)。融合双向特征金字塔(BiPFN)的轻量化YOLO v7疲劳检测模型在自建矿井提升机司机疲劳驾驶数据集进行实验,结果表明:平均精度达到了97.25%,实时性达到了78 FPS,相较于原始的YOLO v7网络精度提升了3.14%,速度提高了8 FPS。

用于大脑疲劳检测的fNIRS系统设计

大脑疲劳的症状体现在认知能力的下降,认知功能主要由前额叶皮层(PFC)调控。功能性近红外脑成像技术(fNIRS)能够测量一段时间内的大脑血氧浓度变化,从而间接反映大脑皮层的激活程度。设计了一款具有10通道且可覆盖前额叶区域的可穿戴fNIRS头带,并使用该头带对受试者大脑进行检测,观察受试者是否进入疲劳状态。设备采用780 nm和850 nm的激光二极管和光电二极管作为光源和光电探测器,光源采用频分复用的调制方法来区分两种波长以及屏蔽环境光的干扰,并且采用时分复用的方法驱动光源以获得较高的探测效率。fNIRS头带制作完成后将其应用于间隔认知测试,结果发现氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)的浓度均存在间隔性变化,证实了fNIRS头带的可行性。随后招募受试者参与模拟驾驶实验,并在模拟前后测量认知能力。fNIRS成像结果均能观察到在实验后期背外侧前额叶(DLPFC)皮层HbO浓度的下降,且认知任务结果显示认知能力下降,表明实验后期受试者大脑开始疲劳,由此验证了f NIRS头带检测疲劳的可行性。

航空人员疲劳检测方法研究

航空人员疲劳问题一直受到民航业的广泛关注,为减少由疲劳问题带来的民航运行风险,综合分析了民航领域下的航空人员疲劳研究现状,梳理当前疲劳研究成果,为航空领域的疲劳研究提供新的思路。明确了航空人员疲劳概念及其影响因素;从生理指标、主观测评两个检测方法维度对飞行员、空中交通管制员和机务维修人员的疲劳研究进行对比分析,并结合计算机检测方法,对飞行员和空中交通管制员的疲劳检测模型进行梳理总结;根据研究梳理提出当前疲劳检测的不足之处及发展方向。研究结果表明:客观检测手段逐渐趋于成熟,生理指标被广泛应用于疲劳检测中;疲劳检测模型的指标选取有待于进一步研究,模型识别准确性及疲劳分类精度有待提高,尤其是机务人员疲劳检测模型尚不成熟;未来驾驶舱高度自动化环境下的自动驾驶及人机功能分配问题带来的被动疲劳是研究重点。

基于YOLOv7-DCA的疲劳检测方法研究

针对疲劳检测中小尺度检测效果不佳和实时性差等问题,以矿井提升机司机疲劳检测为目标,对YOLOv7的结构进行精简并且基于AIoU(Area Intersection over Union)损失函数优化预测框与验证框的回归过程.在模型中引入双通道注意力机制实现小尺度特征的信息增强,通过融合眨眼频率、闭眼时长和打哈欠时长来判断司机的状态.实验结果表明,本文方法对疲劳检测精度达到98.85%,检测速度达到70 FPS,与其他算法相比,本文算法具有更好的准确性和实时性.

基于轻量级主干的YOLOv5驾驶员疲劳检测算法

针对目前基于深度学习的驾驶员疲劳检测算法存在着参数量和计算成本较大,难以在算力较低的设备上得到有效应用这一问题,提出一种基于轻量级主干的YOLOv5驾驶员疲劳检测算法,通过检测闭眼、张嘴、低头这3种标签的时间占比来进行疲劳判断。算法使用EfficientViT网络作为模型的主干网络,降低了整个模型的参数量以及计算成本,在模型的颈部网络部分加入上下文变换器模块并将归一化沃瑟斯坦距离作为新的损失函数以此来提高模型的准确度,减小轻量级主干所带来的损失。实验结果表明:改进后的算法准确率达到97.9%,与YOLOv5、YOLOv7、YOLOv8相比,其参数量分别降低了3.4、17.7和5.4倍,计算量分别降低了4.5、29.5和8.2倍,在CPU上的单幅图片推理速度加快至76.4 ms,能够有效地完成实时检测任务。

基于RetinaFace和ERT的眼部疲劳检测方法

针对疲劳驾驶检测问题,提出一种基于人脸图像特征的眼部疲劳检测方法。利用RetinaFace网络检测面部区域的位置;通过级联回归树(ERT,Ensemble of Regression Trees)算法获取人脸68个关键特征点,同时完成对眼部区域的划分;计算人眼纵横比,判断出睁眼和闭眼行为;根据PERCLOS度量准则实现疲劳状态的检测与判定。在YawDD数据集上的实验结果表明,该方法识别的平均准确率、精确率和召回率分别为90.24%、92.41%和91.90%,能有效识别眼部疲劳状态。

关于农机驾驶员疲劳检测的研究综述

农忙时节,农机跨区作业时经常出现驾驶员长时间驾驶农机作业导致疲劳驾驶的现象,易引发伤人、损物事故,造成人员伤亡、农机损坏。为了提高农机驾驶员疲劳检测的效率和准确性,降低因疲劳驾驶引发的事故风险,本研究对已有文献进行了广泛回顾,主要内容包括生理指标监测、行为表现分析以及使用高科技辅助工具进行疲劳预测等。研究结果表明,农机驾驶员疲劳检测应逐渐向更精确的卷积神经网络方向发展,该方向无需对驾驶员进行任何身体接触,符合人体舒适度需求,同时也能提高疲劳检测的准确性。而如何在检测准确性和实时性之间进行合理权衡,将是未来需要探索的重要问题,需要努力寻找最优方案,以确保该疲劳检测技术能够在实际场景中高效运行,并为驾驶员提供准确可靠的疲劳预警。

基于YOLOv8的驾驶员疲劳检测

交通事故通常是由驾驶员的疲劳驾驶和不规范驾驶造成的。针对驾驶员疲劳驾驶的问题,应在驾驶员疲劳时进行及时的检测预警,以消除安全隐患。目前,深度学习检测算法已较为成熟,采用YOLOv8检测模型进行目标检测是解决该问题的有效手段。基于YOLOv8n的模型,在C2f中引入采用DilatedReparamBlock修改的DWR模块,并在主干网络上加入MLCA注意力机制。使用改进后模型检测的实验数据表明,与原模型YOLOv8n相比,YOLOv8nC2f_DWR_DRB-MLCA模型的mAP@0.5和mAP@0.5-0.95分别为88.1%和39.5%,对比原模型分别提高了4.1%和1.6%,有效提升了对驾驶员在驾驶过程中因疲劳产生的闭眼与打哈欠检测的速度和精度。

汽车智能驾舱驾驶疲劳检测系统设计

疲劳驾驶是影响交通安全的主要因素,当前疲劳驾驶的检测方法普遍存在设备体积大、侵入性强、实时性差等弊端。文中设计的基于FPGA的疲劳驾驶检测系统,首先利用区域长宽比改进YCbCr人脸分割算法,提高算法在驾驶环境中对于人脸的辨识度;然后建立动态视频人眼跟踪模型,在人脸范围内定位人眼位置,采用三帧差算法检测眨眼动作,以眨眼率作为疲劳的评价指标,对司机状态进行实时监控;最后利用FPGA芯片完成实时图像数据的处理和疲劳驾驶检测。实验证明,该系统具备在光线昏暗和佩戴眼镜等场景下检测疲劳状态的能力,并且检测系统充分发挥FPGA芯片数据并行处理优势,具备体积小、速度快、集成度高,通电即可工作的特点,有利于在狭小的驾驶舱环境部署,具有一定的工程应用价值。

基于多信息协同融合的驾驶员疲劳检测的交通机电系统安全监测预警系统研究

随着科技的不断进步和经济的飞速发展,汽车保有量的飞速增长,导致道路交通事故大幅度的上升,伴随物联网的兴起,车联网成未来交通机电系统发展重中之重,为交通机电系统安全监测扩展到具体车辆提供了技术基础,因此,开展多信息融合的疲劳驾驶的监测的研究对交通机电系统安全管理体系构建尤为重要。我们研究分析了疲劳驾驶的眼部监测方法,建立矫正人脸的姿态模型,通过坐标系统使人眼位于水平位置并进行监测,利用PERCLOS原理的P8O标准监测疲劳程度。然后对车辆行驶轨迹进行监测,车辆偏离率反映车辆偏离车道的程度,对于车辆沿斜线行驶时,车道偏离量变化率来判断偏离的快慢。最后对驾驶员动作阶段设定数学模型,建立疲劳度模型。

基于语谱图的管制员疲劳检测方法

管制员作为空中交通管制的参与者,检测其工作状态对飞行的安全与正常有着重要意义。针对管制员工作过程中不同状态下的陆空通话记录,提出一种基于管制员语谱图的疲劳检测方法,通过对采集到的正常与疲劳两种状态下的陆空通话数据进行数据分割及预处理,采用傅里叶变换进行语音信号特征可视化,获得管制员语谱图;针对管制员语谱图数据搭建ConvNeXt模型,对模型进行训练学习不同状态下管制员陆空通话语谱图特征;通过实验得出所提方法对管制员疲劳状态检测准确率达97.1%,验证了方法的有效性,可以为管制员工作安排提供参考依据。