基于面部多特征跨层融合网络的驾驶员疲劳检测方法

针对现有驾驶员疲劳检测很大程度依赖于局部疲劳相关信息提取而导致检测准确度不足的问题,本文提出了一种基于面部多特征融合的驾驶员疲劳检测算法,能够对整体面部疲劳状态进行特征学习,从而实现更精确的驾驶员疲劳状态检测。提出的驾驶员人脸疲劳检测算法包含3个步骤:首先使用MTCNN网络检测面部关键点并截取脸部、眼部、嘴部图像区域;其次设计一种面部多特征跨层融合网络,实现不同面部区域之间的信息交互与疲劳相关特征提取,进而通过多标签分类对单帧图像面部疲劳相关属性进行识别;最后使用LSTM对长时间序列进行建模,实现最终的驾驶员疲劳状态检测。本文提出的驾驶员疲劳检测算法在NTHU-DDD数据集进行了测试,对比实验验证了该方法的可行性和有效性。