基于域适应的多模态跨被试驾驶疲劳检测方法

目前深度神经网络在跨被试的疲劳检测场景中检测性能受限,为解决上述问题,本文采用域适应对抗网络以增强个体间清醒、疲劳两类数据的跨域检测性能.具体为:首先,利用两个单模态编码器对脑电信号和眼动追踪数据进行编码;其次,提取两种单模态特征并进行跨模态对齐和特征融合实现疲劳状态的多模态表征;最后,由分类器和对抗性领域判别器分别对多模态特征进行分类和判别.两者的对抗优化实现了从源领域到目标领域的领域自适应和模型对域不变特征的学习.为评估有效性,本文进行了跨时段和跨被试驾驶疲劳检测,实验结果显示:本文的方法在跨时段和跨被试的平均准确率分别为89.25%和81.17%,比朴素的多模态方法分别高5.06%和3.82%,且均优于其他单模态方法,为驾驶疲劳检测提供了一种新颖、有效的策略.