基于改进视觉自注意力模型的分心驾驶行为识别研究

针对分心驾驶行为识别问题,文章提出一种基于改进视觉自注意力模型的方法,构建了模型ViT_CR,用于估计驾驶员头部姿势,通过多任务学习提高角度预测精度,在数据集AFLW上预测误差MAE为4.61;运用ViT_CR处理连续视频帧,并基于分心驾驶识别原则设定安全阈值与辅助参数判断驾驶员是否处于分心状态。实验表明,在真实驾驶数据集Dimags上,该方法能有效利用头部姿势的时序信息进行识别,为分心驾驶监测及预警提供了一种新的思路。

基于多模态对比融合的动作识别算法研究

基于多模态数据的动作识别主要利用视觉、触觉等多感官通道数据进行人体姿态识别。由于不同模态数据的存储结构、采样频率差异性较大,多模态动作数据在特征提取过程中,容易出现语义偏移问题,影响了模型的识别效果。为解决上述问题,文章提出了基于多模态对比学习的动作识别模型(Multimodal Contrastive Fusion-based Action Recognition,MCFAR)。该模型将同一动作的不同模态特征作为正样本对,利用对比学习缩小正样本对的空间距离,解决特征提取过程中的语义偏移问题,实现各模态特征的语义对齐。在多种数据集上的实验结果证明了所提方法的有效性。