针对隧道环境中监控图像分辨率低与车辆运动轨迹特征异质性减弱导致的驾驶员识别准确率偏低问题,本文提出一种融合卷积与多头注意力机制的驾驶员识别方法(Multi-scale CNN with Multi Attention),通过充分利用驾驶过程人—车—路—环境...针对隧道环境中监控图像分辨率低与车辆运动轨迹特征异质性减弱导致的驾驶员识别准确率偏低问题,本文提出一种融合卷积与多头注意力机制的驾驶员识别方法(Multi-scale CNN with Multi Attention),通过充分利用驾驶过程人—车—路—环境多源信息的协同耦合关系提升识别精度。首先,设计开展实车驾驶试验,构建针对隧道路段的人—车—路多源驾驶数据库并设计特征集合;其次,搭建驾驶员识别模型框架,该框架通过多尺度卷积神经网络学习驾驶过程中的局部波动,并通过并行的多头自注意力层结构捕捉驾驶时间序列的长期依赖性,实现局部信息与全局信息的有效整合,从而提升隧道场景的驾驶员识别效果。结果显示,与其他先进的算法相比,所提出的模型在驾驶员身份识别任务中的准确率高达99.07%,调和F_(1)分数达到99.03%,充分证明了所提方法的有效性。此外,通过特征贡献度评估方法对隧道场景下驾驶员身份识别任务中的特征重要性进行深入探究发现,相较于车辆历史运动数据,驾驶员心理、生理及视觉特征显示出更高的贡献度。研究结果可为隧道场景多源数据应用提供支持,并对隧道安全监管提供技术支撑。展开更多
文摘识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。
文摘针对隧道环境中监控图像分辨率低与车辆运动轨迹特征异质性减弱导致的驾驶员识别准确率偏低问题,本文提出一种融合卷积与多头注意力机制的驾驶员识别方法(Multi-scale CNN with Multi Attention),通过充分利用驾驶过程人—车—路—环境多源信息的协同耦合关系提升识别精度。首先,设计开展实车驾驶试验,构建针对隧道路段的人—车—路多源驾驶数据库并设计特征集合;其次,搭建驾驶员识别模型框架,该框架通过多尺度卷积神经网络学习驾驶过程中的局部波动,并通过并行的多头自注意力层结构捕捉驾驶时间序列的长期依赖性,实现局部信息与全局信息的有效整合,从而提升隧道场景的驾驶员识别效果。结果显示,与其他先进的算法相比,所提出的模型在驾驶员身份识别任务中的准确率高达99.07%,调和F_(1)分数达到99.03%,充分证明了所提方法的有效性。此外,通过特征贡献度评估方法对隧道场景下驾驶员身份识别任务中的特征重要性进行深入探究发现,相较于车辆历史运动数据,驾驶员心理、生理及视觉特征显示出更高的贡献度。研究结果可为隧道场景多源数据应用提供支持,并对隧道安全监管提供技术支撑。
