基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

融合视觉上下文与跨通道信息的生猪脸部轻量化检测模型

生猪脸部的检测,是实现生猪个体身份、情绪状态和行为模式智能化自动识别与分析的关键环节。针对生猪在真实养殖环境中脸部区域通常存在遮挡、视角多变以及模型部署端资源有限等问题,提出了一种融合视觉上下文与跨通道信息的生猪脸部轻量化检测模型。本文采用ShuffleNet v2作为检测模型的特征提取模块;设计Nonlocal-PAN特征融合模块,融合不同尺度特征图中的视觉上下文信息和跨通道信息;利用NanoDet检测头模块来完成对生猪脸部目标的检测。实验结果表明,该模型在IoU为0.50、0.95、0.50:0.95水平下,分别获得了96.98%、81.16%和67.44%的平均精度,且模型大小保持在8.2 MB的轻量化水平,具有良好的边缘端移植性和较高精度,为生猪养殖智能化监测与分析提供了新技术。