基于视角置信度和注意力的暴力行为识别

暴力行为容易出现遮挡情况,识别准确率较低.目前,一些算法加入多视角视频输入来解决遮挡问题,以等量权重将所有视角数据融合,但是不同视角的视频因拍摄距离和遮挡情况本身就对识别存在差异性.针对该问题,本文提出一种基于视角置信度和注意力的暴力行为识别方法,提高暴力识别的准确率.本文将时序差分模块TDM的输入扩展成多视角,将通道注意力机制运用在片段维度来增强TDM中跨段特征提取能力,通过背景抑制方法突显移动目标的纹理特征并计算出每个视角图像的置信度,引入双线性池化方法融合多视角视频特征,根据视角置信度分配每个视角局部特征的权重.本文在公开数据集CASIA-Action和自制数据集上进行了验证.实验表明,本文提出的视角置信度方法优于改进前的双线性池化方法,暴力行为准确率相较于现有的行为识别方法取得了更好的效果.