分层双线性池化图像行为识别方法

基于图像的行为识别由于受到类内图像背景信息的差异性和类间行为的相似性影响,至今仍然是一项极具挑战性的任务。某些行为类别在人物姿态、表情动作方面十分相似,因此对图像中各种富含语义信息的部位提取显著性特征对于提高行为识别的精度至关重要。借鉴双线性池化模型在细粒度分类中的优势,同时为避免该模型包含大量背景噪声而影响识别精度,提出一种改进的双线性池化模型用于图像行为识别。该模型利用通道和空间注意力机制关注图像中的重要目标,并通过集成多层注意力掩码图来生成RoI,这可以有效抑制图像中的背景噪声信息,提高行为识别的准确性。最终提出的方法在Stanford-40 dataset获得了85.24%准确率,同时在自定义的60类行为数据集上获得了84.57%的准确率。