用于动作识别的双流自适应注意力图卷积网络

人体动作识别因在公共安全方面具有重要的作用而在计算机视觉领域备受关注。然而,现有的图卷积网络在融合多尺度节点的邻域特征时,通常采用各阶邻接矩阵直接相加的方法,各项重要性一致,难以聚焦于重要特征,不利于最优节点关系的建立,同时采用对不同模型的预测结果求平均的双流融合方法,忽略了潜在数据的分布差异,融合效果欠佳。为此,文中提出了一种双流自适应注意力图卷积网络,用于对人体动作进行识别。首先,设计了能自适应平衡权重的多阶邻接矩阵,使模型聚焦于更加重要的邻域;然后,设计了多尺度的时空自注意力模块及通道注意力模块,以增强模型的特征提取能力;最后,提出了一种双流融合网络,利用双流预测结果的数据分布来决定融合系数,提高融合效果。该算法在NTU RGB+D的跨主体和跨视角两个子数据集上的识别准确率分别达92.3%和97.5%,在Kinetics-Skeleton数据集上的识别准确率达39.8%,均高于已有算法,表明了文中算法对于人体动作识别的优越性。

基于多分支注意力孪生网络的目标跟踪算法

目标跟踪在计算机视觉任务中有重要的意义。近年来随着深度学习的发展,基于孪生网络的目标跟踪算法因其优异的性能而被广泛应用。然而,现有基于孪生网络的跟踪算法在目标发生较大形变、低分辨率、复杂背景等情况下的跟踪性能通常会显著下降。为此,文中提出了一种基于多分支注意力孪生网络的目标跟踪算法。该算法首先构建了超分辨率模块和数据增强模块,分别对目标模板进行超分辨率和数据增强,提升目标模板的特征表征能力;然后利用3个主干网络分别提取原始目标模板、超分辨率目标模板和数据增强目标模板的特征,并进行特征融合,同时在主干网络中应用了通道注意力模块和空间注意力模块,以提升特征提取能力;最后,将融合后的特征图与待搜索区域的特征图输入区域生成网络模块,得到目标跟踪信息。实验结果表明,该算法在OTB100数据集上的精确率为0.919、成功率为0.707,在VOT2018数据集上的准确率为0.642、鲁棒性为0.149,在实际场景中的运行速度每秒至少20次,说明该算法具有优异的跟踪性能,并且在各种复杂场景下都具有良好的鲁棒性。

基于特征相似性和特征规范化的注意力模块

近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息。为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM。该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合。为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点。