基于运动注意力模块的多分支动作识别网络

最近几年视频动作识别的性能有了显著的提高。当前大多数网络是通过改变主干卷积神经网络来提高性能,或者通过改变主干网络来探索模型的效率和性能之间的权衡。但是大多数的工作在网络的最后都是全局平均池化层后接一个全连接层,这使得网络的表达能力不够好。为了解决这个问题,提出一个基于运动注意力模块的多分支网络来提高动作识别的性能,该网络首先使用运动注意力模块来捕获相邻帧之间的特征差异,从而在通道上增强运动相关的特征,抑制无关的背景信息,然后利用多分支结构提取全局特征和局部特征,并提高网络对更精细的细节的敏感能力。实验证明,提出的网络在Kinetics-400和Something-Something-V1数据集上实现了较好的识别精度。

外观融合运动感知的运动目标分割算法

现实场景中的运动目标分割旨在分割当前场景下的运动物体,对于许多计算机视觉应用有着至关重要的作用。现有的运动目标分割算法大多通过2D光流图中的运动信息来分割运动物体,然而,这些方法还存在一些问题。当运动物体在极面内运动或者其3D运动方向和背景一致时,很难通过光流图分割得到;另外,错误的光流预测也会影响分割的结果。为了解决以上问题,提出了不同的运动代价,以提升运动目标分割的正确率。针对和背景共线或共面运动的物体,设计均衡重投影代价和多角度光流对比代价,通过运动物体的2D光流与背景2D光流的差异来检测运动物体。针对自我运动退化,设计差异单应性代价。最后,提出了一种基于外观融合的运动感知结构,以分割各种场景下的运动物体。采用多模态共同注意力门控,更有效地捕获运动特征和外观特征的关系,以促进外观特征和运动特征更好地交互。此外,为了突出运动的物体,提出了多层运动注意力模块,以减少冗余的外观特征对结果的影响。实验结果表明,所提方法在KITTI,JNU-UISEE,KittiMoSeg和Davis-2016数据集上均能获得较优的运动目标分割结果。