基于自适应时序运动聚合的动作识别实验设计

视频动作识别是电子信息类学科的重要前沿应用领域。该文针对现有算法存在的参数量庞大及时空尺度固定问题,提出一种基于自适应时序运动聚合网络(ATMA-Net)的动作识别实验设计。引入多尺度运动注意力模块MMA和自适应时序聚合模块ATA,实现了对不同视频动作的多尺度运动特征提取及自适应时序建模。MMA通过拆分的大核卷积注意力关注有利于时序建模的运动特征;ATA根据输入视频的运动加权特征自适应地生成特定的时间卷积核,有利于灵活地进行时序运动特征聚合;将这两种模块嵌入到2D ResNet50残差模块中,并对具体的嵌入方式和嵌入位置进行了实验研究,确定了最佳网络结构。该实验设计网络在复杂动作识别数据集Something-Something V1上的大量实验结果表明,ATMA-Net在低FLOPs的情况下优于其他动作识别方法,证实了其对于复杂动作时序建模的有效性。