冗余度引导掩膜重构的小样本动作识别方法

目前大多数基于度量的小样本动作识别方法都采用支持样本与询问样本对比的方式学习视频特征,然而在样本量稀少的情况下,只使用对比的方法难以充分地挖掘视频中的信息.另一方面,视频中存在大量的冗余,有效地利用而不是单纯地减少这些冗余信息,可以提升小样本动作识别模型.为此,本文提出了一种冗余度引导特征掩膜重构的方法,将原始视频特征转换为若干离散的特征块,根据每个特征块的冗余程度排序并确定其是否被掩膜替换并重构,并且基于上述操作与原型网络实现小样本动作识别,使模型充分地利用低冗余的视频特征,实现模型泛化性能的提升.实验结果表明本文提出的冗余度引导掩膜重构的方法在5-way 5-shot的实验设置下在Kinetics和something-somethingv2数据集上均优于现有的小样本动作识别方法.