特征增强与残差重塑的多重一致性约束半监督视频动作检测

一致性正则化半监督视频动作检测方法对原始数据和增广数据进行特征表示时容易引起两类数据间判别域偏差,导致判别结果无法拟合.针对该问题,文中提出特征增强与残差重塑的多重一致性约束半监督视频动作检测方法.首先,将基础动作特征描述子在时空维进行连续性增强编码,获取视频动作理解中至关重要的上下文信息.然后,在通过残差特征重塑模块获得多尺度残差信息的同时进行特征重塑.为了降低不同数据间的判别偏差,分别从分类特征与动作定位特征角度对原始数据和增广数据施加多重一致性约束,实现模型对增广数据和原始数据判别结果和特征表示的匹配.最后,在JHMDB-21、UCF101-24数据集上的实验表明,文中方法能有效提高少样本标记条件下视频动作检测准确度,具有较强的竞争力.