基于双流LSTM与自监督学习的在线动作检测算法

在线动作检测对安防和人机交互等应用非常重要,该问题要求模型在动作刚开始时就能检测到,而不是等待整个事件完整结束。由于在线动作检测只能基于观测到的部分视频进行判断,因此相比动作识别和动作检测等任务,模型需要挖掘更多信息辅助决策。基于在线动作检测问题中常用的长短时记忆网络(LSTM)模型,构建双流LSTM模型(2S-LSTM),并将在图像领域中被广泛使用的自监督学习思想引入到在线动作检测问题中。首先,双流网络2S-LSTM模型分别对RGB流与光流的时序信息采用LSTM建模。同时基于自监督学习的思想构建出2个新型的损失函数——时序相似度损失与光流稳定损失用于模型的训练。实验表明,与过去的在线动作检测方法RED、TRN、IDN相比,本文的模型在TVSeries与THUMOS’14这2个数据集上都取得了较好的结果。