基于双流网络与多示例学习的异常事件检测

面对当前复杂场景下异常事件检测算法过度依赖帧级别标记,以及I3D模型耗时长、内存占用大等问题,设计了一种基于I3D的M-I3D模型并将其作为特征提取器,提出一种了基于深度时空特征和多示例学习的异常检测方法。所提方法将正常视频和异常视频作为包,并将视频片段作为多示例学习中的示例。利用M-I3D模型提取每个视频片段的特征,并将提取到的特征向量输入到三层全连接层中,进而自动学习一个深度异常排序模型,该模型可以预测异常视频片段的分数。此外,为了在训练过程中较好地定位异常,在排序损失函数中引入稀疏函数和约束性函数。结果表明,与其他方法相比,所提算法在UCF-Crime数据集上具有更高的准确率和更好的实时性。