上下文建模与推理的视频异常事件检测

视频异常事件检测旨在从视频中自动地检测出不符合正常事件规律的视频事件.视频中许多正常和异常的事件是由目标与场景或其它目标交互而产生的,即它们是以目标为中心且高度上下文相关的.如何从底层的视频特征中提取事件高层语义上下文信息,并根据上下文信息进行视频异常事件检测仍是一个开放的难题.为此,本文提出了一种新的上下文建模与推理的视频异常事件检测方法.本文方法通过建立视频的上下文图,自动地推理事件相关的语义上下文信息,以缩小底层视觉特征与异常事件高层语义之间的差距,实现异常事件检测.具体来说,首先使用了预训练的目标检测网络,提取目标初始的表观特征、目标之间的时空关系特征和场景特征;其次设计了一个上下文图推理模块,通过建模时空上下文图,将提取到的特征显式地建模为三类语义上下文,包括事件目标的个体行为、不同目标之间的时空关系以及目标与场景之间的交互,其中图的节点表示目标/场景,图的边表示时空关系;最后构建了一个异常预测模块,根据推理到的语义上下文信息进行异常事件检测.本文的上下文图推理模块基于平均场理论,通过使用多个带有消息传递模块的循环神经网络,迭代更新图的节点和边的状态,目的是从底层的视觉特征中推理得到高层的语义上下文.本文的异常预测模块包括注意力池化网络层和全连接网络层,通过输入语义上下文信息,计算视频帧的异常分数,从而正确地进行异常事件检测.实验中,设计了一个自训练策略,分别使用了无监督、半监督、弱监督和监督四种训练策略,以端到端的方式训练时空上下文图推理模块和异常预测模块.本文方法在四个公开的数据集上进行了实验,包括三个半监督的数据集Subway (Entrance/Exit)、Avenue和ShanghaiTech,以及一个监督的数据集UCF-Crime.与不使用上下文的方法相比,本文方法在Subway(Entrance/Exit)、Avenue和ShanghaiTech数据集上的无监督AUC指标分别提高了2.7%/3.1%、2.0%和2.9%,半监督AUC指标分别提高了3.5%/3.3%、4.0%和4.3%.在监督数据集UCF-Crime上,与没有使用上下文的方法相比,本文方法在半监督AUC、弱监督AUC和监督AUC的指标上分别提高了2.1%、0.4%和9.2%,取得了有竞争力的表现.