注意力与特征融合的未来帧预测异常行为检测算法

针对异常行为检测模型中检测准确度较低,目标异常类型判断不准确等问题,提出注意力与特征融合的未来帧预测异常行为检测算法。该算法采用无监督生成对抗网络模型,通过计算真实帧和预测帧之间的误差来判断当前帧是否为异常帧。在生成网络中,以U-Net网络结构为基础,首先引入SoftPool层,减少池化过程中的信息损失;其次引入即插即用的轻量级注意力机制,增强背景信息和目标信息差,有效提升网络性能的同时不增加网络的复杂性;然后,在U-Net编码器低层构造了一种新的特征融合模块来增强图像全局信息的依赖性;最后,为了融合上下文信息,提取更丰富的特征作为输出图像,构造一种新的特征提取模块添加到网络特征图的输出部分。判别网络以马尔可夫判别器为基础,使网络更加关注图像的细节特征。实验中,采用CUHK Avenue数据集和UCSD Ped2数据集对该算法进行验证。实验结果表明,改进后的网络在CUHK Avenue数据集上检测精度达到了85.4%,在UCSD Ped2数据集上检测精度达到了92.4%,证明了该算法的有效性。

基于SE-U-Net预测网络的视频异常事件检测方法

针对视频异常检测中存在的数据不平衡问题,提出一种基于SE-U-Net预测网络的视频异常检测方法。该方法提取视频帧的显著性图,并将其制作成掩膜对数据进行预处理;利用预处理后的数据对预测模型进行训练,为了使预测模型更关注前景区域的优化,结合注意力机制设计一组新的损失函数用于约束模型的训练。在测试阶段设计一个新的异常评价分数计算方法,通过仅计算视频中显著性区域的预测误差来进行异常检测,缓解数据不平衡问题。利用公共数据集进行相关对比实验以及消融实验验证该方法的有效性。

多层记忆增强生成对抗网络二次预测的视频异常检测方法

为了提高视频异常检测的准确率,提出了一种基于多层记忆增强生成对抗网络二次预测的视频异常检测方法。首先利用目标检测提取时空立方体,并将其输入自编码器中得到预测帧;其次将预测帧的表观特征和对应真实帧的光流特征进行融合,形成融合特征;最后利用多层记忆增强生成对抗网络二次预测未来帧,以便学习不同层次特征的正常模式并捕获上下文的语义信息。在UCSD Ped2和CUHK Avenue数据集上进行的实验结果表明:所提出的方法与其他视频异常检测方法相比,可有效提高视频异常检测的性能,使帧级别AUC分别达到99.57%和91.59%。

相邻帧光流约束的视频异常行为检测

异常行为检测存在异常样本缺乏的问题,现有方法大都基于帧的重建方法,但漏检率较高。文章提出了一种利用条件生成对抗网络预测未来帧的无监督检测网络。正常视频片段的相邻帧之间的光流变化较小,而异常视频片段的光流变化较大,基于该发现设计光流引导子网,并将该子网输出的稀疏光流引导特征约束生成器。为了保证生成器能够利用正常的视频帧产生清晰的高质量预测而让异常的帧预测不清晰,基于U-net设计了输入具有时间差的两帧的双流生成器。所提出的模型在CUHK Avenue、ShanghaiTech和Ucf-crime实际监控场景数据集上AUC指标分别达到84.3%、69%、68.7%,优于很多主流算法。加入相邻帧光流约束网络较未加入约束的网络在AUC指标上有2%的提升。结果表明,该约束可以有效引导正常视频帧、限制异常帧的表达、较好地区分正常和异常视频片段。

用于视频异常检测的时序多尺度自编码器

视频异常检测是指识别不符合预期行为的事件。当前许多方法利用重构误差来检测异常,由于深度神经网络的强大能力可能会重构出异常行为,这与异常行为重构误差较大的假设不符。而利用预测未来帧的方法进行异常检测取得了很好的效果,但这些方法大多未考虑正常样本的多样性,或不能建立视频连续帧之间的关联。为了解决该问题,提出了一种时序多尺度自编码器网络用于预测未来帧,并通过预测值与真实值的差异完成视频异常检测。该网络不仅明确考虑了正常事件的多样性,而且强大的编码器可以构建长程空间依赖关系,进而增强输出特征的多样性,此外,针对复杂的数据集含有较多噪声的特点,提出了去噪网络,进一步提升了模型的精度。该方法在达到实时性要求的前提下,在Avenue数据集上达到了目前最优的精度。

基于多任务学习的视频异常检测方法

针对异常事件位于图像前景的某个局部区域,且背景区域对于异常检测存在干扰的问题,提出了一种多任务异常检测双流模型,模型架构包含未来帧预测网络和光流重构网络。首先利用前景检测算法获取自然图像和光流图像的目标区域,再将选取的区域送入到编码-解码网络完成未来帧预测和运动重构,对运动特征和表观特征进行提取,最后,使用深度概率网络给出的概率值作为判断异常的决策,并与重构损失及预测损失相结合来判断视频的异常性。本文针对大型场景的3个视频监控数据集(UCSD行人数据集、Avenue、Shanghai Tech)对本文提出的模型进行了异常性评估,所提出的方法在3个数据集上的AUC值分别为97.4%,86.4%,73.4%。与现有工作相比,本文的模型架构简洁且易于训练,异常检测结果更加准确。