基于光流共生矩阵的人群行为异常检测

针对传统基于图像纹理特征进行人群行为异常检测算法倾向于描述人群图像纹理的变化而非人群运动行为的实际情况,导致检测性能较差的问题,提出一种反映人群运动行为真实情况的特征提取方法.首先通过Lucas-Kanade光流算法提取人群视频光流信息,并建立光流幅值共生矩阵与光流方向共生矩阵,然后通过共生矩阵提取角二阶距、对比度、熵、相似度等特征,并将其与光流幅值均值合并组成特征向量训练支持向量机,最后判断人群行为是否异常.仿真结果表明,本文的特征提取方法更加深化地处理了光流法提取的人群运动信息,具有较好的人群异常行为识别性能.

结合模式记忆和自监督注意力的人群异常行为检测方法

为实现复杂环境下监控视频中异常事件的快速检测和准确定位,提出一种结合正常模式记忆和自监督注意力机制的异常检测框架。记忆机制综合考虑正常模式的多样性和差异性,解决卷积神经网络(CNN)泛化性过强的问题。自监督模块包含遮罩卷积层和通道注意力层,通过遮罩信息预测的自监督训练,提高模型对全局特征结构的理解。公开数据集的实验结果表明,所提方法的曲线下面积(AUC)指标分别达到92.6%和82.7%,性能优于当前其它先进的视频异常检测方法,在轨迹检测标准(TBDC)和区域检测标准(RBDC)指标中表现出优秀的异常跟踪和定位能力。

基于改进光流法的视频监控中人群异常行为检测算法

危害社会公共安全的事件频发,研究视频监控中人群异常行为对于恢复治安秩序和保障公众安全有着重要意义。由于视频监控涉及多种多样的场景,复杂环境影响了人群异常行为的准确检测。因此,为提升视频监控中人群异常行为的检测效果,提出基于改进光流法的视频监控中人群异常行为检测算法。利用改进单高斯模型在视频监控中人群视频帧内提取角点作为特征点;基于改进光流法计算特征点的运动速度与方向,提取有效特征点,得到人群运动目标图像;通过计算人群运动目标图像内光流点的方向熵、幅值熵与平均速度的乘积,确定运动混乱度;对比分析运动混乱度与设置阈值,完成人群异常行为检测。实验结果表明,该算法可有效提取人群视频帧内的角点和运动目标图像,准确检测人群异常行为,具有较好的视频监控中人群异常行为检测效果。

基于空时对抗变分自编码器的人群异常行为检测

基于视频的人群异常行为检测对提前发现安全风险、预防群体安全事故发生具有重要价值。针对人群异常行为事件的稀少性导致的无法直接充分学习异常样本的表示、异常事件检测精度低的问题,在变分自编码器基础上,提出一种基于预测的空时对抗变分自编码器(spatial-temporal adversarial variational autoencoder,STAVAE)视频异常检测模型,通过引入长短期记忆网络(long short-term memory,LSTM)和对抗网络模块,对正常样本视频序列的时间维度与空间维度进行联合特征表示与重构,减少了正常样本重建过程中的特征损失进而扩大了异常样本的预测损失,避免了对异常样本的依赖,实现了基于模型重构误差的人群逃散异常行为检测。在公开数据集UMN及采集视频数据集上进行对比实验,证明ST-AVAE模型在基于监控视频的人群异常逃散行为检测中均具有最优的检测精度和召回率,对抗网络模块显著提升了异常检测的性能。

一种基于脉线流卷积神经网络的人群异常行为检测算法

在计算机视觉领域,人群异常行为检测技术可以广泛应用于视频监控、智能视频分析、群体行为识别等领域,因此,受到了学者们的广泛关注。由于视频中人群目标具有尺度变化大、透视形变、标注偏置等特点,人群异常行为检测依然是一个具有挑战性的难题。为此,本文提出了一种基于脉线流卷积神经网络的人群异常行为检测方法(streak flow CNN abnormal behavior detection,SFCNN–ABD)。SFCNN–ABD是一个双域网络,网络结构由两个深度残差网络作为骨干网络,分别为空域网络和时域网络。其中,空域网络的输入是原始视频帧,提取人群行为的表观特征;时域网络利用脉线流提取人群行为的运动特征,脉线流能更准确地识别场景中的空域和时域变化,因此能进一步提升人群异常行为检测的准确性。所提方法是通过卷积神经网络获取显著的人群行为空域特征,并通过脉线流结合卷积神经网络获取人群行为时域特征;最后,将两个网络的输出求取平均值,完成人群异常行为的检测。在UMN和VIF两个公开基准数据集进行了测试,实验结果表明本文方法的检测准确率优于当前主流算法,验证了本文方法的有效性。

基于运动显著图的人群异常行为检测

针对公共场所中人群监控准确性和实时性低的问题,提出一种基于运动显著图的人群异常行为检测方法。该方法首先利用Lucas-Kanade法计算稀疏特征点的光流场,并对光流场进行时间和空间上的滤波处理,然后计算特征点的运动方向、速度和加速度。为了准确描述人群行为,将人群的速度幅值、运动方向变化量和加速度幅值分别映射为图像的R、G、B三个通道,并以此合成代表人群运动特征的运动显著图。最后,设计和训练面向人群运动显著图的卷积神经网络模型,并利用该模型检测人群中是否存在异常行为。实验结果表明,该方法能够有效、实时地检测人群异常行为,在UMN和PETS2009数据集的检测率均达到了97.9%以上。

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。

基于解析字典的人群异常行为检测

针对目前视频监控技术在保障公共安全方面的作用越来越重要这一现状,提出一种新的视频异常检测方法。首先在对视频的特征提取上,创新性地提出一种基于区域最值的稠密光流直方图描述符(Densely Sampled Maximum and Minimal Histogram of Optical Flow,Dense MHOF),该方法的主要思想是通过选取一定区域范围内多个光流直方图各个方向的最大与最小光流幅值来表征该区域的运动特征,从而实现对人群运动信息的有效表征。在字典构建上,有别于被其他文献广泛使用的综合字典学习方法,采用更具灵活性的解析字典学习,通过对正常事件的学习获得稀疏字典,随后计算测试样本在该字典下的重构误差来判断测试样本的正常与否。在标准异常行为库进行的实验表明,与目前几种经典方法相比,该文提出的方法取得了较好的性能。

基于光流及轨迹的人群异常行为检测

针对复杂背景及遮挡等原因引起人群异常行为检测性能低的问题,本文提出了一种基于综合光流特征描述符(SOFD)及轨迹的人群异常行为检测方法。首先,根据人群光流场变化计算人群运动速度、加速度、方向和能量,并利用上述特征设计新的时空特征描述符,即SOFD。其次,利用KLT追踪算法获得人群运动轨迹单帧图。最后,基于所获取的上述特征,设计双流卷积神经网络(TS-CNN)以检测人群异常行为。仿真结果表明:与现有主流算法相比,复杂环境下本文方法具有较高的异常行为检测准确率、较好的泛化性及稳健性。

基于时空立方体的人群异常行为检测与定位

针对视频监控系统中人群异常行为检测准确率低的问题,提出了一种基于时空立方体的人群异常行为检测与定位方法。首先利用光流法计算等间距采样的特征点光流场,然后根据光流场计算特征点的运动速度、方向和方向熵3个特征量,并分别将其统计直方图投影到对应的三维立体空间中,构建描述人群行为的时空立方体特征。同时,将图像分成多个子区域,并计算各子区域的时空立方体特征;设计基于最近邻分类和支持向量机的级联分类器,完成人群异常行为的检测与定位。结果表明,该方法比现有方法能更准确地检测视频中的异常人群。