基于视频时空特征的学生课堂行为检测

课堂行为能有效反映学生的学习状态,通过深度学习技术实现课堂行为检测对于改进教学方式、提高教学质量具有重要意义。目前,课堂行为检测较多采用基于静态图像的方式进行,往往会忽略行为的动态特征,对连续性行为检测效果较差。为此,提出一种基于视频时空特征的YOLOv7-SlowFast课堂行为检测方法,通过YOLOv7定位学生目标后采用SlowFast检测课堂行为。首先,为提高YOLOv7在人群密集环境下的检测精度,引入自适应空间特征融合模块解决不同尺度特征之间不一致的问题;其次,采用RepGhost轻量化模块改进YOLOv7网络结构,通过结构重新参数化提高模型检测速度;最后,针对SlowFast时空行为检测精度低的问题,设计基于标准化的时间注意力模块,加强模型对时间特征的感知。实验结果表明,改进后YOLOv7在Crowdhuman数据集上平均精度均值(mAP)达86.96%;改进后SlowFast在自制课堂行为检测数据集上的mAP达87.28%,能够实现课堂行为的有效检测。

基于协同卷积的轻量级行为检测方法

时空行为检测是计算机视觉领域重要的研究方向,为了减小模型体量,提高检测速度,提出一种基于协同卷积(collective convolution, CoConv)的轻量级行为检测方法。将视频的时序信息转换为时空图像(spatio-temporal image, STI),利用协同卷积获取相同位置不同时间的时空特征信息。在YOLOv5的基础上将骨干网络和检测头部替换为协同卷积模块构建时空行为检测网络结构,通过后处理对时空图像的检测结果进行连接,快速形成视频结果,提高网络的行为检测性能。实验结果表明,提出的方法可以在保证准确率和不增加参数量的情况下,减少网络计算量,提高网络检测速度,且优于现有的行为检测方法。

基于深度学习的翻越行为检测

翻越行为检测对疫情管控、社会治安等有着重要意义,一定程度上可以减少因为违规翻越行为而造成的意外事故.针对目前翻越行为检测任务实时性差、需要先验知识的问题,本文将Faster RCNN+SlowFast时空行为检测算法应用在翻越行为检测任务中,将翻越行为进行拆分检测.为提高时空行为检测算法中目标的检测精度和速率将目标检测模块Faster RCNN改为实时性高且轻量化的YOLOv5;其次针对同一行为不同视角下广泛的类内多样性的问题,将Fast支路和Slow支路的residual block分别改为AC residual block和SE residual block来加强网络对关键特征与细粒度特征的学习能力,最后设计翻越行为检测算法进行攀爬与下降两种状态的连续性检测,实验结果显示该网络平均准确率达93.5%,在翻越行为检测中表现出良好的性能.

封闭环境下暴力行为检测

动作检测已经成为计算机视觉领域的一个重要研究方向,特别是对特定事件的检测,如打架斗殴等暴力事件。暴力行为检测任务在视频监控等场景中是十分有用的,例如监狱、学校等公共场所。其实用性使得越来越多的研究者研发相应的检测算法。传统方法提取的时空特性同时考虑运动和外观信息,进而达到不错的准确率,但是他们的计算量却令人望而却步。近年来,随着深度学习广泛应用于计算机视觉领域,暴力行为检测任务也得到了很好地解决。我们根据two-stage目标检测架构的启发,提出一个用于暴力行为检测的方案,通过结合目标检测和行为识别的算法,更加准确地关注到运动执行者本身,避免无关背景和其他信息对检测结果的影响,进而实现了高效的暴力行为检测。此外,我们的方案还能有效地扩展到时空行为检测任务上,进而实现对更多类别的行为进行检测。