基于条件变分自编码器的井下配电室巡检行为检测

现有井下配电室巡检行为检测方法的研究重点在于视频动作的分类,但在实际应用中,对于端到端的视频检测任务,不仅需要识别巡检动作的类别,还需要预测巡检动作发生的开始时间和结束时间。且现有基于监督学习的研究方法训练网络时需要标注视频的每一帧,存在数据集制作繁琐、训练时间较长等问题,基于弱监督学习的研究方法也依赖视频分类模型,导致在没有视频帧级别标注的条件下很难区分动作帧和背景帧。针对以上问题,提出了一种基于条件变分自编码器的弱监督井下配电室巡检行为检测模型。该模型主要由判别注意力模型和生成注意力模型2个部分组成,将井下配电室巡检行为检测分为巡检动作的分类和定位2种任务。首先利用特征提取模型分别提取出井下配电室监控视频的RGB特征与光流特征;然后将获取到的RGB特征与光流特征输入注意力模块中进行训练,得到特征帧的注意力,通过判别注意力模型得到软分类,根据注意力的得分情况判断出动作帧和背景帧;最后对判别注意力模型的输出进行后处理,输出视频中包含巡检动作的时间区间、动作标签及置信度,即完成了巡检动作的分类及定位。为了提高定位任务的精度,加入基于条件变分自编码器的生成注意力模型,利用条件变分自编码器与解码器的生成对抗对视频的潜在特征进行学习。利用井下配电室监控视频,将巡检行为分为站立检测、下蹲检测、来回走动、站立记录和坐下记录,制作了巡检行为数据集进行实验,结果表明:基于条件变分自编码器的巡检行为检测模型可同时完成巡检行为分类和定位任务,在THUMOS14数据集上mAP@0.5达到17.0%,在自制的巡检行为数据集上mAP@0.5达到24.0%,满足井下配电室巡检行为检测要求。