融合非均匀采样与特征强化的人体不文明行为检测方法

针对人体异常行为时空动作检测对相似行为存在误检及局部肢体行为检测精度较低的问题,基于自制的不文明行为时空动作检测数据集(UBSAD),提出了一种融合非均匀采样与特征强化的人体不文明行为检测方法。该方法在时空特征提取阶段引入Video Swin Transformer(VST)作为主干网络,用于捕获视频中的长期时序依赖关系,提升网络全局信息学习能力;将提出的环形残差VST模块替换主干网络最后阶段的VST模块,放大目标区域和背景区域的差异,并结合多头自注意力机制,强化对目标区域的特征提取;在视频帧采集阶段提出了独特的非均匀采样方法,根据任务需求调整输入数据分布,使模型有层次地获取动作变化信息,有效提升网络对相似行为细节特征的关注;在特征提取网络之后嵌入新的融合浅层特征的级联池化三维空间金字塔特征强化模块,进一步增强多种尺度下的特征适用性,有效减少动作细节信息在特征提取过程中的丢失和降低背景信息的干扰,实现特征强化的效果。实验结果表明,该方法在UBSAD数据集和公开数据集UCF101-24上mAP指标分别达到了71.93%和83.09%,比使用基线网络VST作为时空特征提取模型分别提高了7.39个百分点和1.22个百分点,能够有效检测目标的行为。