SlowFast架构下景区异常行为识别算法及预警研究

针对当前古建筑场景下人员异常行为识别相关实例缺乏、数据集少、古建筑级别低、质量次,导致人员异常行为识别准确率低等问题,该文在古建筑景区背景下自行拍摄了多组视频,从中挑选构建了人员异常行为动作的5033段视频数据集:具有明确的典型古建筑背景;具有多人场景下暴恐打架斗殴、刻划、刻画以及存在火灾风险的人员异常行为等特征,并对每个视频进行了注释。该文首次于SlowFast网络框架中成功引入信号时域特征活动性、移动性参数,对构建的数据集进行高阶时序特征建模、增加分类算子。在人员异常行为识别任务中,模型的Top1准确率达到93.54%,而平均准确率达到96.30%,在SlowFast模型中引入活动性、移动性算子后,模型识别的准确率提升了0.87%。与几种常见架构的算法相比,该文所提出的方法存在一定的优势。

多任务的高光谱图像卷积稀疏编码去噪网络

目的高光谱图像由于其成像机理、设备误差和成像环境等因素导致采集到的数据存在噪声。传统稀疏表示方法需要把高光谱图像划分为一系列的重叠局部图像块进行表示,通过对重叠图像块去噪结果进行平均,实现整体图像去噪。这种局部—整体去噪方法不可避免地会破坏高光谱图像空间关系,产生较差的去噪效果和视觉瑕疵。本文利用卷积算子的平移不变性,采用卷积稀疏编码(convolutional sparse coding,CSC)对高光谱图像进行整体表示,保留不同图像块之间的空间关系,提升高光谱图像去噪性能。方法将每个波段去噪看做单任务,采用卷积稀疏编码描述单波段的局部空间结构关系。通过共享稀疏编码系数,实现不同波段之间的全局光谱关联关系建模,形成多任务卷积稀疏编码模型。多任务卷积稀疏编码模型一方面可以实现高光谱图像的空间—光谱关系联合建模;另一方面,对高光谱图像进行整体处理,有效地利用图像块之间的关系,因此具有很强的去噪能力。借鉴深度学习强大的表征能力,将多任务卷积稀疏编码模型的算法迭代过程通过深度展开(deep unfolding)方式转化为端到端可学习深度神经网络,即多任务卷积稀疏编码网络(multitask convolutional sparse coding network,MTCSC-Net),进一步提升模型去噪能力和运行效率。结果在ICVL和CAVE(Columbia Imaging and Vision Laboratory)数据集上进行了仿真实验,在Urban数据集上进行了真实数据实验,并与8种方法进行比较,表明了本文算法的有效性。与传统基于图像块的稀疏去噪算法相比,在CAVE数据集上本文算法的峰值信噪比(peak signal-to-noise ratio,PSNR)提升1.38 dB;在ICVL数据集上提升0.64 dB。结论提出的多任务卷积稀疏编码网络能有效利用高光谱图像的空间—光谱关联信息,具有更强的去噪能力。