基于Swin Transformer的弱监督人群计数研究

为降低人群聚集引发安全事故的概率,解决完全监督方法数据标注成本高,而现有弱监督方法性能欠佳的问题,提出一种基于Swin Transformer的弱监督人群计数模型。首先,引入具有全局感受野且能够有效提取语义人群信息的Transformer模型,来应对基于卷积神经网络(CNN)的弱监督人群计数方法感受野有限、性能欠佳的问题;然后,采用具有层级设计并且拥有多尺度、层次化计算图像特征能力的Swin Transformer模型作为主干网络,以加强对不同尺度特征的学习,使模型能够更好地应对人群尺度变化的问题;最后,选择只需要人群数量作为监督信息的弱监督方式进行训练,避免对图像中每个人的头部进行标注这一繁琐易错的工作。结果表明:所提模型在ShanghaiTech Part A、ShanghaiTech Part B、UCF-QNRF数据集上的平均绝对误差依次为66.1、8.7、97.1,均方误差依次为106.2、14.9、165.8,在主流数据集上计数性能较好;该模型的性能优于此前的弱监督方法和部分完全监督方法。

基于低秩堆栈式语义自编码器的零样本学习

在图像分类领域,现有的深度学习等方法在训练时需要大量有标注的数据样本,且无法识别在训练阶段未出现的类别。零样本学习能有效缓解此类问题。本研究基于堆栈式自编码器和低秩嵌入,提出了一种新的零样本学习方法,即基于低秩嵌入的堆栈语义自编码器(low-rank stacked semantic auto-encoder,LSSAE)。该模型基于编码-解码机制,编码器学习到一个具有低秩结构的投影函数,用于将图像的视觉特征空间、语义描述空间以及标签进行连接;解码阶段重建原始视觉特征。并通过低秩嵌入,使得学习到的模型在预见未见类别时能共享已见类的语义信息,从而更好地进行分类。本研究在五个常见的数据集上进行实验,结果表明LSSAE的性能优于已有的零样本学习方法,是一种有效的零样本学习方法。