基于多模态联合语义感知的零样本目标检测

零样本目标检测借助语义嵌入作为引导信息,将未见过的物体的视觉特征与类别语义嵌入映射到同一空间,根据其在映射空间的距离进行分类,但由于语义信息获取的单一性,视觉信息缺乏可靠表示,易混淆背景信息和未见过对象信息,使得视觉和语义之间很难无差别对齐。基于此,借助视觉上下文模块捕捉视觉特征的上下文信息,并通过语义优化模块对文本上下文和视觉上下文信息进行交互融合,增加视觉表达的多样化,使模型感知到前景的辨别性语义,从而有效地实现零样本目标检测。在MS-COCO的2个划分数据集上进行实验,在零样本目标检测和广义零样本目标检测的准确率和召回率上取得了提升,结果证明了所提方法的有效性。

一种新的强分辨性零样本目标检测方法

零样本目标检测是近年来用于对训练中未见(unseen)类别目标进行分类和定位的一种技术。由此带来了目标检测中的新问题——目标视觉特征与其对应的类别语义信息映射关系不准确,未见类别目标与背景分辨性不强。提出的强分辨算法(adaptive channel with center distance Gaussian distribution loss,ACDG)使用特征图通道自适应加权机制,能够根据不同类别目标对特征图通道自动赋予权值,加强关键特征图的权重,抑制次要特征图的信息,增强特征提取网络的表征性,以建立更准确的视觉特征和语义特征之间映射关系。为了解决未见类别目标与背景分辨性不高的问题,提出中心距离高斯分布损失,约束预测边界框中心点与真实值(groundtruth)中心点位置的距离,进而加快损失函数收敛。为了验证所提算法的先进性,在MS COCO数据集上完成了大量实验,召回率和平均精度分别高出原始方法5.9%和4.5%。