基于属性依存增强的文搜图行人重识别

文搜图行人重识别旨在通过给定的文本从行人图库中检索目标人物,主要挑战的是学习对自由视角(姿势、照明和相机视点)的图像和自由形式的文本具备鲁棒特征。然而,由于在文本描述和行人图像中存在对行人属性挖掘的不足,在细粒度上因细节的差异从而影响了从文本描述到行人图像的检索性能。因此,研究提出了基于属性依存增强的文搜图行人重识别。首先,从文本描述解析出依存关系,并转化为依存矩阵。其次,设计了一个基于自注意力的属性干预模块来融合文本特征和依存矩阵,得到属性增强的文本特征。此时,文本特征经过干预,更为关注属性信息。最后,文本特征与图像特征参与训练,让整个网络对属性的挖掘更为敏感。在两个数据集CUHK-PEDES和ICFG-PEDES上进行实验,证明了模型的有效性。