结合语义与图像信息的行人属性识别算法

为提升行人属性的识别精度,充分利用行人属性间自然语义关联并解决不同属性相关图像信息的提取差问题,提出结合语义与图像信息的行人属性识别算法。通过自注意力机制的关系建模能力挖掘行人属性间的内在联系,利用交叉注意力机制建立属性间语义信息与图像特征信息的关系。在此基础上,依靠卷积融合图像的高阶与低阶特征并为模块增加局部特征信息,提升模型的泛化能力,通过设计属性预测模块,使模型可与任意骨干网络相拼接,进一步提升识别性能。实验结果显示,该算法的平均精度、准确率、F1值在PA-100K和PETA数据集上分别为84.04%、79.71%、88.03%和89.04%、82.39%、89.06%,与ALM、JLAC等算法相比,能够充分利用属性语义与图像特征信息,在多项评价指标上有明显提升。