基于卷积注意力机制和多损失联合的跨模态行人重识别

红外光和可见光(RGB-IR)下的跨模态行人重识别(Re-id)对于现代视频监控,尤其是夜间监控具有重要意义.现有的单模态行人重识别领域的研究成果已达到较高水平.然而,除了光照条件、人体姿势、摄像机角度等常见问题外,跨模态行人重识别问题难点主要在于同时存在模态间的巨大差异和模态内的类内变化,为此本文提出了基于卷积注意力机制和多损失联合的跨模态行人重识别方法.此方法基于双流网络结构,首先在双流网络的两支路中使用Resnet50网络前三层卷积层分别提取行人图片的浅层特征,然后嵌入卷积注意力机制模块以抑制颜色等无关信息的提取,并融合中层特征和支路骨干网络获取的最终特征提升获取特征的辨别力,最后采用双向跨模态三元组损失和身份损失联合约束双流网络,加快网络模型收敛,有效应对模态间的差异以及类内变化.实验结果表明本文提出的方法使跨模态行人重识别问题的精度得到了有效的提升.

基于注意力机制和多分支联合的行人重识别方法

行人重识别是指在行人图像中进行跨设备检索的任务,是一种在视频监控、智能安防等领域具有重要应用价值的技术。因受环境因素(如光照、角度、遮挡等)的干扰产生噪音,加大了行人信息特征的提取和辨别的难度,为此本文提出了一种基于注意力机制的多分支联合网络结构来提高模型的识别能力。该模型选用Omni-Scale Network作为骨干网络,实现全尺度特征的融合,同时嵌入串行的通道注意力机制和位置注意力机制,强化模型深层语义表达,最后借助多损失联合函数对模型进行监督训练,实现行人特征的全局特征提取和输出能力。仿真实验结果表明:该模型在公开数据集Market1501、DukeMTMC-reID以及CUHK03-Labeled(Detected)上的行人图像信息特征提取综合表现优于DRL-Net、DCAL等同类算法,Rank-1值分别达到了95.3%、90.1%和80.4%(Labeled)/78.1%(Detected),mAP值分别达到了89.2%、80.47%和78.9%(Labeled)/75.4%(Detected),具有较高的识别准确率。

融合ECA的多分支多损失行人重识别

针对现有行人特征提取方法的不足,提出了一种融合ECA的多分支多损失行人重识别方法.首先,将轻量级ECA注意力模块嵌入到骨干网络ResNet50中,以增强显著特征,抑制无关特征.其次,设计了一个多分支网络结构分别提取行人的全局特征和局部特征,针对不同的特征采取不同的多池化特征提取方式,增强网络的特征提取能力.最后,联合三种损失函数对模型进行训练,并采用BNNeck进行优化,从而提高模型的鲁棒性.在Market1501和DukeMTMC-reID数据集上的实验表明,所提方法具有较好的效果,在识别精度上也优于较多的经典算法.

融合注意力机制的多损失联合跨模态行人重识别方法

跨模态行人重识别任务的难点在于提取出更有效的模态共享特征,为解决该问题,提出基于注意力机制的多损失联合跨模态行人重识别方法。在ResNet50网络中嵌入注意力模型,保留细节信息。将特征切割成六块局部特征,以使网络关注局部深层信息,增强网络的表征能力。对提取出的局部特征列向量进行批归一化处理,并选用交叉熵损失和改进的异质中心损失进行联合监督学习,以加速模型收敛,提升模型精度。所提方法在SYSU-MM01、RegDB数据集下的平均精度(mAP)分别达到56.82%和75.44%,实验结果表明,本文方法有效地提升了跨模态行人重识别精度。

基于显著性多尺度特征协作融合的行人重识别方法

由于背景信息复杂、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征不具有辨别力和鲁棒性,从而导致重识别精度较低,针对该问题,提出一种基于显著性检测与多尺度特征协作融合的SMC-ReID方法。利用显著性检测提取行人中具有判别力的特征区域,融合显著性特征与全局特征并完成不同尺度的切块,将上述不同尺度的特征进行协作融合以保证特征切块后的连续性,根据全局特征和局部特征的差异性联合3种损失函数进行学习。在推理阶段,将各个尺度的特征降低到同一维度并融合成新的特征向量,以实现相似性度量。在行人重识别公开数据集Market1501、DukeMTMC-reID和CUHK03上进行实验,结果表明,SMC-ReID方法所提取的特征具有较强的可区分性和鲁棒性,识别准确率优于SVDNet和PSE+ECN等方法。

基于全局和局部特征的跨模态行人再识别方法

跨模态行人再识别是对同一行人的可见光图像和红外图像之间进行匹配和识别,相对于单模态行人再识别的难度进一步加大。本文采用循环生成对抗网络(Cycle GAN)转换和扩充数据集,尽可能减少行人体态变化带来的影响;在ResNet50网络的基础上引入全局特征对比模块和局部特征模块,减少图像噪声和行人遮挡带来的影响;将交叉熵损失和改进的三元组损失以比例加和的形式作为多损失联合函数,对网络监督训练。实验结果表明,该方法的平均精确度均值和前十位命中率都达到了较高的水平,优于当前多数方法。