基于深度学习的行人重识别技术的研究进展

行人重识别技术能够在跨摄像头场景下识别并匹配与目标人物具有相同身份的行人,为交通管理、公共安全、智慧城市建设等提供强大的技术支持。本文面向行人重识别的实际应用需求,首先对行人重识别进行系统性的介绍和归纳,包括行人重识别的研究现状、数据集与评价指标。之后,总结并分析无监督行人重识别、换衣行人重识别、遮挡行人重识别3个方面的前沿研究,归纳其发展现状,并对每个方向的现有方法分别进行梳理与性能对比。最后,对行人重识别的发展趋势进行分析与展望。本文针对行人重识别方法进行综述,希望能够为研究人员进一步开展行人重识别领域的相关研究以及推动行人重识别技术发展提供参考和帮助。

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。

一种单阶段无监督可见光-红外跨模态行人重识别方法

无监督“可见光-红外”跨模态行人重识别任务能够缓解智能监控场景中需要大量人工标注的问题。常见多阶段模型用于处理不同模态数据。文中提出了一种有效的单阶段无监督跨模态行人重识别的方法,设计了基于置信因子的聚类算法和图嵌入的跨模态特征处理方法,分别用于解决无标签问题和跨模态问题。实验结果表明,相较于现有算法,所提方法在r=1时精度至少取得了7%的提高。

Transformer-CNN特征跨注意力融合学习的行人重识别

卷积神经网络(convolutional neural network,CNN)关注局部特征,难以获得全局结构信息,Transformer网络建模长距离的特征依赖,但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法,利用CNN和Transformer特征学习网络的特点,在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成:CNN分支主要提取局部细节信息;Transformer分支侧重于关注全局特征信息;跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性,进而实现特征融合,最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。

无人机场景下基于Transformer的轻量化行人重识别

针对无人机场景下行人重识别所呈现的多视角多尺度特点,以及传统的基于卷积神经网络的行人重识别算法受限于局部感受野结构和下采样操作,很难对行人图像的全局特征进行提取且图像空间特征分辨率不高。提出一种无人机场景下基于Transformer的轻量化行人重识别(Lightweight Transformer-based Person Re-Identification,LTReID)算法,利用多头多注意力机制从全局角度提取人体不同部分特征,使用Circle损失和边界样本挖掘损失,以提高图像特征提取和细粒度图像检索性能,并利用快速掩码搜索剪枝算法对Transformer模型进行训练后轻量化,以提高模型的无人机平台部署能力。更进一步,提出一种可学习的面向无人机场景的空间信息嵌入,在训练过程中通过学习获得优化的非视觉信息,以提取无人机多视角下行人的不变特征,提升行人特征识别的鲁棒性。最后,在实际的无人机行人重识别数据库中,讨论了在不同量级主干网和不同剪枝率情况下所提LTReID算法的行人重识别性能,并与多种行人重识别算法进行了性能对比,结果表明了所提算法的有效性和优越性。

基于多核扩展卷积的无监督视频行人重识别

行人重识别旨在跨监控摄像头下检索出特定的行人目标。由于存在姿态变化、物体遮挡和背景干扰的不同成像条件等问题,导致行人特征提取不充分。本文提出一种利用多核扩展卷积的无监督视频行人重识别方法,使得提取到的行人特征能够更全面、更准确地表达个体差异和特征信息。首先,采用预训练的ResNet50作为编码器,为了进一步提升编码器的特征提取能力,引入了多核扩展卷积模块,通过增加卷积核的感受野,使得网络能够更有效地捕获到局部和全局的特征信息,从而更全面地描述行人的外貌特征;其次,通过解码器将高级语义信息还原为更为底层的特征表示,从而增强特征表示,提高系统在复杂成像条件下的性能;最后,在解码器的输出中引入多尺度特征融合模块融合相邻层中的特征,进一步减少不同特征通道层之间的语义差距,以产生更鲁棒的特征表示。在3个主流数据集上进行离线实验,结果表明该方法在准确性和鲁棒性上均取得了显著的改进。

基于相机感知的域自适应行人重识别模型

针对行人重识别在损坏场景下训练集和测试集分布差距过大、背景复杂度过高和噪声种类过多导致识别性能过低的问题,提出基于相机感知的域自适应行人重识别模型,引入并充分利用相机信息,在训练阶段对齐不同摄像机的图像分布,在测试阶段利用时序信息进行排序优化,减少训练集和测试集分布差异带来的影响,有效应对背景复杂度和噪声种类的问题.模型不仅从数据集处理角度有效减轻损坏图像的影响,还对排序优化进行二次加权,显著提高其在损坏场景中的性能.在Market-1501、DukeMTMC-reID、CUHK03数据集上的实验表明文中模型的有效性.

图采样泛化行人重识别算法

最近的研究表明,度量学习中的深度特征匹配方法,结合大规模、多样化的训练数据,可以显著增强人员再识别的泛化能力。然而,许多现有的方法会产生大量的内存和计算成本,如分类参数或类记忆学习等。为解决上述问题,提出了一种新的基于相关性图采样(correlation graph sampler,CGS)的泛化行人重识别算法,CGS的基本思想是在训练开始时使用局部敏感哈希函数(locality-sensitive Hashing,LSH)和特征度量为所有类构造最近邻关系图。这确保了每一小批训练样本由随机选择的基类和与基类具有相似性的近邻类组成,以提供信息量大且具有挑战性的学习示例,提高行人重识别模型的判别性学习能力。CGS的采样原理会受主干网提取的特征质量影响,因此CGS采样能力会随着主干网的训练而增强,具有可学习性。通过在大规模数据集(包括CUHK03、Market-1501和MSMT17)上交叉评估该方法,广泛的实验结果证实了该方法的有效性,并展示了其在行人重识别应用中的潜力。

基于动态辅助对比学习的跨域行人重识别

具有混合记忆的自步对比学习(Self-paced Contrastive Learning,SpCL)通过集群聚类生成不同级别的伪标签来训练网络,取得了较好的识别效果,然而该方法从源域和目标域中捕获的行人数据之间存在典型的分布差异,使得训练出的网络不能准确区别目标域和源域数据域特征。针对此问题,提出了双分支动态辅助对比学习(Dynamic Auxiliary Contrastive Learning,DACL)框架。该方法首先通过动态减小源域和目标域之间的局部最大平均差异(Local Maximum Mean Discrepancy,LMMD),以有效地学习目标域的域不变特征;其次,引入广义均值(Generalized Mean,GeM)池化策略,在特征提取后再进行特征聚合,使提出的网络能够自适应地聚合图像的重要特征;最后,在3个经典行人重识别数据集上进行了仿真实验,提出的DACL与性能次之的无监督域自适应行人重识别方法相比,mAP和rank-1在Market1501数据集上分别增加了6.0个百分点和2.2个百分点,在MSMT17数据集上分别增加了2.8个百分点和3.6个百分点,在Duke数据集上分别增加了1.7个百分点和2.1个百分点。

联合归一化模块和多分支特征的行人重识别

针对行人重识别技术中存在特征挖掘不充分的问题,提出一种联合归一化模块和多分支特征的行人重识别模型。在主干网络中嵌入注意力机制引导的实例归一化模块,减轻背景等杂波信息的影响。在双级特征融合模块对局部特征进行加权后再聚合形成对行人特征的更细节表达。联合平滑交叉熵损失、三元组损失以及跨分支特征蒸馏损失对网络进行优化。所提模型在Market-1501和DukeMTMC-ReID数据集上首位准确率分别达到了95.7%和89.2%。实验结果表明,该模型增强了对图像特征的提取。

基于双流交互学习的长时空换装行人重识别

近年来深度行人重识别已取得快速进展,但长时空换装问题仍颇具挑战.为此构建一种双流交互学习算法模型(interactive dual-stream learning,IDSL):基于现有公开数据集生成无服装辅助模态图像,构建主辅双流分支网络来分别学习原始图像和无服装模态图像的细粒度特征;设计一种多尺度特征级联融合器(multi-scale feature cascade fusion,MSFCF),对细粒度特征进行重组并引进交叉注意力机制来实现全局语义和局部细节间的联合建模,提升模型鲁棒性;提出一种具有软惩罚机制的颈部网络(soft penalty batch normalization neck network,SoftBNNeck)来更好地区分度量学习和分类学习,使模型训练更稳定和可控;最后定义了双流一致性约束损失(dual-stream consistency constraint loss,DCCLoss)并探索了多损失联合训练策略,以更好地衡量换装行人身份的概率分布差异,提升重识别准确度.实验表明,在复杂换装行人公开数据集LTCC和Celeb-reID上,Rank-1/mAP分别达到73.8%/47.9%和66.7%/22.6%,领先于同类研究算法.

四流输入引导的特征互补可见光-红外行人重识别

目前可见光-红外行人重识别研究侧重于通过注意力机制提取模态共享显著性特征来最小化模态差异。然而,这类方法仅关注行人最显著特征,无法充分利用模态信息。针对此问题,本文提出了一种四流输入引导的特征互补网络(QFCNet)。首先在模态特定特征提取阶段设计了四流特征提取和融合模块,通过增加两流输入,缓解模态间颜色差异,丰富模态的语义信息,进一步促进多维特征融合;其次设计了一个次显著特征互补模块,通过反转操作补充全局特征中被注意力机制忽略的行人细节信息,强化行人鉴别性特征。在SYSU-MM01,Reg DB两个公开数据集上的实验数据表明了此方法的先进性,其中在SYSU-MM01的全搜索模式中rank-1和m AP值达到了76.12%和71.51%。

精细化局部语义与属性学习的行人重识别

行人的随身物品信息与属性描述是提高行人重识别任务性能的有效途径.本文提出了一种精细化局部语义与属性学习的行人重识别网络,来提取行人的随身物品信息,同时从语义区域中获得行人的属性描述.首先,将特征聚类方法生成的随身物品区域融合到额外语义模型生成的语义解析结果中,解决目前较多额外语义解析模型遗漏行人随身物品信息的问题.其次,利用生成的语义区域作为身体标签,网络由全局特征构建这些区域的语义特征映射,然后从语义特征中预测与之相关的属性信息,增强行人的描述.最后,考虑到行人某些属性之间包含强相关性,重新构建加权模型来提高某些属性的置信分数,优化属性的预测准确率.将属性预测结果和行人的全局特征连接在一起,形成行人的鲁棒特征表示.在Market-1501和DukeMTMC-reID属性数据集上的实验表明,所提算法较基线网络分别得到了3.6%和6.4%的mAP指标增益,可以提高行人重识别任务的性能.

多因素引导的行人重识别数据增广方法研究

为解决行人重识别研究领域中行人标注图像获取困难的问题,提出一种多因素引导的行人数据增广方法。首先,在生成器网络中设计了一种局部多尺度引导机制,通过特征融合抑制生成图像的局部伪影;其次,提出了长距离相关性引导机制,通过外注意力引导生成图像的长距离依赖,提高生成行人图像的整体视感质量;最后,提出一种抗博弈判别网络,通过嵌入到生成对抗网络,从而构建一种三网络稳定博弈架构模型,增加生成对抗网络训练的稳定性。通过VIPeR、Market-1501、DukeMTMC-reID这3种不同规模数据集的仿真实验,结果表明该方法与目前主流方法相比,mAP与Rank-1精度上均有不同程度的提升,在小规模数据集上的提升较为显著。

多尺度融合与双输出U-Net网络的行人重识别

受行人姿态的多变性和行人被遮挡等因素的影响,行人重识别模型难以提取行人关键特征。为增强模型的特征表达能力,提出一种基于多尺度融合与双输出U-Net网络的行人重识别方法,旨在解决现有方法中难以提取行人关键特征、特征表达能力较低的问题。首先,提出多尺度融合的双输出U-Net网络,并对输出特征进行欧氏距离和散度距离约束;其次,设计联合损失函数,解决生成对抗网络在训练过程中不易收敛的问题,提高训练过程的收敛速度。在3个公共基准数据集上的仿真实验结果表明,相比经典特征提取网络,所提特征提取网络的平均精度均值(mAP)提升超过10%,所提行人重识别方法相比主流方法的mAP提高约2%,该方法能够增强模型的特征表达能力,提高行人重识别的准确率。

动态查询感知的行人重识别算法

目前无监督的泛化行人重识别算法在某些需要背景信息辅助判断的情况下,可能会忽视图像的局部区域对细粒度特征的关注,导致背景信息被过滤掉,从而降低识别精度。针对上述问题,提出了一种基于稀疏注意力的动态查询感知算法。通过挤压拼接(squeeze and concat,SPC)模块,获取不同通道数的特征图。利用双层路由感知注意力机制,提取不同尺度特征图之间的注意力权重,得到逐级通道注意力向量。对逐级通道注意力向量的权重进行重新校准。将重新标定的权重与相应的特征图进行加权,输出具有更丰富细化特征信息的多尺度特征图。所提模型在大规模公开数据集(Market-1501、DukeMTMC-reID、MSMT17)上进行实验,相较于基线模型Rank-1分别提高了3.2、4.4、15.4个百分点,mAP分别提高了5.5、8.3、16.2个百分点,与现有前沿算法相比,能够实现更好的局部和全局特征通道之间的信息交互,提升模型对图像特征的细节感知能力.

细微特征增强的多级联合聚类跨模态行人重识别算法

目前跨模态行人重识别研究注重于通过身份标签在全局特征或局部特征上提取模态共享特征来减少模态差异,但却忽视了具有辨别力的细微特征。为此提出了一种基于特征增强的聚类学习网络,该网络通过全局和局部特征来挖掘并增强不同模态的细微特征,并结合多级联合聚类学习策略,最小化模态差异和类内变化。针对训练数据设计了随机颜色转换模块,在图像输入端增加模态之间的交互,以克服颜色偏差的影响。通过在公共数据集上进行实验,验证了所提方法的有效性,其中在SYSU-MM01数据集的全搜索模式下Rank-1和mAP分别达到了70.52%和64.02%;在RegDB数据集的V2I检索模式下Rank-1和mAP分别达到了88.88%和80.93%。

行人重识别模型的多任务损失设计

行人重识别是一项利用计算机视觉技术判断图像中是否存在特定行人的任务。为研究Re-ID模型使用身份标签不能有效地学习不同行人之间的相似局部外观问题,提出了一种基于多任务损失的Re-ID方法。首先,通过主干网络提取全局特征以及局部特征,借助姿态估计算法检测行人身体部位,将身体部位的特征与局部特征组进行融合形成人体姿态引导特征;其次,通过多任务损失方法指导模型对人体姿态引导特征以及全局特征进行优化,从而增强模型对遮挡以及不具有区分性局部外观的鲁棒性。结果表明:多任务损失方法在Occluded-Duke、Market 1501和DukeMTMC-reID数据集上的mAP/Rank-1的精度分别达到了59.7%/67.9%,88.4%/94.9%和80.6%/89.9%。为避免训练集与测试集数据之间分布的差异性导致预训练模型产生次优检索结果的问题,提出了一种基于图卷积网络的重排序方法,该方法利用图卷积算子在图上将行人的最近邻特征传播,从而优化了每个图像的表示,以获得更优的检索结果。

联合注意力机制和多分支特征的行人重识别

针对行人重识别技术中存在模型识别率低的问题,提出一个联合注意力机制和多分支特征的网络模型。在残差网络中嵌入自注意力机制模块强化图像有效特征的提取,在深度特征挖掘模块,使用全局特征分支、局部关联特征分支以及随机擦除特征分支形成对行人更全面的描述。在优化过程中提出联合余弦交叉熵损失、全样本三元组损失、中心损失以及特征对齐损失对网络使用最小最大策略进行更新。所提方法在Market-1501和DukeMTMC-reID数据集上首位准确率分别达到了95.8%和89.8%。

基于姿态引导特征增强的遮挡行人重识别

为解决遮挡行人重识别在特征提取过程中的特征丢失、特征匹配过程中的噪声干扰问题,提出了一种姿态引导的特征增强模型。首先,在关键点信息的辅助下,设计一种对称区域特征修复模块,将被遮挡区域丢失的局部特征替换为未遮挡区域的局部特征;其次,为挖掘局部特征的内在语义联系,设计一种相邻区域特征补偿模块,通过相邻区域特征修正局部特征表示;最后,通过引入广义均值池化对特征图的中心区域再次进行特征提取,提升行人特征向量的表达能力,以获得更加准确的全局特征。仿真实验表明,该模型在常见的全身数据集、半身数据集和遮挡数据集的Rank-1和mAP均优于绝大部分算法,其中在遮挡数据集Occluded-Duke、Occluded-REID上的Rank-1分别达到了56.7%和72.4%。