基于多维分割和特征融合的车辆重识别算法

针对车辆重识别算法受类内差异性和类间相似性干扰,细粒度特征提取不充分的问题,本文提出一种融合全局与局部信息,基于卷积和自注意力机制的车辆重识别算法。采用双分支架构对车辆语义进行编码,更好地捕捉车辆信息,为了增强局部语义信息的提取,针对不同维度上的注意力模块,通过设计全局局部交互模块,将全局信息更好地融入局部特征。在公开数据集VeRi 776与VehicleID数据集进行实验验证,实验结果证明所提方法的优越性。

多视图融合和全局特征增强的车辆重识别网络

车辆重识别是智能交通领域重要应用之一,现有的车辆识别方法大多集中于预定义的局部区域特征或全局外观特征。然而,在复杂的交通环境下,传统的方法难以获取预定义的局部区域,同时很难捕捉有价值的车辆全局特征信息。因此,本文提出一种具有多视图融合的混合注意力机制和全局特征增强的端到端双分支网络。该网络旨在通过增强车辆的特征表达能力和特征质量来获得更完整、更多样的车辆特征。本文通过视图解析网络对车辆图片4个视角的视图进行分割,并通过视图拼接方法缓解分割不准确导致的信息丢失问题。为了更好地突出拼接视图中的显著性局部区域,本文提出一种由通道注意力机制和自注意力机制组成的混合注意力模块。通过该模块从车辆拼接视图中分别获取关键局部信息和局部信息之间的相关性,更好地凸显拼接视图中车辆局部的细节信息。除此之外,还提出了一个全局特征增强模块,通过池化和卷积获得全局特征的空间和通道关系。该模块不仅能提取到语义增强的车辆特征,而且还使车辆特征中包含完好的细节信息,解决获取的车辆图像受视角变化、光照条件变化等因素的影响。在Veri-776和VehicleID数据集上的大量实验表明,mAP、CMC@1和CMC@5分别达到了82.41%、98.63%和99.23%,优于现有的方法。

基于弱监督注意力和知识共享的车辆重识别

为解决弱监督车辆重识别方法中标签不准确和背景干扰下预定义局部区域难以获得的问题,提出一种基于弱监督注意力和知识共享的车辆重识别网络。在弱监督注意力模块(WAM)中使用弱监督的方法生成车辆部件掩模,通过部件通道对齐步骤使得该模块在复杂背景下也能自适应地进行特征对齐。针对弱监督方法中标签准确性不高导致WAM模块生成部件掩模不稳定的问题,在局部分支中构建了知识共享模块。该模块利用迁移学习从WAM模块中提取车辆部件特征,并进行多尺度部件特征提取,防止了不稳定的车辆部件掩模生成。通过实验,mAP、CMC@1和CMC@5分别达到了82.12%、98.50%和99.12%,优于现有的方法,验明该方法的有效性。

用于车辆重识别的部件耦合Transformer网络

基于卷积神经网络的车辆重识别模型在执行卷积和池化操作时,不可避免地会出现全局感受野狭小和局部信息丢失的情况,当光照、视角和分辨率等发生剧烈变化时,导致车辆重识别的鲁棒性和精确性急剧下降.为此,提出了部件耦合Transformer的车辆重识别网络,通过堆叠部件耦合Transformer块来搭建重识别模型,每一个部件耦合Transformer块利用部件自适应嵌入模块提取区分性的局部特征和Transformer层提取鲁棒性的全局特征.首先,部件自适应嵌入模块按照位置和伸缩量动态划分和调整特征图,增强模型对局部部件信息的感知能力;其次,Transformer层中利用自注意力机制增强网络模型对全局特征的表示能力;最后,部件自适应嵌入模块和Transformer层之间的耦合关系促进全局和局部特征协同合作.在VeRi-776和VehicleID数据集上的实验结果表明,CMC@1/CMC@5分别达到0.970/0.988和0.865/0.985,优于对比模型.

无监督学习的车辆重识别方法研究综述

车辆重识别作为智能交通系统的关键技术之一,旨在从不同监控场景下识别同一车辆,对构建平安智慧城市起着重要作用。随着计算机视觉技术的不断发展,使用监督学习的重识别方法存在训练过程对人工标注依赖强、场景泛化能力弱的问题,因此无监督学习的车辆重识别逐渐成为近年来研究的重点。首先,介绍了当前主流的车辆重识别数据集以及常用的模型评价指标。然后,系统梳理了近几年基于无监督学习的车辆重识别方法,根据目前的研究思路将这些方法归纳为生成对抗网络和聚类算法两大类;从域偏差、跨视域偏差以及数据样本信息不足的问题出发,将前者进一步分为风格转换、多视角生成和数据增强三类;又针对标签的问题,将后者分为伪标签的无监督域适应和无需标签信息两类;以解决问题为着手点,总结出每类方法的基本原理、优缺点以及在主流数据集上的性能结果。最后,讨论分析了目前无监督学习的车辆重识别所面临的挑战,并对该研究方向的未来工作进行展望。

基于注意力和自适应权重的车辆重识别算法

为了解决车辆重识别算法受类内差异性与类间相似性的干扰无法充分表示车辆特征的问题,提出基于注意力机制和自适应损失权重的车辆重识别算法.该算法采用改进的主干网络ResNet50_ibn,避免了颜色、光照、视角等客观因素的干扰,提取关于目标的不变性特征.搭建基于注意力机制的组表示网络,融合特征间的相互依赖关系,从不同分组的特征表示中提取更加丰富的特征信息.设计自适应损失权重计算损失函数,使用多损失函数策略对网络模型进行训练.该算法在公开数据集VeRi776与VehicleID上的首位击中率和平均精度均值分别达到了96.0%、79.8%和81.5%、80.9%.实验结果表明,利用该算法提取的特征更具判别性,综合性能优于现有的其他车辆重识别算法.

基于深度学习的车辆重识别算法综述

随着计算机视觉技术的迅速发展以及人们对于建设智慧城市的渴望,车辆重识别技术取得了不小的突破。它可以助力于搜寻救援、打击犯罪等诸多领域。深度学习及神经网络为该项任务突破传统特征的瓶颈带来了可能,而随着各种大规模数据集的提出,越来越多的学者关注到了此项任务,并成为当下的研究热点。本文对车辆重识别任务的兴起、发展及现状进行了一定的归纳总结,提出了现有技术下的一些不足,并对未来的发展做出了一些思考与预测。

基于双重注意力与精确特征分布匹配的车辆重识别

为了解决目前车辆重识别方法细粒度特征提取能力弱、域泛化能力差的问题,提出了一种基于双重注意力与精确特征分布匹配的车辆重识别方法。提出一种新的双重注意力机制,使用WideResNet50与双重注意力模块构建多细粒度特征提取网络的前置部分,用于高效建模全局上下文信息并增强对车辆细粒度特征的提取能力。将基于精确特征分布匹配的风格迁移策略融入浅层主干来增强源域的域多样性,实现数据增广,从而有效提升车辆重识别的跨域性能和特征表达能力。提出了一种逐深度多尺度特征金字塔结构来加强特征提取,整合不同尺度特征层的多层次信息,并将该结构输出的车辆特征采用特征图分割的思想来突出局部细粒度信息,提升模型对车辆细粒度信息的敏感度。引入Tuplet边际损失来缓解最困难样本的过拟合问题。在两个大型基准车辆数据集VeRi-776和VehicleID上的实验结果表明,所提出算法在单域和跨域任务上都具有较好的重识别效果。

基于联邦学习的无监督跨域车辆重识别方法

在车辆重识别的实际应用场景中,车辆图像通常来自不同区域的摄像头,路侧边缘计算单元的计算能力有限,无法实时完成模型训练。如果直接部署统一的模型,由于地域差异,同一种网络无法适应所有地域的图像风格,从而影响车辆重识别的准确性。针对以上问题,文章深入分析了车辆重识别算法的特点,提出了基于联邦学习的无监督领域自适应车辆重识别方法。

基于注意力机制与多尺度融合学习的车辆重识别方法

在车辆重识别任务中,通常会出现相机角度变化和场景变化等情况,导致重识别准确率降低,为此提出了一种基于注意力与多尺度融合学习的车辆重识别方法,在多尺度下提取并融合浅层细节信息和深层语义信息。首先,构造一种深度学习网络,通过注意力机制学习车辆图像的显著性特征;然后,在多个尺度下对描述车辆身份的信息进行提取,将浅层表达的细节信息和深层表达的语义信息相融合构造空间特征;其次,对空间特征进行分解与重组,得到具有空间鲁棒性的局部特征,并与全局特征融合,构造车辆身份重识别特征;最后,利用该特征计算不同车辆图像间相似度,判断是否具有相同的身份。实验结果表明:在VeRi-776数据集上测试得到的Rank-1指标达到了94.0%,mAP指标达到了72.2%,表明该方法在相机角度变化、场景变化等情况下可以有效提高车辆重识别的准确率。

基于联合条纹关系的车辆重识别

为了解决车辆重识别过程中因车辆特征图分块所导致的空间信息丢失问题,提出一种联合条纹特征之间关系的模块以弥补丢失的空间信息。首先,针对车辆特殊的物理结构,构建了一种双分支神经网络模型,对输出的特征图进行水平和垂直均等分割并在不同的神经网络分支上进行训练;然后,设计多激活值模块以减少噪声并丰富特征图信息;接着,使用三元组和交叉熵损失函数对不同的特征进行监督训练以约束类内距离并扩大类间距离;最后,设计批量归一化(BN)模块消除不同损失函数在优化方向上存在的差异,从而加速模型的收敛。使用所提方法在VeRi-776和VehicleID两个公共数据集上进行实验,结果表明该方法的Rank1值优于现有最好的方法VehicleNet,验证了其有效性。

基于多粒度特征分割的车辆重识别算法

针对车辆重识别任务中局部特征提取不充分和潜在显著性局部特征易被掩盖的问题,提出一种基于多粒度特征分割的算法。该算法采用可实现跨通道间信息交互的ResNeSt-50作为骨干网络提取初级特征,并将骨干网络复制成三个独立的分支,对输出的特征图分别沿纵向、横向和通道方向进行多粒度分割以提取到区分性局部特征。为进一步增强网络提取判别性特征信息的能力,又在ResNeSt-50的每个split-attention block中嵌入了空间注意力模块。研究结果表明:算法在VeRi-776数据集上的mAP、Rank-1、Rank-5指标分别达到85.92%、97.67%、98.53%;在VehicleID数据集的三个测试集上,Rank-1指标分别达到了88.36%、84.19%、78.89%,优于现有大部分主流算法,研究结果表明该算法具有先进性和有效性。

融合脉冲神经网络的模糊情景车辆重识别算法

车辆重识别任务在模糊情景下存在难以顺利完成任务的情况。在模糊情景下,数据的质量会受到不同程度的影响。针对上述问题,本文提出了一种融合脉冲神经网络(SNN)的车辆重识别算法。脉冲神经网络具有功耗低的优势,且在处理非实值数据时性能优秀,适合应用于模糊情景。本算法通过设计脉冲神经网络模型,对特征图进行深度特征提取,通过残差计算实现身份映射,同时通过卷积注意力模块来优化网络。实验结果表明,算法在添加动态模糊的VeRi-776数据集上Rank-1与平均精度均值(mean average precision,mAP)指标表现优秀,能够有效地完成模糊环境下的车辆重识别任务。

基于高置信局部特征的车辆重识别优化算法

根据车辆重识别中区域置信度不同,提出了基于高置信局部特征的车辆重识别优化算法。首先,利用车辆关键点检测获得对应的多个关键点坐标信息,分割出车标扩散区域和其他重要的局部区域。根据车标扩散区域的高区分度特性,提升局部区域的置信度。使用多层卷积神经网络对输入图片进行处理,根据局部区域分割信息,对卷积得到的特征张量进行空间维度上的切割,获得代表全局信息和关键局部信息的特征张量。然后,通过全连接层特征张量转化为表示车辆个体的一维向量,计算损失函数。最后,在测试阶段使用全局特征,并利用训练好的车标扩散区域提取分支获得高置信局部特征,缩短局部识别一致的车辆目标距离。在典型车辆重识别数据集VehicleID上进行测试,验证了所提算法的有效性。

基于特征融合和L-M算法的车辆重识别方法

车辆重识别是在视频监控系统中,匹配不同外界条件下拍摄的同一车辆目标的技术。针对车辆重识别时不同摄像机中同一车辆的图像差异较大,单一特征难以稳定地描述图像的问题,采用多种特征融合实现车辆特征的提取,该方法将车辆图片的HSV特征和LBP特征进行融合,并对融合特征矩阵进行奇异值分解,提取特征值。针对重识别模型训练时传统BP算法收敛速度慢,精度不高的问题,采用Levenberg-Marguardt自适应调整算法优化BP神经网络。实验结果表明,该方法在车辆的同一性识别方面的识别率达到97.5%,且对光照变化、视角变化都具有较好的鲁棒性。

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.

用于车辆重识别的视角感知局部注意力网络

车辆重识别的目的是从大型车辆数据库中找到与查询车辆相同特征的所有车辆图片。目前,由于同一车辆在不同视角下外观差异大或颜色、车型相同的不同车辆在特定视角下外观差异小,导致车辆重识别的准确度和鲁棒性均有待提高。提出一个视角感知局部注意力网络,采用弱监督注意力学习方式代替人工手动的车辆局部部件标注,自适应学习每个视角内所有显著性局部特征。通过局部注意力裁剪操作裁剪并放大该视角领域内部件细节信息,并基于局部注意力擦除操作擦除一些局部区域,以鼓励模型发掘该视角领域内其他更多的显著性局部线索。构建一种共同视角的注意力增强模块,以强化共同视角特征学习,并根据视角的相似度给每个视角分配相应的权重,使同一视角特征学习得到增强,不同视角特征学习受到抑制。实验结果表明,所提网络在VeRi-776数据集下的mAP为81.2%,在VehicleID数据集下的CMC@1、CMC@5分别为85.7%、98.0%,相较于PRN、PVEN、SAVER等重识别网络具有更高的识别精度和更强的泛化能力。

基于局部特征与视点感知的车辆重识别算法

在车辆重识别任务中,车辆视角的多变性会影响算法的准确性。为了解决视角多变对重识别准确性的影响,本文提出了一种基于局部特征与视点感知的车辆重识别方法。首先,使用语义分割算法将车辆解构为正面、背面、侧面、顶部4个部分,以提高车辆的细粒度表征。通过设计一种车辆视点感知网络,来输出视点的预测概率信息,据此概率信息动态平滑地呈现车辆视点感知效果。利用视点感知效果,为车辆每个局部区域赋予不同的权重,达到缩短类内距离,扩大类间差距,减少视角变化对车辆重识别的影响。利用公开数据集进行实验,其中VeRi776数据集的mAP可达到80.9%。结果表明,本方法可有效提高车辆重识别精度。结合消融实验证明了视点感知的平滑表示对多视角下车辆重识别的有效性。

基于局部特征和焦点融合的车辆重识别算法

由于城市监控中存在大量相似的车辆,造成了车辆重识别匹配率低。车头、车窗、车顶等局部特征是相似车辆细微差异性的所在。根据车辆检测算法卷积特征热力图注意力分布特性,提出了针对车辆局部特征区域检测的MCRF-SSD算法,并与GMM-EM聚类算法相结合,检测性能在公开的数据集上均优于目前主流算法。同时为了增大类间距离、缩小类内距离将Arcface损失函数引入到了特征提取阶段。为了提高车辆重识别匹配性能,在全局特征与局部特征融合阶段提出了一种保留特征图空间分布的焦点融合(FFS)方法,并引入了一个可学习参数,提高了特征融合效率。实验结果表明,所提出的算法在公开的VehicleID和VeRi数据集中性能表现优于目前性能最优的方案。

一种融合表观与属性信息的车辆重识别方法

针对基于深度学习的车辆重识别模型缺乏提取车辆局部细节描述的能力,以及不同环境下同一车辆表观特征变化显著,增加车辆重识别的难度的问题,提出一种融合多尺度车辆表观和属性信息的重识别模型.充分利用车辆颜色和车型属性在不同环境下较为稳定且易判断的特性,将其融合到车辆表观特征中,获得强化提升的深度特征;另外使用交叉熵损失函数与Triplet损失函数构建多任务的目标优化函数对模型进行参数训练.该方法在VeRi-776车辆数据库上的实验结果表明:通过融合颜色和车型属性特征可以明显地提高车辆重识别的准确率,并可以取得优于其他大部分对比方法的性能.