精细化局部语义与属性学习的行人重识别

行人的随身物品信息与属性描述是提高行人重识别任务性能的有效途径.本文提出了一种精细化局部语义与属性学习的行人重识别网络,来提取行人的随身物品信息,同时从语义区域中获得行人的属性描述.首先,将特征聚类方法生成的随身物品区域融合到额外语义模型生成的语义解析结果中,解决目前较多额外语义解析模型遗漏行人随身物品信息的问题.其次,利用生成的语义区域作为身体标签,网络由全局特征构建这些区域的语义特征映射,然后从语义特征中预测与之相关的属性信息,增强行人的描述.最后,考虑到行人某些属性之间包含强相关性,重新构建加权模型来提高某些属性的置信分数,优化属性的预测准确率.将属性预测结果和行人的全局特征连接在一起,形成行人的鲁棒特征表示.在Market-1501和DukeMTMC-reID属性数据集上的实验表明,所提算法较基线网络分别得到了3.6%和6.4%的mAP指标增益,可以提高行人重识别任务的性能.

基于人物属性提取的行人重识别改进算法

行人重识别(ReID)是指利用计算机视觉技术判断图像或者视频队列里是否存在特定行人的技术。目前,行人重识别在理论层面已经有了很好的实验结果,但在工程应用中还有很多的问题。针对在实际应用场景中行人图片内容的复杂性(摄像设备之间的差异、行人外观易受穿着、遮挡、姿态和视角等影响等)、行人识别率不高等问题,将行人重识别算法与人物属性提取算法相结合,引入注意力机制,提高了在工程应用中行人的重识别率。

监控场景下基于单帧与视频数据的行人属性识别方法综述及展望

行人属性识别旨在判断目标行人的预定义属性标签,从而生成关于该行人的结构化描述,包括年龄、性别、衣着、配饰等多种层次的语义信息.由于行人属性识别在视频监控领域具有极大的应用潜力,该任务广受研究者关注.随着深度学习的快速发展,研究者提出众多识别行人属性的方法,以获得更为精准的识别结果.针对当前复杂场景下,该任务面临的监控画面不清晰、行人状态变化、遮挡等问题,对监控场景下基于单帧与视频数据的行人属性识别方法进行综述,首先围绕行人属性识别这一任务,介绍其研究背景及任务概念,指出当前研究所面临的问题与挑战;其次根据“单帧图像”和基于视频数据的“序列图像”2种不同的样本类型,对行人属性识别方法进行分类,并依据属性识别过程中所采用的技巧和思路,归纳总结最新提出的行人属性识别方法,概述研究现状;再对当前主流使用的数据集进行分析比较,总结其特点;最后,从状态引导行人属性识别、立体属性、多任务融合、新数据集构建4个方面,思考该领域的未来发展方向并作出展望.

联合全局与局部外观特征的无人机行人属性识别

针对无人机航拍图像下行人属性识别任务特征提取效率低问题,提出一种联合全局与局部外观特征学习的行人属性识别算法。首先为了提升算法的局部区域定位能力,提出一种新颖的基于注意力的属性定位模块,模块通过矩阵乘法来建模不同通道间的空间依赖关系,并利用全局平均池化产生的特征进一步增强提取到的局部区域信息,实现了更好的局部特征表达能力;其次,为了防止生成的局部区域信息出现冗余,设计一种注意力多样性损失,通过最小化特征通道的相似性来约束各个局部区域互不重叠;最后,在两个公开的行人属性识别数据集上的实验结果表明,上述设计可以有效提高属性识别准确率并且参数量仅轻微增加。

基于行人属性分级识别的行人再识别

为了提高行人再识别算法的识别效果,该文提出一种基于注意力模型的行人属性分级识别神经网络模型,相对于现有算法,该模型有以下3大优点:一是在网络的特征提取部分,设计用于识别行人属性的注意力模型,提取行人属性信息和显著性程度;二是在网络的特征识别部分,针对行人属性的显著性程度和包含的信息量大小,利用注意力模型对属性进行分级识别;三是分析属性之间的相关性,根据上一级的识别结果,调整下一级的识别策略,从而提高小目标属性的识别准确率,进而提高行人再识别的准确率。实验结果表明,该文提出的模型相较于现有方法,有效提高了行人再识别的首位准确率,其中,Market1501数据集上,首位准确率达到了93.1%,在DukeMTMC数据集上,首位准确率达到了81.7%。

融合属性特征的行人重识别方法

行人重识别旨在跨监控设备下检索出特定的行人目标.由于不同的行人可能具有相似的外观,因此要求行人重识别模型能够捕捉到充足的细粒度特征.本文提出一种融合属性特征的行人重识别的深度网络方法,将行人重识别和属性识别集成在分类网络中,进行端到端的多任务学习.此外,对于每张输入图片,网络自适应地生成对应于每个属性的权重,并将所有属性的特征以加权求和的方式结合起来,与全局特征一起用于行人重识别任务.全局特征关注行人的整体外观,而属性特征关注细节区域,两者相互补充可以对行人进行更全面的描述.在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性,平均精度均值(Mean average precision,mAP)分别达到了74.2%和83.5%,Rank-1值分别达到了87.1%和93.6%.此外,在这两个数据集上的属性识别也得到了比较好的结果.

基于多级注意力跳跃连接网络的行人属性识别

行人属性识别易受视角、尺度和光照等非理想自然条件变化的影响,且某些细粒度属性识别难度较大。为此,提出一种多级注意力跳跃连接网络MLASC-Net。在网络中间层,利用敏感注意力模块在通道及空间维度上对原特征向量进行筛选加权,设计多级跳跃连接结构来融合所提取的显著性特征。在网络顶层,改进多尺度金字塔池化以融合局部特征和全局特征。在网络输出层,结合验证损失算法自适应更新损失层,加速模型的收敛并提高精度。在PETA和RAP数据集上的实验结果表明,MLASC-Net的识别准确率相较原基准网络分别提高约4.62和6.54个百分点,其在识别效果和模型收敛速度上有明显优势,同时在非理想自然条件下具有良好的泛化能力,可有效提高网络对细粒度属性的鲁棒性。

基于行人属性异质性的行人再识别神经网络模型

为提高基于行人属性学习的行人再识别算法识别精度,提出一种改进的行人再识别神经网络模型。该模型基于属性之间的异质性,在神经网络中设计不同的识别方法对各类属性进行识别,以提高行人属性识别的准确率。针对不同属性识别方法损失度量算法的不一致,给出异质属性损失度量函数,使得不同识别方法能在同一个网络模型中进行训练和学习,实现网络参数的最优化。实验结果表明,该模型在Market1501数据集、DukeMTMC数据集和DukeMTMC数据集上的首位准确率分别达到88. 13%、74. 96%和77. 64%。

基于深度学习与属性学习相结合的行人再识别

现实情况中缺少大量有标签数据,导致有监督的行人再识别模型训练受到影响。此外,低层特征的缺乏语义特性限制了行人再识别在行人检索、罪犯追踪等中的应用。本文提出了一种基于深度学习与属性学习相结合的行人再识别方法,利用深度学习的无监督模型提取行人图像的本质特征,并引入"属性"概念增强特征的语义表达能力。首先采用卷积自动编码器进行无监督的特征提取,提取的特征然后交由多个属性分类器进行属性分类,并结合统计获得的属性类别映射关系表计算最终类别判定,最后在VIPeR和i-LIDS标准数据集上进行了测试,并与基于优化属性的行人再识别方法(Optimized attribute based re-identification,OAR)、显著性检测对应法(Salience detection correspondence,SDC)等进行了比较,结果表明本方法能够赋予行人再识别较好的语义性能,并在一定程度上提高了识别的准确率,同时获得了较好的零训练样本识别效果。

基于姿态与并行化属性学习的行人再识别方法

行人再识别是当前图像识别领域的一个重要研究分支,在取得众多研究成果的同时,在实际场景中的应用也存在诸多挑战。摄像设备和拍摄场景的差异,以及穿着、尺度、部分遮挡、姿态等对行人外观的影响,给行人再识别带来较大的困难。为此,提出一种行人再识别方法,通过基于姿态的并行化属性学习任务对行人姿态信息进行标注,并将其作为语义属性融入到行人再识别任务中,降低实际场景中属性缺失对模型的影响,加速训练过程。实验结果表明,该方法在VIPeR数据集上达到了90%的识别率。

基于深度学习的行人属性识别综述

行人属性识别是计算机视觉领域中的研究热点,在人工智能、安防监控等方面有着极其广泛的应用。传统的行人属性识别方法主要基于底层特征提取,如局部描述符、颜色直方图和人体关键点检测等,但难以解决图像分辨率低和行人被遮挡等原因造成的识别率低下的问题。近年来,随着深度学习在行人属性识别算法中的应用,基于常规网络、部件识别、注意力机制和序列检测等深度学习算法相继被提出,其识别率较传统算法得到了明显的提高。通过综述基于深度学习的行人属性识别的各类算法,分析对比其优缺点,并介绍常用的数据集和评价指标,展望行人属性识别的未来发展趋势。

多属性融合网络的行人重识别方法

针对基于视频的行人重识别中由于光照与视角变化带来的问题,提出了一种结合局域质量评估网络与行人属性特征的网络。对部分行人图像进行预处理,裁掉部分行人图像的底部;将行人分割成三段通过卷积神经网络对其进行质量评估;结合事先人工标注的行人属性标签,进行训练从而完成重识别的过程。通过学习行人的全局特征和局部特征,能够有效解决行人图像中出现的遮挡和不对齐问题,通过在三个数据集上的结果对比表明方法实现了准确率上的提升。

结合语义与图像信息的行人属性识别算法

为提升行人属性的识别精度,充分利用行人属性间自然语义关联并解决不同属性相关图像信息的提取差问题,提出结合语义与图像信息的行人属性识别算法。通过自注意力机制的关系建模能力挖掘行人属性间的内在联系,利用交叉注意力机制建立属性间语义信息与图像特征信息的关系。在此基础上,依靠卷积融合图像的高阶与低阶特征并为模块增加局部特征信息,提升模型的泛化能力,通过设计属性预测模块,使模型可与任意骨干网络相拼接,进一步提升识别性能。实验结果显示,该算法的平均精度、准确率、F1值在PA-100K和PETA数据集上分别为84.04%、79.71%、88.03%和89.04%、82.39%、89.06%,与ALM、JLAC等算法相比,能够充分利用属性语义与图像特征信息,在多项评价指标上有明显提升。

基于深度学习的行人属性多标签识别

行人属性通常指的是行人的一些可被观察到的外部特征,如性别、年龄、服饰、携带品等。作为行人外部的软生物特征,行人属性对于行人检测和再识别是非常重要的,并且在智能视频监控场景和基于视频的商业智能应用中显示出巨大的潜力。在目前的行人属性多标签分类识别中,主要有基于手工设计特征的方法和基于深度学习的方法。然而,手工设计特征的方法难以应对复杂的真实视频监控场景,在实际应用中取得的效果并不是很理想。采用深度卷积网络模型,包含3个卷积层和2个全连接层,使用Sigmoid交叉熵损失函数,训练平台为Caffe深度学习框架,通过在包含19 000张行人图片的PETA数据集上对10种行人属性进行训练和测试,得到85.2%的平均识别精度。加入正样本比例指数因子改进损失函数后,平均识别精度达到89.2%,使网络性能有明显的提高。

基于深度学习和属性特征的行人再识别算法

随着基于神经网络的算法在图像领域的不断发展,神经网络算法在行人再识别领域也逐渐成为主流的算法。目前,大多数神经网络算法常把网络的最后一层特征用于行人分类,而很少关注网络中间层输出的特征。另一方面,行人属性特征作为一个有效的局部特征,是神经网络提取特征的一个重要补充。基于Resnet50网络,结合网络中间层特征和行人属性特征,提出了一个新的行人再识别算法。在Market-1501和DukeMTMC-reID数据集上进行实验,实验结果表明,所提算法相较于目前主要算法,识别准确率有较大的提升。

基于图像增强与样本平衡优化的行人属性识别

由于采用的监控图像尺寸较小、分辨率低等原因,行人属性识别一直是一个极具挑战性的任务,而低分辨率的图像往往又导致数据集存在识别行人主体区域不突出、背景噪音干扰严重等问题.之前的方法大多将未作处理的原始图像作为输入,使得属性识别效果一直不够理想,并且,属性识别的主流数据集通常存在正负样本不平衡的问题,例如,许多行人的服装属性分布有着季节性或习俗性的偏差.因此,本文提出一个新的深度学习网络——图像增强与样本平衡优化模型IEBO (image enhancement and sample balance optimization).该模型通过色彩增强与提取行人主体区域的噪音抑制方法,在突出行人核心特征的同时消除无用背景信息,防止其对属性识别造成干扰.另外模型通过权重调节针对样本不平衡的属性进行优化,提高不平衡属性的识别能力.实验最终表明,新的行人属性识别模型在Market-1501-attribute数据集中取得了较好的性能.

监控场景中的行人属性识别研究综述

监控场景中的行人属性识别任务旨在为监控场景中视频摄像头捕捉的行人图片预测其属性类别,由于监控场景环境的复杂以及行人属性的细粒度标签,监控场景中的行人属性识别任务极具挑战,受到业界和学界的广泛关注.文中对监控场景中的行人属性识别研究进展进行梳理,首先给出了其概念范畴与任务定义,并与其他相似的属性识别任务进行对比.其次,文中对目前主流的行人属性识别数据库进行了简单介绍,并从图片和标注两个角度分析了不同数据库之间的异同.再次,文中对深度学习时代以来所提出的各种行人属性识别方法进行了归纳和总结,综述了目前行人属性识别领域的研究现状.最后,文中对监控场景中的行人属性识别存在的问题进行了思考和讨论,并对未来的发展趋势进行了展望.

结合多尺度特征与混淆学习的跨模态行人重识别

跨模态行人重识别研究的重难点主要来自于行人图像之间巨大的模态差异和模态内差异。针对这些问题,提出一种结合多尺度特征与混淆学习的网络结构。为实现高效的特征提取、缩小模态内差异,将网络设计为多尺度特征互补的形式,分别学习行人的局部细化特征与全局粗糙特征,从细粒度和粗粒度两方面来增强网络的特征表达能力。利用混淆学习策略,模糊网络的模态识别反馈,挖掘稳定且有效的模态无关属性应对模态差异,来提高特征对模态变化的鲁棒性。在大规模数据集SYSU-MM01的全搜索模式下该算法首位击中率和平均精度(mean average precision,mAP)的结果分别为76.69%和72.45%,在RegDB数据集的可见光到红外模式下该算法首位击中率和mAP的结果分别为94.62%和94.60%,优于现有的主要方法,验证了所提方法的有效性。

基于CNN-ATT-ConvLSTM的行人属性识别

针对现有行人属性识别方法忽视行人属性的互相关性和空间信息导致识别性能较低的问题,将任务视为时空序列多标签图像分类问题,提出基于卷积神经网络(CNN)和卷积长短期记忆网络(ConvLSTM)并融合通道注意力机制的模型。用CNN和通道注意力提取行人属性的显著性和相关性视觉特征;用ConvLSTM进一步提取视觉特征的空间信息和属性相关性;以优化序列对行人属性进行预测。在两个常用行人属性数据集PETA和RAP上进行大量实验,取得了最佳性能,证明了该方法的优越性和有效性。

基于领域自适应的多源多标签行人属性识别

当前行人属性识别(PAR)公开数据集中属性标注繁杂且采集场景多样,各数据集中行人属性差异较大,进而导致公开数据库已有的标记信息数据难以直接应用到PAR实际问题中。针对上述问题,提出一种基于领域自适应的多源多标签PAR方法。首先通过领域自适应方法对样本进行特征对齐完成多个数据集之间的统一风格转换;接着提出多属性one-hot编码加权算法,将多数据集中共有属性的标签对齐;最后结合多标签半监督损失函数,进行跨数据集联合训练以提高属性识别准确率。通过所提出的特征对齐和标签对齐算法,可有效解决PAR多数据集中属性异构性问题。将三个行人属性数据集PETA、RAPv1和RAPv2分别与PA-100K数据集对齐后的实验结果表明,所提出的方法对比StrongBaseline在平均准确率上分别提升了1.22、1.62和1.53个百分点,说明该方法在跨数据集PAR中具有一定的优势。