监控场景下基于单帧与视频数据的行人属性识别方法综述及展望

行人属性识别旨在判断目标行人的预定义属性标签,从而生成关于该行人的结构化描述,包括年龄、性别、衣着、配饰等多种层次的语义信息.由于行人属性识别在视频监控领域具有极大的应用潜力,该任务广受研究者关注.随着深度学习的快速发展,研究者提出众多识别行人属性的方法,以获得更为精准的识别结果.针对当前复杂场景下,该任务面临的监控画面不清晰、行人状态变化、遮挡等问题,对监控场景下基于单帧与视频数据的行人属性识别方法进行综述,首先围绕行人属性识别这一任务,介绍其研究背景及任务概念,指出当前研究所面临的问题与挑战;其次根据“单帧图像”和基于视频数据的“序列图像”2种不同的样本类型,对行人属性识别方法进行分类,并依据属性识别过程中所采用的技巧和思路,归纳总结最新提出的行人属性识别方法,概述研究现状;再对当前主流使用的数据集进行分析比较,总结其特点;最后,从状态引导行人属性识别、立体属性、多任务融合、新数据集构建4个方面,思考该领域的未来发展方向并作出展望.

融合行人属性特征的ReID重排序方法

在行人重识别问题中,为了减少因光线、摄像头角度、遮挡等因素对搜索结果带来的影响,需要通过拓展维度来丰富图像特征从而提高搜索精度。为此,本文提出了一种对行人重识别搜索结果进行重排序的方法。该方法首先通过行人的全局特征对行人图像进行搜索排序,然后提取行人属性特征,并利用属性特征训练一个二分类模型。通过模型对搜索结果进行重排序,并评估搜索精度。实验的结果表明,在加入属性特征之后,行人重识别算法搜索的Rank-1、mAP值均有提升。

联合全局与局部外观特征的无人机行人属性识别

针对无人机航拍图像下行人属性识别任务特征提取效率低问题,提出一种联合全局与局部外观特征学习的行人属性识别算法。首先为了提升算法的局部区域定位能力,提出一种新颖的基于注意力的属性定位模块,模块通过矩阵乘法来建模不同通道间的空间依赖关系,并利用全局平均池化产生的特征进一步增强提取到的局部区域信息,实现了更好的局部特征表达能力;其次,为了防止生成的局部区域信息出现冗余,设计一种注意力多样性损失,通过最小化特征通道的相似性来约束各个局部区域互不重叠;最后,在两个公开的行人属性识别数据集上的实验结果表明,上述设计可以有效提高属性识别准确率并且参数量仅轻微增加。

结合语义与图像信息的行人属性识别算法

为提升行人属性的识别精度,充分利用行人属性间自然语义关联并解决不同属性相关图像信息的提取差问题,提出结合语义与图像信息的行人属性识别算法。通过自注意力机制的关系建模能力挖掘行人属性间的内在联系,利用交叉注意力机制建立属性间语义信息与图像特征信息的关系。在此基础上,依靠卷积融合图像的高阶与低阶特征并为模块增加局部特征信息,提升模型的泛化能力,通过设计属性预测模块,使模型可与任意骨干网络相拼接,进一步提升识别性能。实验结果显示,该算法的平均精度、准确率、F1值在PA-100K和PETA数据集上分别为84.04%、79.71%、88.03%和89.04%、82.39%、89.06%,与ALM、JLAC等算法相比,能够充分利用属性语义与图像特征信息,在多项评价指标上有明显提升。

基于HSA注意力模块和关联规则的行人属性识别算法

针对先前研究工作对行人属性相关性分析不足和行人图像中细粒度属性特征难以捕获的问题,首先基于关联规则寻找属性之间的相关性,然后根据相关性改变网络结构,提升有较强相关性属性的准确率并嵌入改进的HSA(hierarchy split attention)注意力模块,将特征图中的潜在信息进行深度挖掘.HSA注意力模块将特征图进行分组和在子特征图之间增加通道交互操作,整合后的特征图输入挤压激励(squeeze and excitation,SE)模块中,提取图像在通道上的信息.在PA100K、Market-1501和PETA数据集上的实验结果表明,本算法的精确率、召回率、F1值与其他算法相当,但是准确率有较大提升.

基于残差注意和非对称损失的行人属性识别

针对目前行人属性识别存在着复杂样本识别精度较低和属性数据集中属性分布不平衡的问题,本文提出一种基于残差注意的行人属性识别网络。该网络采用Resnet50作为骨干网络提取出具有语义信息的行人属性特征,并采用属性类别残差注意网络结构关注属性存在的关键区域且挖掘不同属性类别之间的内部联系。同时采用归一化和非对称的加权损失策略降低行人属性样本分布不平衡的影响,加快模型收敛速度并提高属性识别精度。在行人属性公共数据集PETA和PA100K上进行实验,实验结果表明,该方法在公共数据集PETA上获得的平均识别精度为87.32%,在公共数据集PA100K上可以获得79.75%的识别精度,与其他行人属性识别方法相比具有明显优势。

基于深度学习的行人属性识别及应用

为了提高行人属性识别的准确率,提出基于多尺度注意力网络的行人属性识别算法,并对其进行了改进。将行人属性分为上身、上身附属、下身、下身附属、脚部、朝向、性别、年龄、携带物9个类型。在进行初步的二分类属性预测后,实行进一步的属性筛选分类,避免互斥属性同时出现,从而提高属性识别结果的准确性和合理性。此外,为了有利于行人属性识别算法的应用,基于模块化的设计理念,按照原始图像和目标检测预测结果中的行人类型和位置信息获取行人图像块信息进行属性识别,提出目标检测与行人属性识别一体化的方法。

基于属性敏感卷积神经网络的行人属性分类

针对行人属性分类受行人属性不均衡影响的问题,提出了一种基于属性敏感卷积神经网络的行人属性分类方法.首先调整现有的卷积神经网络结构,通过融合正反通道激活模块的使用,使模型能够感知更加详细的行人属性;其次引入属性不均衡损失函数,根据属性的不均衡比例自适应更新网络权重,利用误差的反向传播对少类属性增加其权值,提升模型对少类属性的敏感;最后在PETA数据集上,对54个属性进行了分类试验.结果表明:相比MLCNN等方法,新方法在36分类任务上取得了提升;在平均准确度、平均召回率和平均AUC上,分别提升2.13%,2.38%和1.19%.

基于多级注意力跳跃连接网络的行人属性识别

行人属性识别易受视角、尺度和光照等非理想自然条件变化的影响,且某些细粒度属性识别难度较大。为此,提出一种多级注意力跳跃连接网络MLASC-Net。在网络中间层,利用敏感注意力模块在通道及空间维度上对原特征向量进行筛选加权,设计多级跳跃连接结构来融合所提取的显著性特征。在网络顶层,改进多尺度金字塔池化以融合局部特征和全局特征。在网络输出层,结合验证损失算法自适应更新损失层,加速模型的收敛并提高精度。在PETA和RAP数据集上的实验结果表明,MLASC-Net的识别准确率相较原基准网络分别提高约4.62和6.54个百分点,其在识别效果和模型收敛速度上有明显优势,同时在非理想自然条件下具有良好的泛化能力,可有效提高网络对细粒度属性的鲁棒性。

基于改进损失函数的多阶段行人属性识别方法

大量研究工作通过挖掘属性间的正相关性提高视频监控场景下的行人属性识别性能,但对属性间负相关性的探索仍存在不足.为此,文中基于深度学习理论提出多阶段行人属性识别方法,同时探索属性间的正、负相关性.第一阶段计算每个属性在训练过程中的损失值和正确率.第二阶段为平均损失较大且正确率较小的属性单独建立一个网络分支,其它属性仍保留在原分支上,然后两个分支联合预测所有属性.第三阶段新建两个网络分支,结构与第二阶段的分支相同,优化新分支的参数,使其属性识别性能优于第二阶段.最终使用第三阶段的模型进行属性预测.此外,构建增大正负样本差异的改进损失函数,应用于三个阶段的训练,进一步提升模型性能.在两个行人属性识别数据集RAP和PETA上的实验表明,文中方法性能较优.

基于深度学习的行人属性识别综述

行人属性识别是计算机视觉领域中的研究热点,在人工智能、安防监控等方面有着极其广泛的应用。传统的行人属性识别方法主要基于底层特征提取,如局部描述符、颜色直方图和人体关键点检测等,但难以解决图像分辨率低和行人被遮挡等原因造成的识别率低下的问题。近年来,随着深度学习在行人属性识别算法中的应用,基于常规网络、部件识别、注意力机制和序列检测等深度学习算法相继被提出,其识别率较传统算法得到了明显的提高。通过综述基于深度学习的行人属性识别的各类算法,分析对比其优缺点,并介绍常用的数据集和评价指标,展望行人属性识别的未来发展趋势。

基于图像增强与样本平衡优化的行人属性识别

由于采用的监控图像尺寸较小、分辨率低等原因,行人属性识别一直是一个极具挑战性的任务,而低分辨率的图像往往又导致数据集存在识别行人主体区域不突出、背景噪音干扰严重等问题.之前的方法大多将未作处理的原始图像作为输入,使得属性识别效果一直不够理想,并且,属性识别的主流数据集通常存在正负样本不平衡的问题,例如,许多行人的服装属性分布有着季节性或习俗性的偏差.因此,本文提出一个新的深度学习网络——图像增强与样本平衡优化模型IEBO (image enhancement and sample balance optimization).该模型通过色彩增强与提取行人主体区域的噪音抑制方法,在突出行人核心特征的同时消除无用背景信息,防止其对属性识别造成干扰.另外模型通过权重调节针对样本不平衡的属性进行优化,提高不平衡属性的识别能力.实验最终表明,新的行人属性识别模型在Market-1501-attribute数据集中取得了较好的性能.

监控场景中的行人属性识别研究综述

监控场景中的行人属性识别任务旨在为监控场景中视频摄像头捕捉的行人图片预测其属性类别,由于监控场景环境的复杂以及行人属性的细粒度标签,监控场景中的行人属性识别任务极具挑战,受到业界和学界的广泛关注.文中对监控场景中的行人属性识别研究进展进行梳理,首先给出了其概念范畴与任务定义,并与其他相似的属性识别任务进行对比.其次,文中对目前主流的行人属性识别数据库进行了简单介绍,并从图片和标注两个角度分析了不同数据库之间的异同.再次,文中对深度学习时代以来所提出的各种行人属性识别方法进行了归纳和总结,综述了目前行人属性识别领域的研究现状.最后,文中对监控场景中的行人属性识别存在的问题进行了思考和讨论,并对未来的发展趋势进行了展望.

基于深度学习的行人属性多标签识别

行人属性通常指的是行人的一些可被观察到的外部特征,如性别、年龄、服饰、携带品等。作为行人外部的软生物特征,行人属性对于行人检测和再识别是非常重要的,并且在智能视频监控场景和基于视频的商业智能应用中显示出巨大的潜力。在目前的行人属性多标签分类识别中,主要有基于手工设计特征的方法和基于深度学习的方法。然而,手工设计特征的方法难以应对复杂的真实视频监控场景,在实际应用中取得的效果并不是很理想。采用深度卷积网络模型,包含3个卷积层和2个全连接层,使用Sigmoid交叉熵损失函数,训练平台为Caffe深度学习框架,通过在包含19 000张行人图片的PETA数据集上对10种行人属性进行训练和测试,得到85.2%的平均识别精度。加入正样本比例指数因子改进损失函数后,平均识别精度达到89.2%,使网络性能有明显的提高。

基于CNN-ATT-ConvLSTM的行人属性识别

针对现有行人属性识别方法忽视行人属性的互相关性和空间信息导致识别性能较低的问题,将任务视为时空序列多标签图像分类问题,提出基于卷积神经网络(CNN)和卷积长短期记忆网络(ConvLSTM)并融合通道注意力机制的模型。用CNN和通道注意力提取行人属性的显著性和相关性视觉特征;用ConvLSTM进一步提取视觉特征的空间信息和属性相关性;以优化序列对行人属性进行预测。在两个常用行人属性数据集PETA和RAP上进行大量实验,取得了最佳性能,证明了该方法的优越性和有效性。

基于领域自适应的多源多标签行人属性识别

当前行人属性识别(PAR)公开数据集中属性标注繁杂且采集场景多样,各数据集中行人属性差异较大,进而导致公开数据库已有的标记信息数据难以直接应用到PAR实际问题中。针对上述问题,提出一种基于领域自适应的多源多标签PAR方法。首先通过领域自适应方法对样本进行特征对齐完成多个数据集之间的统一风格转换;接着提出多属性one-hot编码加权算法,将多数据集中共有属性的标签对齐;最后结合多标签半监督损失函数,进行跨数据集联合训练以提高属性识别准确率。通过所提出的特征对齐和标签对齐算法,可有效解决PAR多数据集中属性异构性问题。将三个行人属性数据集PETA、RAPv1和RAPv2分别与PA-100K数据集对齐后的实验结果表明,所提出的方法对比StrongBaseline在平均准确率上分别提升了1.22、1.62和1.53个百分点,说明该方法在跨数据集PAR中具有一定的优势。

基于卷积神经网络的监控场景下行人属性识别

在真实监控场景下的视觉行人属性,如性别、衣着类型,对行人检索和行人重识别非常重要。传统的行人属性识别算法,采取人工提取特征,而且忽视行人属性特征之间的关联。受到卷积神经网络在传统计算机视觉任务中出色表现的启发,提出一种基于卷积神经网络的行人属性识别方法在监控场景下识别行人属性。卷积神经网络在训练过程中可以自动提取行人特征。重新定义的损失函数,可以同时考虑所有行人属性特征之间的联系。相比于传统方法,该算法实施简单且识别精度更高。

监控场景下基于轻量级卷积神经网络的行人属性识别

针对面向行人属性识别的传统卷积神经网络模型占用系统资源较多、运行效率较低等问题,通过采用若干个倒置残差模块来构建轻量级卷积神经网络MB-ResNet-Lite的主干网络,使用深度可分离卷积代替标准卷积,以减少模型的计算量;并通过倒置残差模块对特征的维度先扩增后缩减,实现更好地提取特征。为了解决多种行人属性识别的效率问题,所提方法是在共享主干网络之后,采用若干个分支网络进行各自特征的提取,以完成多种行人属性的分类与识别。最后,该算法在自建数据集、单核RK3399平台上进行比对实验。实验结果表明,所提算法MB-ResNet-Lite模型的大小为0.82 M,分别为ResNet-18和MobileNet的1.8%和6.3%,明显减小了模型的存储空间;在运行速度上,所提算法模型处理单张图片耗时为25 ms,分别为ResNet-18和MobileNet的18.4%和64.1%,较好地节省了图像处理时间;在内存使用方面,所提算法模型占用内存为21.56 MB,分别为ResNet-18和MobileNet的6.6%和60.0%,有效节省了系统的内存资源。在算法准确率方面,所提算法模型的平均准确率为89.24%,相比MobileNet提高了1.52%,相比ResNet-18略微下降0.86%。结果表明,所提方法有效地保证行人特征识别的精确度,减少模型的参数量和计算量,确保在低成本硬件平台的运行效率。

关联规则对监控下行人属性识别影响的研究

针对监控视频下的行人多属性识别问题,提出一种结合神经网络与关联规则的多分类方法。首先通过Faster-RCNN检测算法与改进的Alex Net多分类网络得到监控视频下行人各个属性的置信度,再采用关联规则Apriori算法对训练数据进行处理,进而结合神经网络分类的置信度和关联规则的处理结果,提出一种对分类置信度进行优化的算法。最后,统计关联规则优化后的某些行人属性准确率。结果表明,将神经网络与关联规则有效结合后可以提升某些属性识别的准确率。

基于注意力机制与空间金字塔池化的行人属性识别

针对目前的行人属性识别方法存在鲁棒性差、特征表达能力不足和行人的细粒度特征识别精度不高的缺点,提出一种基于注意力机制与空间金字塔池化的行人属性识别方法,通过注意力机制强化不同维度的特征,提升行人整体特征表达;通过空间金字塔池化操作,实现任意大小图像的输入,更好地保留图像的特征信息。结果表明,与现有的其他方法相比,所提出的行人属性识别方法可以精确地识别行人多种属性,具有较高的行人细粒度特征识别精度。