细微特征增强的多级联合聚类跨模态行人重识别算法

目前跨模态行人重识别研究注重于通过身份标签在全局特征或局部特征上提取模态共享特征来减少模态差异,但却忽视了具有辨别力的细微特征。为此提出了一种基于特征增强的聚类学习网络,该网络通过全局和局部特征来挖掘并增强不同模态的细微特征,并结合多级联合聚类学习策略,最小化模态差异和类内变化。针对训练数据设计了随机颜色转换模块,在图像输入端增加模态之间的交互,以克服颜色偏差的影响。通过在公共数据集上进行实验,验证了所提方法的有效性,其中在SYSU-MM01数据集的全搜索模式下Rank-1和mAP分别达到了70.52%和64.02%;在RegDB数据集的V2I检索模式下Rank-1和mAP分别达到了88.88%和80.93%。

基于局部实例匹配无监督式学习的行人重识别

无监督域适应(Unsupervised domain adaptation,UDA)方法通过全局特征分布匹配实现源域到目标域的知识迁移,但忽略了细粒度的局部实例信息。本文提出了一种基于双层域自适应(Two-tiered domain adaptation,TTDA)的无监督行人重识别方法,使用全尺寸网络(Omni-scale network,OSNet)作为骨干网络,在端到端深度学习框架中联合执行源域和目标域之间的全局特征分布匹配和局部实例匹配,从源域和目标域之间不同行人ID的关联中挖掘可迁移的有用知识,并通过知识选择机制提高了跨域适应性。在多个大型公开数据集上的实验结果表明,与其他先进方法相比,所提方法在源域到目标域的无监督行人重识别的平均精度均值(mean Average precision,mAP)和top-k命中率均取得显著提升。

基于自动数据增强的不变性跨域行人重识别

针对随机数据增强的不确定性和模型迁移过程中自身性能受限的问题,提出一种基于自动数据增强的不变性跨域行人重识别模型。利用自动数据增强策略对源域和目标域数据进行增强,在ResNet-50中引入外观不变形使图像的外观变化不会影响模型输出,联合交叉熵损失函数和圆损失函数对源域进行监督学习,通过学习目标域内的变化适应源域与目标域数据分布差异。所提模型在公共数据集Market-1501、DukeMTMC-reID和MSMT17上进行比较分析,验证了模型的有效性,结果表明,相比目前一些跨域行人重识别先进算法,所提算法效果有明显提升。

基于非对称增强注意力与特征交叉融合的行人重识别方法

针对现有的行人重识别方法提取到的特征信息充分性与辨识性不足导致检索精度低的问题,提出一种基于非对称增强注意力与特征交叉融合的行人重识别方法。首先,构建非对称增强注意力模块,通过多重池化聚合的跨邻域通道交互注意力增强显著特征表示,使网络聚焦于图像中的行人区域;其次,考虑到网络各层特征间的差异性与关联性,构建特征交叉融合模块,利用交叉融合方式实现同层不同级特征的跨层级融合,进而实现多尺度融合;最后,水平切分输出特征以获取局部特征,从而实现在特定区域上描述行人。在Market1501、DukeMTMC-reID与CUHK03这3个公开数据集上对提出的方法进行了验证,首位命中率(Rank-1)分别达到了93.5%、85.1%和64.3%,证明了该方法在提升行人重识别性能上具有优越性。

基于灰度域特征增强的行人重识别方法

在显著的类内变化中所学特征是否具有较好的不变性会决定行人重识别(ReID)模型的性能表现的上限,环境光线、图像分辨率变化、运动模糊等因素都会引起行人图像的颜色偏差,这些问题将导致模型对数据的颜色信息过度拟合从而限制模型的性能表现。而模拟数据样本的颜色信息丢失并凸显样本的结构信息可以促进模型学习到更稳健的特征。具体来说,在模型训练时,按照所设定的概率随机选择训练数据批组,然后对所选中批组中的每一个RGB图像样本随机选取图像的一个矩形区域或者直接选取整张图像,并将所选区域的像素替换为相应灰度图像中相同的矩形区域的像素,从而生成包含不同灰度区域的训练图像。实验结果表明,所提方法与基准模型相比在平均精度均值(mAP)评价指标上最高提升了3.3个百分点,并在多个数据集上表现良好。

基于多维互信息特征的跨模态行人重识别方法

针对如何缓解跨模态行人重识别任务中行人模态之间的差异性问题,提出一种随机通道邻近数据增强方法RCNA和一种结合多维互信息的U型网络UMME。RCNA通过选取同类别的可见光图像和红外图像进行数据增强生成新的行人图像,既满足了真实数据分布,又融合了可见光图像的形状和结构信息以及红外图像的语义信息,缓解了可见光图像与红外图像之间的模态差异性。UMME通过互信息提取模块UMI提取同类别行人之间的互信息特征,再经过特征整合模块MSIF将互信息特征嵌入语义特征,增强了同类别行人之间语义特征的一致性。所提出的方法在数据集SYSU-MM01和RegDB上的Rank-1和mAP分别达到70.48%、68.34%和91.70%、88.42%,与现有研究方法相比,取得了优异的识别效果。

基于生成对抗网络的行人重识别方法研究综述

近年来,随着公共安全需求的不断增长以及智能监控网络的快速发展,行人重识别已成为计算机视觉领域的热门研究课题之一,其目标是在不同摄像头中检索具有相同身份的行人.首先,介绍目前经典的行人重识别数据集;然后,重点梳理了近年来基于生成对抗网络的行人重识别方法,根据生成对抗网络的特点和应用场景将这些方法归纳为风格转换、数据增强和不变性特征学习3类,并总结每类方法的基本原理和优缺点;再在主流数据集上对经典算法进行比较;最后,总结现阶段行人重识别面临的挑战,并对未来的研究方向进行展望.

面向中文命名实体识别任务的数据增强

在低资源自然语言处理(NLP)任务中,现有的数据不足以训练一个理想的深度学习模型,文本数据增强是提高此类任务训练效果的有效方法。针对中文命名实体识别任务,提出一组基于实例替换的数据增强方法。将训练样本中的命名实体替换为另一个同类实体而保持标签不变,具体算法包括:1)实体之间交叉互换;2)实体内部同义替换;3)中文人名自动生成。分别在PeopleDailyNER和CLUENER2020数据集上应用上述方法,并对BERT+CRF模型进行增强训练。实验结果表明,仅添加与原始数据等量的增强数据,在小样本条件下能使模型F1值在2个数据集上分别提升约10%和7%,随着样本数据的增加,训练效果仍有明显提升。

基于连接注意力的行人重识别特征提取方法

全民安全意识的逐步提高使得智能监控设备遍布各大公共场所,行人重识别作为视频分析的关键技术之一,被广泛应用于智能安防、自动驾驶等领域。为了提高真实环境下跨摄像头行人检索的识别精度,提出一种基于注意力机制的行人重识别特征提取方法。在数据处理阶段,考虑不同训练数据量下识别效果存在差异的问题,对行人图片采用自动增强方法进行数据增强,以提高数据集规模。在特征提取阶段,将连接注意力模块与ResNet50残差网络相结合构成特征提取网络,提取显著性更强的行人特征。在损失优化阶段,采用三元组损失和圆损失对行人特征进行优化并完成距离度量,最终根据距离的远近得到行人排序结果。实验结果表明,在Market1501数据集上该方法的Rank-1值和mAP值分别达到95.90%和89.66%,在DukeMTMC-reID数据集上Rank-1值和mAP值分别达到91.16%和81.24%,在MSMT17数据集上Rank-1值和mAP值分别达到84.37%和62.73%,与现有经典行人重识别方法 PCB、MGN、Pyramid、OSNet等相比,其网络识别性能评价指标均有明显提升。

基于注意力机制的行人重识别特征提取方法

针对真实环境中非重叠多摄像头的行人重识别受到不同摄像机场景、视角、光照等因素的影响导致行人重识别精度低的问题,提出一种基于注意力机制的行人重识别特征提取方法。首先,使用随机擦除法对输入的行人图像进行数据增强,提高网络的鲁棒性;然后,通过构建自上而下的注意力机制网络增强空间像素特征的显著性,并将注意力机制网络嵌入ResNet50网络提取整个行人的显著特征;最后,将整个行人的显著特征进行相似性度量并排序得到行人重识别的结果。该注意力机制的行人重识别特征提取方法在Market1501数据集上Rank1达到88.53%,平均精度均值(mAP)为70.70%;在DukeMTMC-reID数据集上Rank1达到77.33%,mAP为59.47%。所提方法在两大行人重识别数据集上性能都有明显提升,具有一定的应用价值。

基于多样性图像和实例增强的域适应行人搜索

传统全监督行人搜索方法大多仅适用于同一数据域,在未知数据域上泛化力不足。近来研究人员开始探索域适应行人搜索,旨在提升模型在未知目标域的泛化力,需要解决的主要问题是域对齐和可靠正负实例样本生成。基于此,提出基于多样性图像和实例增强的域适应行人搜索方法,从图像和实例多样性增强的角度出发,更好地实现域对齐和可靠样本生成。该方法包含两个新模块:源域图像增强模块和负实例增强的重识别学习模块。源域图像增强模块仅丰富源域图像数据的多样性,进而提高对目标域的域适应力。在负实例增强的重识别学习模块中,引入多样性负实例挖掘模块从目标域和源域挖掘丰富的负实例样本,提高对重识别特征的可判别性。所提模块仅用于训练阶段,不增加测试阶段推理时间。在行人搜索数据集CUHK-SYSU和PRW上进行实验,验证了所提方法的有效性。其中,在PRW测试集上,所提方法取得了40.8%的平均精度均值(mAP),比现有域适应方法 DAPS提高了6.1百分点。

基于多算法融合Mask R-CNN堆叠千克组砝码识别与关键部位分割方法

砝码无人化检定有助于提高砝码检定效率、增强检测数据可溯源性。从深度学习实例分割方法入手,提出用于砝码无人化检定的基于Mask R-CNN堆叠千克组砝码识别与分割技术方案,通过数据增强、图像对比度增强、多算法融合等技术方案实现日光灯照明下堆叠千克组砝码图像关键部位识别与分割,形成泛用性强的人工智能方法,通过模拟实验获得较为合适的训练集图像增强算法与测试集图像增强算法,实现图像中实例100%识别,与原始Mask R-CNN相比AP_(50)提升21.51%,Mask IoU提升17.95%。

基于增强聚合通道特征的实时行人重识别

由于目标姿态、摄像头角度、光线条件等因素的影响,行人重识别仍然是一个具有挑战性的问题。目前大多数方法主要注重提高重识别精度,对实时性考虑较少。因此,本文提出了一种基于增强聚合通道特征(ACF)的实时行人重识别算法。利用ACF对行人进行检测,并在此基础上,结合直方图特征和纹理特征构成增强ACF,作为行人重识别的特征描述子。利用测度学习方法对重识别模型进行训练。在4个数据集上的实验结果表明,与传统的重识别特征相比,提出的特征描述子逼近最好的重识别准确率,并且具有更快的计算速度。整个行人检测与重识别系统的运行速度达到10 frame·s^(-1)以上,基本可以满足实时行人重识别的需求。