基于改进Faster R-CNN的遮挡行人检测

遮挡是导致行人检测任务中漏检情况发生的主要原因之一,影响行人检测器的性能。为了增强检测器对遮挡行人的检测能力,论文提出一种改进的Faster R-CNN检测器,采用HRNet作为Faster R-CNN的特征提取网络,用于提取强语义的特征。在模型的训练和测试阶段,分别引入NMS-Loss和Soft-NMS,减少拥挤场景中由非极大值抑制算法(NMS)造成的漏检。此外,使用CrowdHuman行人数据集进行预训练,利用其中丰富的遮挡样本,增强Faster R-CNN检测器对遮挡行人目标的检测能力。在Caltech数据集上对本文提出的改进方法和其他对比方法进行了性能评估。实验结果表明,本文提出的改进方法在总体漏检率上具有优势,其中严重遮挡行人目标上的对数平均漏检率为29%,明显优于其他对比深度学习检测器。

姿态引导与特征增强结合的遮挡行人重识别

为解决现有遮挡行人重识别方法只注重于引入外部信息而忽略特征增强的问题,提出一种姿态引导与特征增强结合的遮挡行人重识别方法。将小步幅的滑动窗口引入VIT(Vision-Transformer),使网络获取局部的细微特征,将特征经过遮挡消除模块,消除遮挡带来的干扰;在模型中融入人体姿态估计网络,辅助模型解决遮挡带来的语义信息缺失问题;通过CBN模块提高模型的学习能力,使模型学习到更多高级语义信息。在遮挡行人重识别主流数据集Occluded-DukeMTMC上达到69.8%的Rank-1准确率以及63.2%的mAP,优于现有的其它方法,在整体行人重识别数据集上也取得了具有竞争力的结果。

基于双目视觉的部分遮挡行人检测算法

针对行人被障碍物部分遮挡导致的检测准确率降低问题,提出了基于多特征融合的树形路径半全局立体匹配的部分遮挡行人检测算法。使用简单线性迭代聚类(simple linear iterative clustering,SLIC)算法进行超像素分割,提升行人的轮廓信息,并使用多特征融合的树形路径半全局立体匹配算法生成深度图;对行人信息和背景信息及障碍物信息使用自适应分割算法进行分离,获取感兴趣区域;将感兴趣区域放置在行人特征明显且稳定的头肩部,进行感兴趣区域的约束;使用降维梯度直方图特征(histogram of gradient,HOG)进行特征提取并生成样本集,训练支持向量机(support vector machines,SVM)分类器,最终实现部分遮挡的行人检测。实验表明,所提算法与其他行人检测算法相比,在行人部分遮挡场景下,有着更高的行人检测准确率,证明所提算法的有效性。

关键细粒度信息指导的多尺度遮挡行人重识别

为了减轻背景和遮挡等干扰信息对行人身份重识别(ReID)准确率的影响以及充分利用细粒度和粗粒度信息之间的互补性,该文提出关键细粒度信息指导的多尺度遮挡行人重识别网络。首先,将图像划分为两种不同尺寸的重叠图像块,构建同时包含细粒度和粗粒度信息提取分支的多尺度识别网络,以更好模拟人类观察图像时的多尺度特性以及观察相邻区域时的连续性特性。然后,考虑到细粒度分支能够提取更多的图像细节信息且细粒度和粗粒度信息之间存在一定的共性与差异,进一步通过细粒度注意力模块实现细粒度信息对粗粒度信息学习分支的指导。其中,参与指导的细粒度信息是通过干扰信息剔除(IIE)模块滤除干扰信息后保留的关键信息。最后,通过双次差分获取与行人身份识别相关的关键信息,并通过标签和特征等多维度的联合监督,实现行人身份的预测。在多个公开的行人重识别数据库进行的大量实验证明了该算法的性能优越性以及其中各个模块的有效性和必要性。

融合有效掩膜和局部增强的遮挡行人重识别

在监控系统中行人经常会被各种障碍物遮挡,使得遮挡行人重识别仍然是一个长期存在的挑战。最近一些基于Transformer和外部语义线索的方法都改善了特征的表示和相关性能,但仍存在表示弱和语义线索不可靠等问题。为解决上述问题,提出了一种基于Transformer的新方法。引入了一种有效的掩膜生成方式,可靠的掩膜可以使模型不依赖外部语义线索并实现自动对齐。提出了一种基于平均注意力分数的序列重建模块,可以更有效地关注前景信息。提出了局部增强模块,获得了更鲁棒的特征表示。比较了所提方法和现有的各种方法在Occluded-Duke,Occluded-ReID,Partial-ReID,Market-1501数据集上的性能。Rank-1准确率分别达到了72.3%、84.8%、86.5%和95.6%,mAP精度分别为62.9%、83.2%、76.4%和89.9%,实验结果表明所提模型性能较其他先进网络有所提升。

基于姿势估计和特征融合的行人重识别算法

行人重识别在交通管理、寻找走失人口等范畴用途较广。现有算法难以处理人体姿势改变、遮挡和特征不对齐的问题,提出一种姿势引导和特征融合的行人重识别算法。所提出的算法包括3个分支,包括全局分支、基于姿势估计引导的全局分支、局部对齐分支。全局分支提取行人的全局特征,可以捕捉行人的粗粒度信息以及整体的上下文关系。基于姿势估计引导的全局分支利用姿势估计网络引导模型关注行人的全局可见区域,降低遮挡物对行人识别的干扰。局部对齐分支利用姿势估计算法构成对齐的局部特征,同时区分可见的局部区域,以降低遮挡以及姿势变化的影响。通过多分支结构,将局部特征和全局特征融合,以加强特征的多元化,增强模型的鲁棒性。最终,利用交叉熵和软边界三元损失进行模型训练。Market-1501和DukeMTMC-ReID数据集上的测试结果效验了所提算法的可行性,其间,DukeMTMC-ReID数据集的Rank-1、mAP各达成了91.2%、81.8%,具有较佳的实用性。

基于改进Faster-RCNN算法的边坡行人安全检测研究

当边坡出现地质灾害时,边坡上的滚石会对下方公路上的行人带来危险,造成人员伤亡和直接的经济损失。对此提出一种视觉行人检测算法,当检测有行人出现时进行警示,避免安全隐患。为提升视觉算法的检测精度,提出了一种改进的Faster-RCNN目标检测算法。首先,将最大池和平均池分别引入到ResNet残差结构中,保存更完整的特征信息;其次,提出Fpnc-ResNet50结构,在ResNet结构的基础上,融合多尺度特征和CBAM注意力机制,提高对小目标和行人遮挡问题的识别能力;最后,将EIoU损失与均方误差损失相结合,加快模型的收敛速度,提高模型在未知数据的检测效果,并进一步改善背景混乱下的行人遮挡问题。通过实验验证,本文提出的算法相比原算法在检测精度上提升了4.01%,有良好的实际应用效果。

基于深度学习的遮挡情形下行人检测

行人检测作为目标检测领域的热点之一,在无人驾驶汽车辅助系统、智能监控系统以及服务型智能机器人等领域有着广泛的应用价值,主要是指对于视频或者图片中的行人目标进行类别判断以及定位的过程。随着技术发展,对行人检测技术的籍度要求也越来越高,对遮挡情况下的行人检测技术进行了研究,在复杂场景下还存在光照,天气等随机性较强的自然因素,这些自然因素和人为因素的结合给目前已有的行人检测算法带来了很大的挑战,因此介绍基于深度学习的遮挡情况处理方法,对遮挡下的行人检测技术在未来发展中亟待解决的问题提出展望。

基于深度学习的有锚框行人检测方法综述

计算机视觉包含图像分类、目标检测、目标跟踪等技术。行人检测作为目标检测的重要子任务之一,广泛应用于自动驾驶、智能机器人、监控检测等场景。随着深度学习的快速发展,通用目标检测器在目标检测任务上有着优秀的表现,许多研究者也在此基础上进行一系列改进,从而提升行人检测的速度和精度。按照是否预设物体边界框,基于深度学习的行人检测算法可以分为有锚框(Anchor-Based)和无锚框(Anchor-Free)。本文介绍了传统的行人检测方法,重点阐述了基于有锚框的行人检测算法在面对小尺度行人和遮挡行人等检测问题上的研究进展。

基于特征通道和空间联合注意机制的遮挡行人检测方法

遮挡是行人检测任务中导致漏检发生的主要原因之一,对检测器性能造成了不利影响。为了增强检测器对于遮挡行人目标的检测能力,该文提出一种基于特征引导注意机制的单级行人检测方法。首先,设计一种特征引导注意模块,在保持特征通道间的关联性的同时保留了特征图的空间信息,引导模型关注遮挡目标可视区域;然后,通过注意模块融合浅层和深层特征,从而提取到行人的高层语义特征;最后,将行人检测作为一种高层语义特征检测问题,通过激活图的形式预测得到行人位置和尺度,并生成最终的预测边界框,避免了基于先验框的预测方式所带来的额外参数设置。所提方法在CityPersons数据集上进行了测试,并在Caltech数据集上进行了跨数据集实验。结果表明该方法对于遮挡目标检测准确度优于其他对比算法。同时该方法实现了较快的检测速度,取得了检测准确度和速度的平衡。

基于RDB-YOLOv4的煤矿井下有遮挡行人检测

针对煤矿井下数字化人员检测过程中行人易被大型设备遮挡而导致的误检、漏检等问题,提出了一种基于RDB-YOLOv4网络的煤矿井下有遮挡行人检测方法。该算法以YOLOv4为基础网络架构,在CSPDarknet-53特征提取网络中加入了残差密集块(residual dense block,RDB),对不同层次的特征实现跨层传递和融合,连续的连接保证了低级和高级特征信息的存储和记忆,使得完整有效的局部特征能准确预测被遮挡行人的信息。对比当前主流目标检测算法和遮挡处理检测算法,该算法在PASCAL VOC 2007公开数据集和煤矿井下行人数据集下有效提升了测试的平均精度(average precision,AP),相比YOLOv4在两组不同数据集测试的平均精度分别提升了2.74个百分点和3.5个百分点(IoU=0.5)。

改进YoloV5的行人检测算法

针对在行人行进过程中出现拥挤、遮挡、目标尺寸小所导致的行人检测精度低和效果不佳等问题,通过修改YoloV5算法的backbone特征提取网络,加入注意力机制,优化后处理阶段的目标框选定方法等改进措施,提出一种基于YoloV5算法的YoloV5-PED改进算法。结果表明:与YoloV5算法相比,YoloV5-PED算法的平均精度均值(mAP)提升3.8%,验证该算法检测行人时具有良好的效果。

融合上下文及空间信息的拥挤行人检测算法

针对拥挤场景中行人遮挡较为普遍和行人目标多尺度问题,提出一种融合上下文及空间信息的拥挤行人检测算法.该方法首先改进特征金字塔网络结构,通过添加带权融合分支,充分且有效地结合多尺度特征以应对行人尺度变化.其次采用融合上下文及空间特征信息的方式以获得更多潜在的行人特征信息来改善遮挡带来的特征缺失问题.同时,为了使模型在不同数据集上都有较好的表现,引入一种数据增强方式模拟遮挡以提升模型泛化能力.本文为了验证所提方法的有效性,在CrowdHuman和CityPersons数据集上进行实验评估,实验结果充分说明提出算法的有效性,丢失率相较于基线算法降低3.7%,很好地提升了行人检测算法在拥挤场景中的检测能力.

语义引导的遮挡行人再识别注意力网络

为了解决遮挡场景下行人再识别的特征不对齐、错误匹配的问题,提出了一种语义引导对齐的注意力网络(SGAN)对齐行人的不同部分。SGAN以行人的语义掩膜作为监督信息,通过全局语义引导和局部语义引导提取行人的全身和局部特征,并根据人体不同部分的可见性动态调整模型训练。在推理阶段,依据注意力模型获得局部区块的可见性,利用共享可见的人体部分的匹配策略自适应地对特征进行相似度的计算。实验结果表明,SGAN能够容忍一定的遮挡,它的准确率不仅在全身数据集上优于大多数先进模型,在2个较大规模的复杂遮挡数据集Occluded-Duke MTMC和P-DukeMTMC-reID上也优于现有的行人再识别方法。

集成空间注意力和姿态估计的遮挡行人再辨识

自然场景下监控设备所拍摄的行人图片总是存在被各种障碍物遮挡的情况,因此遮挡是行人再辨识面临的一个很大的挑战.针对遮挡问题,提出了一种集成空间注意力和姿态估计(spatial attention and pose estimation, SAPE)的遮挡行人再辨识模型.为了同时兼顾全局特征和局部特征,实现特征的多细粒度表示,构建了多任务网络.通过空间注意力机制将感兴趣区域锚定到图像中未遮挡的空间语义信息,从全局结构模式中挖掘有助于再辨识的视觉知识;然后结合分块匹配的思想,将残差网络提取到的特征图水平均匀分割成若干块,通过局部特征的匹配增加辨识的细粒度;在此基础之上,改进姿态估计器去提取图像中行人的关键点信息,并与卷积神经网络抽取的特征图相融合,然后设置阈值去除掉遮挡区域,得到辨识性强的特征,以消除遮挡对再辨识结果的影响.在Occluded-DukeMTMC, Occluded-REID, Partial-REID这3个数据集上验证了SAPE模型的有效性,实验结果表明提出的针对遮挡的模型具有良好的效果.

基于改进R-FCN的多遮挡行人实时检测算法

当前车辆辅助驾驶系统的一个主要挑战就是在复杂场景下实时检测出多遮挡的行人,以减少交通事故的发生。为了提高系统的检测精度和速度,提出了一种基于改进区域全卷积网络(R-FCN)的多遮挡行人实时检测算法。在R-FCN网络基础上,引进感兴趣区域(RoI)对齐层,解决特征图与原始图像上的RoI不对准问题;改进可分离卷积层,降低R-FCN的位置敏感分数图维度,提高检测速度。针对行人遮挡问题,提出多尺度上下文算法,采用局部竞争机制进行自适应上下文尺度选择;针对遮挡部位可见度低,引进可形变RoI池化层,扩大对身体部位的池化面积。最后为了减少视频序列中行人的冗余信息,使用序列非极大值抑制算法代替传统的非极大值抑制算法。检测算法在基准数据集Caltech训练检测和ETH上产生较低的检测误差,优于当前数据集中检测算法的精度,且适用于检测遮挡的行人。

遮挡情形下的行人检测方法综述

行人检测在智能交通、智能监控、无人驾驶、行人分析等领域都有广泛应用,随着技术发展,对行人检测技术的精度要求也越来越高。对遮挡情况下的行人检测技术进行了研究,根据遮挡物的不同,将遮挡分为非目标造成的遮挡及需要检测的目标造成的遮挡。分别总结了处理遮挡情况的传统方法和深度学习方法,并对每一类方法模型的主要思想和核心问题进行了分析和讨论。对遮挡下的行人检测技术在未来发展中亟待解决的问题提出展望。

基于多尺度注意力引导的遮挡行人检测方法

行人区域遮挡是影响行人检测精度的重要因素,为提高行人检测精度,提出一种基于多尺度注意力引导的遮挡行人检测方法。首先,设计一种专注于遮挡问题的注意力引导模块,将其应用于特征提取网络中不同尺度的特征图,利用外部监督信息遮罩机制,引导模型关注行人目标可见区域;其次,根据特征图在分辨率与语义特征方面的特性,对注意力引导后的多尺度特征图进行融合;最后,利用融合特征图进行边界框预测。为验证所提方法有效性及泛化性,在不同数据集上进行仿真实验。该方法在Citypersons重度遮挡子集上实现了47.1%的MR^(-2),在Caltech重度遮挡子集上实现了40.62%的MR^(-2),相对于主流的遮挡行人检测方法,检测精度有较为明显的提高。实验结果表明,所提出模块可以有效地处理行人检测中的区域遮挡问题。

融合空间相关性和局部特征转换器的遮挡行人重识别

遮挡的行人重识别是计算机视觉中的一个挑战性领域,它面临着特征表示效率低下和识别准确率低等问题。卷积神经网络方法更注重局部特征的提取,因此难以提取被遮挡行人的特征,效果也不尽如人意。最近,视觉转换器被引入到重识别领域,并通过构建图像块序列之间的全局特征联系取得了最先进的结果。然而,视觉转换器在提取局部特征方面的性能不如卷积神经网络。因此,设计了一个基于空间相关性和局部特征序列的行人重识别网络。所提出的网络利用3个模块来提高视觉转换器的效率:(1)图像块全维度增强模块。设计了一个与图像块序列大小相同的可学习张量,该张量是全维的,并可完全嵌入到图像块序列中,用以丰富训练样本的多样性;(2)图像块序列融合重构模块。提取已经获得的图像块序列中不太重要的部分,并将它们与原始的图像块序列融合以重构原始图像块序列;(3)空间切割模块。从空间方向上对图像块序列进行切片和分组,并引入身份损失,可以有效提高图像块序列的短程相关性。对遮挡和整体重识别数据集的实验结果表明,所提网络的性能优于其他先进方法。

基于注意力机制的煤矿工作面遮挡行人检测

本文以遮挡行人为主要研究对象,采用基于深度学习算法的双阶段检测器Faster R-CNN为基础架构,引进注意力机制网路,通过改进检测器降低遮挡行人对数平均漏检率。通过实验验证,本文提出的方法在Caltech数据集的无遮挡、部分遮挡、严重遮挡子集上对数平均漏检率分别降低了2.6%,3.4%,6.5%,在Cityperson数据集的合理遮挡,严重遮挡,部分遮挡和几乎无遮挡四个子集上对数平均漏检率分别降低了3.6%,8.8%,4.5%,0.7%,增强了遮挡行人的检测性能。