BEVTrack:基于难例挖掘训练的端到端三维多目标跟踪方法

多目标跟踪已经成为自动驾驶系统中的一个关键组成部分,其目的是在连续的视频流与点云流中识别、定位并标识所有感兴趣的目标。目前三维多目标跟踪方法多依赖人工多阶段调参以保证整体跟踪性能,难以对复杂遮挡或运动进行有效建模。而现有的三维端到端多目标跟踪方法,如MUTR等,精度普遍较低。其核心原因为三维空间中的特征聚合和感知相对于二维图像更具挑战性,简单的网络难以实现复杂的三维特征聚合,并大量的噪声信息与难例信息干扰严重,影响模型的特征提取能力。针对以上问题,本文提出了一种基于难例挖掘训练的端到端多目标跟踪框架BEVTrack。针对三维特征关联问题,本文设计了基于鸟瞰图(BEV)位置编码的三维跟踪查询。通过基于BEV特征的三维跟踪查询,本文方法能够更好地将跟踪查询与实际三维特征进行有效关联,从而大幅度提升了跟踪精度。同时,模型依靠BEV数据进行特征关联,仅需轻量化的网络便可以实现快速有效的跟踪。针对数据噪声问题,本文提出了面向多目标跟踪的难例挖掘训练,通过针对检测难例与跟踪难例分别处理,训练模型去除检测错误噪声与跟踪匹配的能力,从而提升在真实场景下模型处理噪声信息与难例干扰的能力。在实验结果方面,基于Nuscenes数据集,我们进行了大量的对比实验与模型消融实验,实验结果证明本文的方法在该数据集上取得了领先的性能。

融合多尺度多头自注意力和在线难例挖掘的小样本硅藻检测

硅藻训练样本量较少时,检测精度偏低,为此在小样本目标检测模型TFA(Two-stage Fine-tuning Approach)的基础上提出一种融合多尺度多头自注意力(MMS)和在线难例挖掘(OHEM)的小样本硅藻检测模型(MMSOFDD)。首先,结合ResNet-101与多头自注意力机制构造一个基于Transformer的特征提取网络BoTNet-101,以充分利用硅藻图像的局部和全局信息;然后,改进多头自注意力为MMS,消除了原始多头自注意力的处理目标尺度单一的局限性;最后,引入OHEM到模型预测器中,并对硅藻进行识别与定位。把所提模型与其他小样本目标检测模型在自建硅藻数据集上进行消融及对比实验。实验结果表明:与TFA相比,MMSOFDD的平均精度均值(mAP)为69.60%,TFA为63.71%,MMSOFDD提高了5.89个百分点;与小样本目标检测模型Meta R-CNN和FSIW相比,Meta R-CNN和FSIW的mAP分别为61.60%和60.90%,所提模型的mAP分别提高了8.00个百分点和8.70个百分点。而且,MMSOFDD在硅藻训练样本量少的条件下能够有效地提高检测模型对硅藻的检测精度。

基于可变权重损失函数和难例挖掘模块的Faster R-CNN改进算法

基于深度卷积神经网络的目标检测算法已成为目标检测领域中的研究热点,它包括基于区域提议的两阶段目标检测算法和基于位置回归的一阶段目标检测算法。Faster R-CNN是两阶段目标检测的典型算法之一,但是,训练数据集中简单样本-难分样本数量不平衡,以及样本数据的类间不平衡,都是影响Faster R-CNN检测精度的重要原因。本文提出一种基于可变权重损失函数Focal Loss和难例挖掘模块的改进Faster R-CNN算法。具体地,在网络的分类部分引入Focal Loss函数,通过权重调节样本数据的类间不平衡,改善简单样本-难分样本的数量不平衡;同时,修改网络结构,引入难例挖掘模块,进一步平衡简单样本-难分样本的数量,提高网络的检测性能。本文采用不同数据集,不同基础网络来测试提出的算法性能。实验结果表明,在VGG-16基础网络下,本文算法在Pascal VOC 2007数据集上平均检测精度较原算法提高了0.9个百分点,在Pascal VOC 07+12数据集上提高了1.7个百分点;在Res-101基础网络上,在Pascal VOC 2007数据集上平均检测精度较原算法提高了1.3个百分点,在Pascal VOC 07+12数据集上提高了1.5个百分点。

基于生成对抗网络和线上难例挖掘的SAR图像舰船目标检测

基于深度学习的SAR图像舰船目标检测算法对图像的数量和质量有很高的要求,而收集大体量的舰船SAR图像并制作相应的标签需要消耗大量的人力物力和财力。该文在现有SAR图像舰船目标检测数据集(SSDD)的基础上,针对目前检测算法对数据集利用不充分的问题,提出基于生成对抗网络(GAN)和线上难例挖掘(OHEM)的SAR图像舰船目标检测方法。利用空间变换网络在特征图上进行变换,生成不同尺寸和旋转角度的舰船样本的特征图,从而提高检测器对不同尺寸、旋转角度的舰船目标的适应性。利用OHEM在后向传播过程中发掘并充分利用难例样本,去掉检测算法中对样本正负比例的限制,提高对样本的利用率。通过在SSDD数据集上的实验证明以上两点改进对检测算法性能分别提升了1.3%和1.0%,二者结合提高了2.1%。以上两种方法不依赖于具体的检测算法,且只在训练时增加步骤,在测试时候不增加计算量,具有很强的通用性和实用性。

难例挖掘在太赫兹成像目标检测中的应用

太赫兹成像中的隐蔽物体检测是公共安全和反恐的迫切需要。由于太赫兹成像质量差,在太赫兹图像上的目标检测比在计算机视觉领域常用的公共目标检测数据集上要困难得多。文中收集了一个多目标的主动太赫兹成像数据集。针对样本不平衡问题,对比了RetinaNet使用交叉熵和Focal Loss作为损失函数时的检测性能。针对那些检测效果较差的目标,利用难例挖掘技术来增强训练模型。由于传统的难例挖掘技术是在二阶段目标检测器基础上设计的,无法直接应用在一阶段检测器上,文章以RetinaNet为基础设计了一种以图像为单位的难例挖掘方案。实验也验证了YOLOv3、YOLOv4、FRCN-OHEM和基础的RetinaNet在该数据集上的性能。实验结果表明,Focal Loss的使用提高了平均检测精度,难例挖掘技术的应用也提高了检测器对小目标等难例的检测率。

考虑难例挖掘和整体特征分布的损失函数设计

为了提高深度度量学习模型训练中的图像检索性能,在度量学习模型SoftTriple的基础上,对损失函数和网络结构进行改进.网络结构改进是在SoftTriple网络结构的基础上引入BNNeck模块;在损失函数设计中,首先添加难例挖掘函数对损失函数进行改进,然后通过使用高阶矩来表征整体特征分布的思路提出了新的损失函数.实验表明在度量学习数据集上的召回率和标准化互信息与改进前相比均有提高.与SoftTriple相比,添加难例挖掘函数实验最高将召回率提高了1.8%,标准化互信息值提高了2.2%;整体特征分布实验最高将召回率提高了0.9%,标准化互信息值提高了0.8%.

基于难例挖掘和自适应时间正则化的视觉目标跟踪算法

针对复杂情况下视觉目标跟踪算法性能严重退化的问题,提出一种基于难例挖掘和自适应时间正则化的视觉目标跟踪算法.首先,该算法在Staple算法基础上,深度挖掘困难负样本用于相关滤波器训练,提高了跟踪算法的抗干扰能力;其次,加入自适应时间正则化约束,根据目标响应图的变化情况,自适应确定时间正则化系数及模型更新策略,增强了跟踪算法的鉴别能力.在数据集OTB-2015、TC-128和UAV123上的实验结果表明,该算法能够有效应对复杂情况下跟踪性能退化的问题,且运行速度超过30帧/秒,满足实时性需求,综合性能优于对比算法.

基于MA-DRNet的糖尿病视网膜病变等级识别方法

糖尿病视网膜病变是糖尿病并发症最常见的疾病之一。由于视网膜病变病灶具有特征复杂、特征差异小的特点,导致传统深度学习网络对视网膜病变等级识别存在错误率高、鲁棒性差等问题。针对上述问题,提出了一种MA-DRNet模型进行优化:①提出了一种多级特征残差块,提取不同分辨率多尺度特征、扩大模型感受野,加强模型对于小尺度病灶的学习能力以及模型对尺度的鲁棒性;②改进一种全局通道联合注意力机制,实现像素长距离依赖关系捕获和通道注意力,提升模型对复杂病灶表征效果;③设计集成难例挖掘训练方法,巩固对于困难样本的学习,融入集成的思想提升模型对易错样本的关注度。在Kaggle和Messidor两个公开视网膜数据集进行模型训练和测试,本文模型特异性为99.02%,敏感性为98.26%,准确率为98.87%,各指标均优于目前同类算法。大量的实验表明,MA-DRNet有效的解决了视网膜病变识别存在的问题,实现了视网膜病变等级的高精度辅助诊断。

融合空间注意力的自适应安检违禁品检测方法

针对X光安检场景违禁品检测精度低,存在误检和漏检的问题,在Cascade R-CNN基础上,提出一种融合空间注意力的自适应安检违禁品检测方法 XPIC R-CNN。在ResNet50中引入可形变卷积作为主干网络,自适应地学习不同尺寸的违禁品特征;结合可形变卷积的空间稀疏采样优势和自注意力机制强大的元素间关系建模能力,提出一种空间自适应注意力模块,有效地抑制复杂背景的噪音干扰;提出一种多尺度自适应候选区生成网络,使用语义特征去指导锚框的生成,提高候选框的质量以提升网络的召回率;在级联检测器中引入在线难例挖掘训练策略,解决正负样本不均衡和小样本训练困难的问题。实验结果表明,XPIC R-CNN在数据集SIXray_PI上的平均检测精度为94.5%,召回率为77.4%,比原始算法分别提升了3.2和8.2个百分点,最高漏检率仅有10%。

基于Faster R-CNN的人体行为检测研究

由于人体行为类内差异大,类间相似性大,而且还存在视觉角度与遮挡等问题,使用人工提取特征的方法特征提取难度大并且难以提取有效特征,使得人体行为检测率较低。针对这个问题,本文在物体检测的基础上使用检测效果较好的Faster R-CNN算法来进行人体行为检测,并对Faster R-CNN算法与批量规范化算法和在线难例挖掘算法进行结合,有效利用了深度学习算法实现人体行为检测。对此改进算法进行实验验证,验证的分类和位置精度达到了80%以上,实验结果表明,改进的算法具有识别精度高的特点。

基于改进Faster R-CNN的马铃薯芽眼识别方法

为提高对马铃薯芽眼的识别效果,提出一种基于改进Faster R-CNN的马铃薯芽眼识别方法。对Faster RCNN中的非极大值抑制(Non-maximum suppression,NMS)算法进行优化,对与M交并比(Intersection over union,IOU)大于等于Nt的相邻检测框,利用高斯降权函数对其置信度进行衰减,通过判别参数对衰减后的置信度作进一步判断;在训练过程中加入采用优化NMS算法的在线难例挖掘(Online hard example mining,OHEM)技术,对马铃薯芽眼进行识别试验。试验结果表明:改进的模型识别精度为96.32%,召回率为90.85%,F1为93.51%,平均单幅图像的识别时间为0.183 s。与原始的Faster R-CNN模型相比,改进的模型在不增加运行时间的前提下,精度、召回率、F1分别提升了4.65、6.76、5.79个百分点。改进Faster R-CNN模型能够实现马铃薯芽眼的有效识别,满足实时处理的要求,可为种薯自动切块中的芽眼识别提供参考。

基于Faster R-CNN的光刻热点检测

光刻热点检测是集成电路可制造性设计的一项重要环节。已有研究将卷积神经网络应用于光刻热点的检测,但在卷积运算的重复性、检测结果准确度等方面存在较多问题。为了解决上述问题,提出一种基于Faster R-CNN并结合在线难例挖掘和软性非极大值抑制的光刻热点检测算法。采用ICCAD 2012Contest的版图基准作为验证载体。实验结果表明,该算法能有效提高检测的精度和效率,平均检测耗时为0.6h/mm2,召回率为96.1%,精确率可达40.3%。

基于改进Faster-RCNN的自然场景人脸检测

为实现对自然场景下小尺度人脸的准确检测,提出一种改进的Faster-RCNN模型。采用ResNet-50提取卷积特征,对不同卷积层的特征图进行多尺度融合,同时将区域建议网络产生的锚框由最初的9个改为15个,以更好地适应小尺度人脸检测场景。在此基础上,利用在线难例挖掘算法优化训练过程,采用软非极大值抑制方法解决漏检重叠人脸的问题,并在训练阶段通过多尺度训练提高模型的泛化能力。实验结果表明,该模型在Wider Face数据集上平均精度为89.0%,较原Faster-RCNN模型提升3.5%,在FDDB数据集上检出率也高达95.6%。

基于改进Faster-RCNN的机场场面小目标物体检测算法

针对目前应用于机场视频监控中的卷积神经网络方法存在小目标物体识别准确率较低的问题,本文提出了一种基于Faster-RCNN并结合多尺度特征融合与在线难例挖掘的机场场面小目标检测算法。该算法采用ResNet-101作为特征提取网络,并在该网络基础上建立了一个带有上采样的“自顶向下”的特征融合模块,以生成语义信息更加丰富的高分辨率特征图。并在网络训练过程中,采用在线难例挖掘的训练策略使模型更加鲁棒地对小目标样本进行定位。最后,手工构建了一个包含5982张图片的机场数据集,用于检测模型的训练和测试。结果表明,本文所提出算法显著提升了机场场面小目标物体检测的准确率,且使整体平均检测准确率达到了80.8%,该结果高于其他先进的目标检测模型。

基于改进级联R-CNN的面料疵点检测方法

由于布匹疵点种类分布不均,部分疵点具有极端的宽高比,而且小目标较多,导致检测难度大,因此提出一种改进级联R-CNN的布匹疵点检测方法。针对小目标问题,在R-CNN部分采用在线难例挖掘,加强对小目标的训练;针对布匹疵点极端的长宽比,在特征提取网络中采用了可变形卷积v2来代替传统的正方形卷积,并结合布匹特征重新设计边界框比例。最后采用完全交并比损失作为边界框回归损失,获取更精确的目标边界框。结果表明:对比改进前的模型,改进后的模型预测边界框更加精确,对小目标的疵点检测效果更好,在准确率上提升了3.57%,平均精确度均值提升了6.45%,可以更好地满足面料疵点的检测需求。

基于改进Faster R-CNN的轮胎缺陷检测方法

轮胎生产过程中出现的胎侧异物、胎冠异物、气泡、胎冠开根以及胎侧开根等缺陷会影响轮胎出厂后的使用,所以出厂使用前需要对每条轮胎进行无损检测。为了实现在工业中对于轮胎缺陷进行自动检测,提出了一种基于改进Faster R-CNN的轮胎缺陷自动检测方法。首先,在预处理阶段,用直方图均衡化方法对轮胎图象的灰度进行拉伸,提高数据集的对比度,使图像目标和背景的灰度值产生明显差异;其次,为提高轮胎缺陷位置检测和识别的准确率,对Faster R-CNN结构进行改进,即把ZF卷积神经网络中第三层的卷积特征和第五层的卷积特征结合后输出,并将其作为区域建议网络层的输入;然后,在RoI pooling层之后引入在线难例挖掘(OHEM)算法,使轮胎缺陷检测的准确率得到进一步的提高。实验结果表明,改进后的Faster R-CNN的轮胎缺陷检测方法可以准确地分类和定位轮胎X射线图像缺陷,平均测试准确率可以达到95.7%。此外,还可以通过对网络进行微调来获得新的检测模型以检测其他类型的缺陷。

基于改进Faster R-CNN的超新星目标检测方法

在进行超新星目标检测时,图像背景复杂、目标较小以及正负样本不平衡导致图像对比不明显和特征提取难度大等问题。为此,从数据合成、特征提取网络优化等方面对Faster R-CNN算法进行改进,提出一种超新星目标检测方法。将每组图像进行合成以提高图像的对比度。针对特征提取难度大的问题,使用深度残差网络提取合成图像的特征,并将顶层特征依次与低层特征相融合,构建特征金字塔网络,使每一层网络都具有较强的语义信息。采用在线难例挖掘方法对高损失样本进行训练,以处理正负样本不平衡的问题,从而提高算法的检测性能。实验结果表明,与原始Faster R-CNN算法相比,该算法的Score与F1值分别提高8.51%和45.52%,且其检测性能与泛化能力均较高。

基于R-FCN的中国手指语识别

中国手指语的识别使听力障碍人群与听力正常人群相互交流和人机交互更加便捷.传统的手指语识别对环境背景要求较高,为了解决复杂环境下中国手指语的识别问题,构建并扩展了手指语图片训练集,提出基于改进的区域的全卷积网络R-FCN解决复杂背景下的手指语识别任务.为适应多变的复杂场景,利用在线难例挖掘技术对手指语识别过程中产生的难例进行在线学习,结合手指语特征对网络进行优化.并与SVM分类和FasterR-CNN神经网络作对比.实验结果表明,基于改进的R-FCN在复杂环境的手语识别任务上能达到较好的识别效果.

基于改进Faster RCNN的小尺度铁路侵限算法

针对目前传统铁路异物侵线检测算法识别精度不高、对于小尺度目标异物存在漏检等问题,提出一种基于改进Faster RCNN的小尺度铁路侵限算法。在特征提取网络中利用特征金字塔模型将高层特征与低层特征相融合;通过修改锚点框尺寸和增加锚点个数来提高对目标建议区域的精确性;提出一种基于衰减得分的NMS算法;在引入迁移学习思想同时利用在线难例挖掘训练网络以解决数据缺乏、训练难收敛的问题。实验结果表明,改进的Faster RCNN与传统的Faster RCNN网络相比,mAP(mean average precision)提高了2.1%,对小目标的识别有较好准确度。

基于改进型Faster R-CNN的接触网设备缺陷检测方案

针对小样本及复杂环境下接触网关键设备缺陷检测难等问题,文中提出了一种基于改进型Faster R-CNN的接触网设备缺陷检测技术。针对原始的Faster R-CNN网络,采用ResNet-101替代VGG-16来构建基础卷积层,维护目标的原始结构,提升检测速度。通过对不同卷积层的特征图进行多尺寸融合,提高对多种设备缺陷的检测精度。实验结果表明,改进后的Faster R-CNN能够在复杂接触网设备中实现零部件的精确检测,mAP达到88.28%,每张图片检测时间仅需0.15秒。与相同条件下的其它检测算法相比,综合性能最佳。