基于深度学习的实例分割边界框回归方法研究

针对实例分割任务中图像中可能出现相互遮挡或边缘模糊导致边界框定位不准确的问题,本文提出了一种新的边界框回归损失函数。将边界框位置预测转化为估计定位置信度随位置变化的概率分布;考虑坐标点间存在联系,提出一种面积差计算方法;为了证明此方法可以很好地应用于先检测后分割的实例分割模型,本文使用Mask R-CNN作为基线。实验结果表明:在边界框检测及实例分割任务中,本文方法的精度优于其他方法,对于小物体的检测与分割效果更显著,训练和评估速度也更快。

基于YOLOv5s模型的边界框回归损失函数研究

针对车辆检测中边界框回归损失函数与检测目标尺度不匹配导致的误检、漏检以及精度较低等问题,基于YOLOv5s模型对4种有代表性的边界框回归损失函数进行对比实验,并在UA-DETRA、VisDrone2019、KITTI数据集上进行验证,利用漏检率、误检率、准确率、召回率、mAP@0.5、迭代过程的边界框损失值以及目标检测结果对其适用场景进行分析研究。结果显示:CIoU整体性能最差;SIoU在KITTI数据集上整体性能最优,准确率最高,达到了94.5%,漏检率降到了1.2%,适用于中尺度目标检测任务;Focal-EIoU在VisDrone2019数据集中各项指标远优于其他损失函数,召回率和mAP@0.5指标相较于CIoU分别提高了1.6%和1.8%,误检率降低了6.9%,且迭代过程损失值远低于其他损失函数,适用于小尺度目标检测任务;WIoU在UA-DETRA数据集整体性能最优,漏检率、召回率以及mAP@0.5指标优于其他损失函数,适用于大尺度目标检测任务。此研究为目标检测任务的边界框回归损失函数的选择提供了重要的基础。

一种用于目标跟踪边界框回归的光滑IoU损失

边界框回归分支是深度目标跟踪器的关键模块,其性能直接影响跟踪器的精度.评价精度的指标之一是交并比(Intersection over union,IoU).基于IoU的损失函数取代了l_(n)-norm损失成为目前主流的边界框回归损失函数,然而IoU损失函数存在2个固有缺陷:1)当预测框与真值框不相交时IoU为常量0,无法梯度下降更新边界框的参数;2)在IoU取得最优值时其梯度不存在,边界框很难收敛到IoU最优处.揭示了在回归过程中IoU最优的边界框各参数之间蕴含的定量关系,指出在边界框中心处于特定位置时存在多种尺寸不同的边界框使IoU损失最优的情况,这增加了边界框尺寸回归的不确定性.从优化两个统计分布之间散度的视角看待边界框回归问题,提出了光滑IoU(Smooth-IoU,SIoU)损失,即构造了在全局上光滑(即连续可微)且极值唯一的损失函数,该损失函数自然蕴含边界框各参数之间特定的最优关系,其唯一取极值的边界框可使IoU达到最优.光滑性确保了在全局上梯度存在使得边界框更容易回归到极值处,而极值唯一确保了在全局上可梯度下降更新参数,从而避开了IoU损失的固有缺陷.提出的光滑损失可以很容易取代IoU损失集成到现有的深度目标跟踪器上训练边界框回归,在LaSOT、GOT-10k、TrackingNet、OTB2015和VOT2018测试基准上所取得的结果,验证了光滑IoU损失的易用性和有效性.

一种基于边界框关键点距离的框回归算法

针对目前基于交并比(IoU)的框回归方法在实际应用中存在的检测精度不高、收敛速度较慢等问题,提出一种基于关键点距离交并比(KIoU)的框回归方法。从几何知识入手,将矩形的3个顶点和1个中心点作为关键点,通过计算对应点之间的距离来判断预测框与真实框的位置以及形态差异。构建基于关键点交并比损失的新型损失函数,计算实际情况与理想情况下预测框与真实框的关键点交并比之差,将关键对应点的距离作为IoU的惩罚项以加速模型收敛过程,利用关键点信息在定位上的高效性和准确性来提高目标检测精度。以单阶段目标检测算法SSD和两阶段目标检测算法Faster R-CNN为基准算法,在PASCAL VOC和COCO数据集上将KIoU与IoU、GIoU、DIoU、CIoU等4种交并比方法进行实验对比,结果表明:在检测精度方面,在Faster R-CNN上KIoU相较IoU提升了2.91%,相较目前表现较好的DIoU提升了0.11%,在SSD上KIoU相较IoU与DIoU分别提升了0.96%与0.06%;在目标检测视觉效果方面,KIoU方法对目标的定位更加准确,且在一定程度上能够减少目标漏检的情况。

基于改进边界框回归损失的YOLOv3检测算法

YOLOv3检测算法中的边界框回归损失函数对边界框尺度敏感,且与算法检测效果评价标准交并比(IoU)之间的优化不具有强相关性,无法准确反映真值框与预测框之间的重叠情况,造成收敛效果不佳。针对上述问题,提出基于IoU的改进边界框回归损失算法BR-IoU。将IoU作为边界框回归损失函数的损失项,使不同尺度的边界框在回归过程中获得更均衡的损失优化权重。在此基础上,通过添加惩罚项最小化预测框与真值框中心点间围成的矩形面积,并提高预测框与真值框之间宽高比的一致性,从而优化边界框的回归收敛效果。在PASCAL VOC和COCO数据集上的实验结果表明,在不影响实时性的前提下,BR-IoU能够有效提高检测精度,采用BR-IoU的YOLOv3算法在PASCAL VOC 2007测试集上mAP较原YOLOv3算法和G-YOLO算法分别提高2.5和1.51个百分点,在COCO测试集上分别提高2.07和0.66个百分点。

基于优化边界框回归的目标检测

目标检测是计算机视觉任务中的关键问题之一,而边界框回归是目标检测的重要步骤。现有方法认为交并比(IoU)损失有利于度量IoU,但仍然存在收敛速度慢和回归不准确的问题。此外,大规模的目标检测数据集尽可能地清晰定义真实边界框,但在标记边界框时仍然会引入偏差。本文基于CIoU损失和边界框回归Kullback-Leibler(KL)损失提出了优化IoU(OIoU)边界框损失,主要通过学习边界变换和定位方差解决上述问题。OIoU不仅用于评估本地化置信度还可以计算标准差和边界框位置,在解决边界框标注时带来的偏差、回归不准确问题的同时加快了收敛速度。在PASCAL VOC和MS-COCO两个数据集上证明了优化边界框损失在检测精度和收敛速度上要优于原有的方法。

基于CIoU改进边界框损失函数的目标检测方法

损失函数对于目标检测任务的检测精度和模型收敛速度具有重要作用,而损失函数中的边界框损失函数是影响检测结果和模型收敛速度的重要因素。针对传统模型定位精度低和训练时模型收敛慢的问题,本文在CIoU边界框损失函数的基础上提出一种改进的边界框损失函数,解决了CIoU损失函数求导过程中由边界框宽高比带来的梯度爆炸问题和模型提前退化的问题,并且引入重叠区域与目标框的宽高关系和中心点之间的归一化距离作为附加的惩罚项,提高了模型的检测精度和收敛速度,这种损失函数称为BCIoU(Better CIoU)。在PASACL VOC 2007数据集上的实验结果表明,改进的BCIoU边界框损失函数在YOLOv3网络下相对于IoU损失的mAP50指标相对提升了2.09%,AP指标相对提升了6.88%;相对于CIoU损失的mAP50指标相对提升了1.64%,AP指标相对提升了5.35%。模型的收敛速度也有一定程度的提升。本文提出的BCIoU损失函数提高了模型的检测精度和模型收敛速度,并且可以很方便地纳入到当前目标检测算法中。

基于非线性高斯平方距离损失的目标检测

在目标检测领域中,基于交并比(intersection over union, IoU)的系列损失函数存在一定的局限性,使得边界框回归的精度和稳定性有待进一步提升。为此提出了一种基于非线性高斯平方距离的边界框回归损失函数。首先综合考虑了边界框中重叠性、中心点距离和长宽比3个因素,将边界框建模为高斯分布;然后提出一种高斯平方距离来衡量概率分布之间的差距;最后设计了符合优化趋势的非线性函数,将高斯平方距离转化为有利于神经网络学习的损失函数。实验结果表明,与IoU损失相比,所提方法在掩膜区域卷积神经网络、一阶全卷积目标检测器和自适应特征选择目标检测器上的平均精度均值分别提高了0.3%、1.1%和2.3%,证明了该方法能有效提升目标检测的性能,同时有利于高精度边界框的回归。

基于YOLOv5的车辆检测算法

随着5G技术的兴起,智能交通系统的研究成为当下热点,车辆检测则是其中最重要的内容之一。车辆检测技术不仅为交通拥堵、车辆违停、超速等问题的解决提供了便利,还能促进无人驾驶、车流量统计、车辆防碰撞预警等智能技术的发展。目前,随着深度学习的广泛应用,车辆检测技术也愈发成熟。YOLOv5模型较YOLOv4更加轻量化且精度高。本文提出YOLOv5n算法对行驶车辆进行目标检测,并使用CIOU损失来提高边界框回归的准确率。经验证,该方法准确率高,具有较高推广价值。

基于像素点回归的孪生网络目标跟踪算法

为了解决孪生网络目标跟踪算法中互相关操作引入过多的背景干扰容易导致跟踪漂移的问题,提出了一种包含高精度相似度匹配且基于像素点回归的孪生网络目标跟踪算法。通过对Transformer的改进,设计出一种高精度的相似度匹配模块用于取代互相关系列操作,用以减少目标的背景干扰,并提出一种基于像素点回归的边界框预测策略用于取代锚框机制,用以提升算法的泛化性能。通过在目标跟踪数据集上的测试结果表明,该算法有效地提升了在包含背景杂乱、遮挡等挑战的复杂场景下的跟踪效果,并且可以实现实时跟踪。

基于自适应聚焦CRIoU损失的目标检测算法

在目标检测任务中,传统的边界框回归损失函数所回归的内容与评价标准IoU(Intersection over Union)之间存在不相关性,并且对于边界框的回归属性存在一定不合理性,使得回归属性不完整,降低了检测精度和收敛速度,甚至还会造成回归阻碍的情况。并且在回归任务中也存在样本不均衡的情况,大量的低质量样本影响了损失收敛。为了提高检测精度和回归收敛速度提出了一种新的边界框回归损失函数。首先确定设计思想并设计IoU系列损失函数的范式;其次在IoU损失的基础上引入两中心点形成矩形的周长和两框形成的最小闭包矩形周长的比值作为边界框中心点距离惩罚项,并且将改进的IoU损失应用到非极大值抑制(Non-Maximum Suppression,NMS)处理中。接着引入两框的宽高误差和最小外包框的宽高平方作为宽高惩罚项,确定CRIoU(Complete Relativity IoU,CRIoU)损失函数。最后在CRIoU的基础上加入自适应加权因子,对高质量样本的回归损失加权,定义了自适应聚焦CRIoU(Adaptive focal CRIoU,AF-CRIoU)。实验结果表明,使用AF-CRIoU损失函数对比传统非IoU系列损失的检测精度最高相对提升了8.52%,对比CIoU系列损失的检测精度最高相对提升了2.69%,使用A-CRIoU-NMS(Around CRIoU NMS)方法对比原NMS方法的检测精度提升0.14%。将AF-CRIoU损失应用到安全帽检测中,也达到了很好的检测效果。

基于点云深度学习的对称结构空间目标相对位姿测量

针对对称结构空间目标相对位姿解算过程中点云误匹配带来的误差问题,提出一种基于点云深度学习的对称结构空间目标相对位姿测量方法。首先设计空间目标点云特征提取网络及关键点回归网络,将位姿测量问题转换为空间目标点云关键点回归问题,通过两个并行的回归网络分别输出空间目标平移向量和具有固定标签的目标点云三维边界框角点;其次利用具有连续稳定标签的角点求解目标姿态,可有效解决目标的对称结构导致的点云误配准问题;最后通过仿真数据集的实验表明,该方法相比于传统的点云配准方法有更高的准确率,能够精确求解具有对称结构的空间目标相对位姿。

面向多角度文字检测的旋转交并比神经网络

边界框回归是文字检测中关键的步骤,为了更好地预测边界框和收敛网络参数,在Faster RCNN目标检测算法的基础上提出一种利用旋转交并比损失函数的神经网络。该损失函数根据文字检测的评价指标而设计,增加预测框的角度参数,将其与宽和高的参数一起代入损失函数的惩罚项,代替了原版用于边界框回归的smooth L1损失函数,转化为交并比的损失向神经网络进行反向传播,并着重优化边界框的方向信息,通过设计与角度惩罚项相同的阈值运算作为非极大值抑制来输出检测结果。在公开文字检测数据集ICDAR2015上的实验结果表明,该方法有效提高了网络的收敛速度和检测精准度,比原方法综合提升11百分点左右。

基于密集连接的FPN多尺度目标检测算法

图像中目标对象的多尺度问题一直以来都是目标检测领域的主要难点之一,尤其是极端尺度对象的检测。研究发现,目标检测网络模型的深层语义特征有利于对象的识别,而浅层空间特征对对象的边界框回归很有帮助。DC-FPN使用密集连接代替FPN网络模型中的横向连接,能够从多层特征层中获取目标检测所需的特征信息,其中密集连接可以融合FPN自底向上传输模块中的所有特征层的特征信息,使FPN自顶向下传输模块的预测特征层能从中获取不同尺度对象检测所需的特征信息。实验表明,DC-FPN目标检测算法能够显著地提升模型的多尺度目标检测性能,使用MS COCO数据集训练和测试,其检测准确度(AP)能达到43.1%。

基于深度学习的电网巡检图像缺陷检测与识别

无人机巡检已成为保证电网稳定运行的重要手段。针对巡检图像的自动化判读,提出基于深度学习的电网多部件缺陷检测与识别方法。将小样本缺陷检测问题分解为目标检测和分类两步。针对多目标部件的检测,提出基于最小凸集的损失函数以及预测框选择方法,两者结合YOLOv3框架可以实现多种部件的精准定位。之后,单类分类器在高维特征空间中进行小样本学习,判断目标部件是否故障。测试图像来自220 kV安徽宣枣4883线的巡检图像。实验结果表明,该方法对常见的电网故障识别率高于96%,漏报率低于2%,表明该方法能有效地进行电网的多部件缺陷检测与识别。未来结合边缘计算加速处理,可以实现无人机的在轨巡检。

基于外接圆半径差损失的实时安全帽检测算法

针对安全帽检测算法的快速且精准需求,提出了一种实时安全帽检测算法。首先,针对基于边界框回归损失函数容易出现梯度消失(Gradient Vanish)的问题,本文提出外接圆半径差(Circumcircle Radius Difference,CRD)损失函数;然后,针对复杂多尺度特征融合层制约检测速度的问题,提出了一种轻量化的小目标聚焦型(Focus on Small Object,FSO)特征融合层;最后本文结合YOLO网络、CRD和FSO形成YOLO-CRD-FSO(YCF)检测模型,实现实时安全帽检测。实验结果表明,在Jetson Xavier NX设备上检测分辨率为640×640的视频,YCF的检测速度达到43.4帧/秒,比当前最新锐的YOLO-V5模型的速度快了近2帧/秒,且均值平均精度提升了近1%。说明YCF检测模型综合优化了边界框回归损失函数和特征融合层,获得了良好的安全帽检测效果。

基于位置预测的目标检测算法

预定义边界框是目标检测算法的核心技术之一,当前目标检测器的预定义边界框生成策略获得的边界框存在着数量冗余和正负样本不平衡问题。LA-SSD目标检测模型是在经典检测器SSD的基础上引入位置预测子网络,该子网络可以预测图像中当前位置处目标对象存在的概率,并使用位置预测的结果作为模型训练时的权重送到预测特征层,辅助对象检测的类别和边界框回归预测。实验表明LA-SSD模型大幅降低了模型训练时参与训练的预定义边界框的数量,同时实现了正负样本的平衡,这不仅降低了网络模型计算复杂度,还提升了对象检测模型的特征表达能力。当使用PASCAL VOC 2007, PASCAL VOC 2012以及MS COCO数据集训练模型,输入图像尺寸为512×512时,检测准确度(mAP)分别能达到82.9%、81.8%、34.1%。

Norm-DP模型行人检测优化算法

传统深度金字塔模型作为一种有效的行人检测算法备受关注,融合可变形部件模型和卷积神经网络模型,但特征提取部分使用的算法像素区域的大小不同,导致模型之间不能完全融合,在行人数量多、姿势复杂和有遮挡情况时的检测效果不理想。因此,提出一种基于规范化函数的深度金字塔模型(Norm-DP)算法,使用规范化函数融合可变形部件模型和卷积神经网络模型,直接从金字塔特征中提取正负样本,使用隐变量支持向量机进行模型训练,结合柔性非最大抑制(soft-NMS)算法和边界框回归(BBR)算法对定位框进行优化。分别使用INRIA和MS COCO数据集进行实验验证,在行人数量多、姿势复杂和有遮挡情况时,检测精度高于最优的可变形部件模型算法、卷积神经网络算法、深度金字塔模型算法和结合区域选择的卷积神经网络算法。

改进YOLOv5s的车载红外图像目标检测

针对车载红外图像分辨率低、目标小且细节模糊导致检测精度不高的问题,提出了一种基于改进YOLOv5s的目标检测网络。网络对SPP模块进行改进和添加,然后在骨干网络中嵌入了坐标注意力模块,将位置信息嵌入到通道注意力中,使得网络能够在更大的区域上进行注意力,更多地关注重要的目标特征,提高模型的表现力。最后用EIOU边界框损失函数替换CIOU Loss,进一步提高网络的检测精度。在FLIR车载红外图像数据集的测试集上的实验表明,改进模型较YOLOv5s网络mAP@0.5值提升了3.4%,且几乎不影响检测速度和模型权重大小,满足体积小和轻量化的需求,适合部署到车载嵌入式系统中。

面向内河航运安全监控的多尺度船舶图像目标识别方法

针对YOLOv3算法中IoU边界框回归损失函数对小尺度船舶预测框容易产生误识及漏识问题,利用目标预测框与真实框的最小闭包区域和关键点的归一化距离,提出一种新的损失函数MIoU,该损失函数可显著提升多尺度船舶目标预测框的回归速度及精度。实验表明:提出的YOLOv3-MIoU算法对六类船舶的识别精度均超过97%,mAP值达到98.44%;与采用其他损失函数方法相比,YOLOv3-MIoU在不同尺度及不同类型船舶识别中均具有较高的识别准确率,特别对渔船等小尺度船舶识别准确率较其他方法提升3%以上,可以达到内河航运安全监控的应用需求。