改进YOLOv5s-Seg的高效实时实例分割模型

实例分割是图像分割的重要组成部分,同时也是计算机视觉领域的一个重要课题。然而现有实例分割模型不能在保证实时性的同时保证模型分割精度,因此在实时实例分割任务中一直存在精度过低、定位不精确的问题。针对此问题,提出了一种基于YOLOv5s-Seg改进的实时实例分割模型。以YOLOv5s-Seg作为网络的基础模型,主干网络选用Repvit m3网络,然后改进FPN结构,在FPN结构中将原始得到的C3卷积模块升级为RsRepVitBlock模块,并在其内部使用ECA注意力机制,最后采用SIoU作为模型的边界框损失函数。该算法在公开数据集PASCAL VOC 2012上的实验结果显示,改进后的模型分割精度mAP达到了65.7%,较原模型YOLOv5s-Seg提高了10.6个百分点。该模型大幅提升了分割精度,并且有效地改善了分割任务中定位不准确的问题。相较于其他模型,具有显著的精度优势和更好的模型稳定性。

利用渐进式动态图进行图像分割

大多数先进的基于深度学习的图像分割算法缺乏结合图像上下文关系的能力,忽略了上下文信息对分割轮廓的作用及影响,使得算法性能的提升有所局限,为此提出了一种基于轮廓的图像分割方法,利用一种渐进式动态图网络进行轮廓的变形。具体地,根据目标轮廓的拓扑结构,在轮廓上采样顶点将其转变成一个动态图,通过扩散目标点的上下文信息进行推理学习,并积累历史学习经验来进行轮廓图的动态更新,通过一种端到端的方式进行图的更新和目标位置的预测,并将其封装成一个闭环的学习过程。在Cityscapes、KINS、SBD数据集上进行了测试,验证了所提方法在实时实例分割上的有效性和实时性。具体地,在Cityscapes和SBD数据集上分别达到了最好的性能:34.4%和55.3%平均精度(average precision, AP),在KINS数据集上也达到了30.5%AP的性能,实现了很好的分割拟合效果,相比于Deep Snake模型,其分割轮廓与目标真实边界更加拟合且轮廓线更加平滑。此外,就运行速度而言,动态图模型在3个数据集上也达到了最好的结果,分别为3.8帧/s、7.6帧/s和13.1帧/s,比Deep Snake模型的运行速度平均提升了0.5帧/s。