一种改进Oriented RepPoints的遥感图像有向目标检测

为解决Oriented RepPoints算法在遥感图像有向目标检测中因遥感图像背景干扰信息较多和目标尺度大小不一所导致的检测精度不高、易漏检误检等问题,提出一种改进Oriented RepPoints的遥感图像有向目标检测方法MA-RPDet(Mixed Attention RepPoints Detector).首先,采用了PVTv2作为主干网络,该网络利用线性空间缩减自注意力机制提取出更具局部连续性的特征图,并保持与卷积运算类似的线性复杂度.其次,在特征融合阶段设计了串联性混合注意力模块,进一步强化了重要特征,促进了多尺度特征的高效交互.最后,引入平滑GIoU损失函数对模型学习策略进行优化,提高了检测精度.在两个遥感图像目标检测数据集DOTA和HRSC2016上的实验结果表明,所提方法的检测精度mAP分别达到了77.19%和90.3%,均高于其他对比算法,证明了本文方法的有效性.

基于跨空间多尺度的弱监督有向目标检测算法研究

针对当前基于旋转框标注的传统有向目标检测算法对遥感场景下的有向目标检测存在复杂度高、标注成本大等问题,提出了一种基于跨空间多尺度的弱监督有向目标检测算法LSK-EFPN,该算法可利用水平框标注信息推断目标的旋转框信息,实现了复杂遥感场景下的有向目标检测。为提升网络检测能力,该算法采用LSKNet网络提取输入图像先验背景特征,并添加跨空间多尺度注意力模块捕捉跨空间的特征区域,最后使用CIoU作为尺度约束损失函数来对一致性损失进行重构。实验结果表明,LSK-EFPN在遥感场景DIOR数据集上的平均准确率达到61.7%,相对于H2RBox算法提升了4.7%,为基于水平框标注的有向目标检测场景提供了新的技术解决方案。

基于深度学习的有向目标检测研究进展

目标检测是计算机视觉领域的重要任务,旨在从图像或视频中准确地识别和定位出现的目标物体。但是,普通目标检测算法往往难以处理旋转、带有方向信息的物体。针对此问题,诞生了许多专门用于有向目标检测方法,这些方法提供了更好的面向目标的空间表达,在图像处理方面取得了重大进展。有向目标检测的基本原理是将检测目标的旋转方框和倾斜角以及特征先界定再表示。本文综述了有向目标检测现阶段的国内外研究现状,根据有无锚框将当前基于深度学习的有向目标检测方法分为了基于锚框的一阶段方法、基于锚框的二阶段方法和无锚框方法3类方法进行归纳分析,并从优缺点、骨干网络、适用场景和数据集等方面进行了对比。最后,对有向目标检测方法的发展前景和研究方向进行了展望。

基于RetinaNet的可回收垃圾有向目标检测

可回收垃圾分拣是垃圾处理厂的重要工作,目前人工垃圾分拣效率低,工作环境恶劣,分拣成本高,为实现垃圾分拣的自动化,基于视觉的可回收垃圾自动检测研究具有重要意义。针对传统的水平框目标检测算法在检测时易丢失目标的方向信息,定位框重合现象严重,无法获取目标真实长宽,不利于后续分拣的缺点,提出基于RetinaNet的有向目标检测算法,该算法基于RetinaNet网络进行改进,在检测头中添加角度预测模块,使用PSC角度编码器改善角度回归边界问题,引入Balanced L1 loss损失函数平衡简单样本和困难样本的梯度贡献,替换骨干网络为Swin Transformer以增强网络特征提取能力。带角度预测的网络,能更准确地定位垃圾,改进后的网络精度(mAP)达到78.4%,比原算法提高了12百分点,同时与其他角度编码器相比PSC的检测效果均优于其他方法。

基于特征重组的遥感图像有向目标检测

针对遥感有向目标存在的检测问题,设计了一个基于改进Rotated RPN的网络,设计特征重组机制,通过加权使网络关注有效目标区域。使用新的有向框标注方法,避免在临界角度出现错位等问题。在检测头前端使用极化注意力模块,改善因为分类和回归任务所需特征不一致导致的性能下降问题。实验结果表明,该模型可以提高多类目标的检测精度。相较于基准Rotated RPN,该模型在Dior-R数据集上精度提升4.95%,在HRSC2016数据集上精度提升11.75%。

基于双重标签分配的遥感有向目标检测方法

由于遥感图像目标具有任意方向、大纵横比和密集排列等多样性分布特点,预设的锚框难以精准匹配所有真实目标,导致对大纵横比和密集排列的有向目标检测精度不高。为了解决上述问题,提出了一种基于双重标签分配的遥感有向目标检测方法。首先,提出双重标签分配策略为目标分配最大及次优交并比的候选框;其次,通过排斥损失(AP-Loss)和吸引损失(UP-Loss)约束相邻目标的候选框,以提高目标正确匹配概率;然后,为了提取适应于分类和回归分支的鲁棒特征,设计了一个特征增强模块(FEM),该模块基于偏振函数构造自适应特征,能够有效增强分类和回归任务所需的特征表达能力;最后,设计了一个定位指导分类(LGC)模块,该模块通过定位任务指导分类任务的采样位置,进行定位细化,以获取分类任务的关键特征,从而缓解分类与定位之间的不一致问题。在3个公开的遥感有向目标检测数据集DOTA,HRSC-2016和DIOR-R上进行了大量的实验,实验结果证明了所提方法的有效性,且优于现有主流方法。

多元信息监督的遥感图像有向目标检测

遥感图像有向目标检测是遥感图像解译中的一项基础任务,在许多领域有着广泛的应用。由于遥感图像目标尺度差异性大、方向任意且紧密排列,传统目标检测所使用的水平框无法准确的定位目标。因此,遥感图像有向目标检测成为目前遥感领域的研究热点。受益于深度学习的发展,遥感图像有向目标检测取得了突破性进展,但是大多数方法仅在检测头部加入角度预测参数,在训练过程中没有充分利用角度信息和语义信息。本文提出了一种多元信息监督的遥感图像有向目标检测方法。首先,在感兴趣区域提取阶段利用角度信息监督网络学习目标方向,从而使网络第一阶段生成更加贴近遥感图像目标的有向候选区域。其次,为了充分利用图像语义信息,本文在网络第二阶段增加语义分支,并使用图像语义标签进行监督学习。本文以Faster R-CNN OBB为基准,在DOTA数据集上验证所提方法的有效性。本文方法相比基准,平均精度(mAP)提升了2.8%,最终的检测精度(mAP)达到74.6%。

基于特征对齐和高斯表征的视觉有向目标检测

有向目标检测是计算机视觉中的一个研究热点,在遥感、场景文字等领域具有广泛应用.大长宽比、密集排列以及任意方向等问题是该领域目标检测面临的主要挑战.本文提出了一种基于单阶段检测方法的级联有向检测器R3DetGauss,采用一种从粗到细的渐进式回归方法快速准确地定位目标.考虑到级联检测器中存在的特征不对齐的问题,本文设计了一个特征精修模块(feature refinement module,FRM),能够获得更准确的特征,从而提高检测性能.FRM通过逐像素特征插值将当前精修后的边界框的位置信息重新编码到对应的特征点,进而实现特征的重构和对齐.本文还采用了具有尺度不变性的归一化高斯Wasserstein距离作为回归损失来进一步提高估计边界框的质量.此外,本文基于该距离提出了长宽比感知的自适应样本采样策略,提高了样本分配的质量.在多个公开的图像数据集上的大量实验结果表明,所提出的R3DetGauss检测器在多种数据集上均能够进一步提升精度,并最终达到当前先进检测水平.相关代码在国产深度学习Jittor框架、PyTorch和TensorFlow中均进行了开源发布.

特征重组和自注意力的遥感图像有向目标检测

遥感图像有向目标检测是一项非常有挑战性的任务,受到了广泛的关注。随着深度学习的迅速发展,基于卷积神经网络(CNN)和自注意力网络(Transformer)的神经网络在有向目标检测方面取得了显著成果。然而,对于遥感图像中的有向目标,仍然存在对边界信息和显著特征信息的关注不足的问题。其中,不同方向目标的边界信息有限且难以提取,而显著特征的全局依赖关系相对稀疏。因此,本文提出了基于特征重组和自注意力的遥感图像有向目标检测方法。该方法主要包括空间通道重组的回归分支和自注意力分类分支。其中,回归分支通过在通道维度中重组空间信息,更加关注边界敏感信息,以实现对定位框的精确定位。分类分支依据带有位置信息的自注意力捕获目标根本判别性的特征,并增强特征的全局依赖性,从而实现准确分类。通过广泛的实验验证,证明了所提出模型的有效性和鲁棒性。在公开数据集DOTA、HRSC2016和SODA-A上表现优秀。

基于方向自适应检测器的输电线路设备检测方法

如何利用现有可见光影像数据与设备,实现高效巡检,辅助一线作业人员开展工作,是目前电力自动化巡检研究中亟待解决的难题。基于可见光图像的电力巡检存在图像畸变、待检测物体和摄像机角度不同导致目标特征丢失等问题,常见的目标检测算法往往效果较差,无法满足电力巡检要求。针对上述问题,提出一种基于CenterNet的有向检测器Rot-CenterNet。具体方案:首先,为了检测有向目标框,加入用于回归角度的检测头,并引入IoU-L1计算目标检测头的损失函数。其次,Rot-CenterNet提出3个骨干网络以适应于不同算力的电力业务场景部署,分别为保持高分辨率表征的HRNet、参数量少且实现精度与速度极致性价比的EfficientNet和大多数边缘芯片均支持的经典算子ResNet。同时,该文设计了DCN-ASPP和D-SKN模块,实现感受野随目标设备的形状和角度方向自动调整。最后,针对现有输电线路可见光数据集较少且不规范的问题,以项目为依托,整理了一批包括架空输电和电缆隧道场景在内的有向设备数据集并命名为TransLine-2020。在测试集上,经过检测器和骨干网络的改进,所提出的模型在检测设备元件上,相比CenterNet模型平均精度值(average percision,AP)提高了5.95。为了进一步证明检测器具备多场景应用能力,Rot-CenterNet在公开DOTA数据集中也进行了实验,取得了同样不错的效果。