基于旋转框精细定位的遥感目标检测方法研究

遥感图像中的目标往往呈现出任意方向排列,而常见的目标检测算法均采用水平框检测,并不能满足这类场景的应用需求.因此提出一种旋转框检测网络R2-FRCNN.该网络利用粗调与细调两阶段实现旋转框检测,粗调阶段将水平框转换为旋转框,细调阶段进一步优化旋转框的定位.针对遥感图像存在较多小目标的特点,提出像素重组金字塔结构,融合深浅层特征,提升复杂背景下小目标的检测精度.此外,为了在金字塔各层中提取更加有效的特征信息,在粗调阶段设计一种积分与面积插值法相结合的感兴趣区域特征提取方法,同时在细调阶段设计旋转框区域特征提取方法.最后在粗调和细调阶段均采用全连接层与卷积层相结合的预测分支,并且利用Smooth Ln作为网络的回归损失函数,进一步提升算法性能.提出的网络在大型遥感数据集DOTA上进行评估,评估指标平均准确率达到0.7602.对比实验表明了R2-FRCNN网络的有效性.

基于旋转框的电子元器件检测

针对印刷电路板上微小密集且方向任意分布的电子元器件检测过程中存在检测框与目标轮廓贴合度较差的问题,提出一种采用旋转框代替传统水平框的元器件检测方法。通过自建数据集并基于两阶段旋转目标检测算法对元器件进行检测,将特征提取网络改进为Swin Transformer后网络性能进一步提升,精度(mAP)达到98.23%,比原算法提高了1.52%。同时与5种旋转目标检测算法进行对比实验,文中方法检测效果均优于其他方法。

基于双扩张层和旋转框定位的群猪目标检测算法研究

目前猪群图像检测均为基于水平框的目标检测算法,对于图像中猪体粘连和相互遮挡情况检测率较低,针对图像中的猪只长宽比例较大和可能发生任意角度旋转的特点,提出了一种基于双扩张层和旋转框定位的群猪目标检测算法(Dual dilated layer and rotary box location network,DR Net)。采集3个猪场的群猪图像,利用数据增强保留9600幅图像制作数据集;基于膨胀卷积搭建提取图像全局信息的双扩张层,借鉴Res2Net模块改进CSP层融合多尺度特征,猪只目标以旋转框定位并采用五参数表示法在模型训练中利用Gaussian Wasserstein distance计算旋转框的回归损失。试验结果表明,DR Net对猪只目标识别的精确率、召回率、平均精确率、MAE、RMSE分别为98.57%、97.27%、96.94%、0.21、0.54,其检测效果优于YOLO v5,提高了遮挡与粘连场景下的识别精度和计数精度。利用可视化特征图分析算法在遮挡和粘连场景下能够利用猪只头颈部、背部或尾部特征准确定位目标。该研究有助于智能化猪场建设,可为后续猪只行为识别研究提供参考。

基于改进YOLOv5的遥感图像旋转框目标检测

针对遥感图像由于具有背景复杂和目标方向多变、尺度变化剧烈的特性导致目标检测精度较低的问题,文中提出了一种基于瓶颈注意力的遥感图像目标检测算法R-YOLOv5。该算法通过主干特征提取网络、瓶颈注意力、旋转框和损失函数的改进来加强网络对关键目标的特征提取能力,并在训练阶段采用了Mosaic和Mixup的TTA数据增强策略来弱化遥感图像复杂的背景信息对检测的影响。实验结果表明,R-YOLOv5的mAP达到了94.7%,与原始YOLOv5相比,提高了14.1%,可以有效提高遥感图像目标检测精度。

基于旋转框的建筑物检测方法与应用

精准地检测建筑物目标在城市规划、灾情评估、军事侦察等方面均有重要意义。针对流行的目标检测方法采用最小包围矩形表示实例不能对多方向型的建筑物进行精确定位的问题,构建了一种端到端的基于旋转框的建筑物检测方法,所提出的方法以RoI Transformer为基础,在不同的特征提取网络上进行实验研究。研究结果表明,模型ResNet+RoI Transformer对多方向型建筑物有较好的检测结果。利用所提出的模型搭建建筑物提取原型系统,系统可以对多种配置模型进行训练,支持对任意尺寸的高分辨率遥感影像进行检测,并可将检测结果转换为矢量文件,不仅在工程上大大降低了人工矢量化带来的成本,还可以为城市规划部门提供快速、准确的建筑基础数据。

基于旋转框和注意力机制的遥感图像目标检测算法

在遥感图像目标检测中,遥感图像在俯视视角下通常呈现任意方向排布。该情况使得常见检测算法在自然场景下有很好的检测效果但往往在遥感图像下检测效果不理想。针对遥感场景下的检测不理想的问题,在单阶段检测网络YOLOv5的基础上提出了一种基于旋转目标框和注意力机制的遥感图像目标检测算法(CSL-YOLOv5)。首先,在原网络的特征提取网络(CSPDarknet53)的基础上进行了改造,使输出特征图数量增多,优化网络对小目标的检测效果。然后,在残差块中加入了一种融合通道模块和空间模块的注意力机制,增强图像特征的表达效果,同时利用Focal Loss来优化训练效果,在保证检测速度的基础上提升检测精度。最后,使用基于环形平滑标签的长边表示法来实现目标框的旋转,通过把回归问题转为分类问题来解决角度周期性对训练的影响。实验结果表明,所提出的CSL-YOLOv5算法在DOTA数据集取得了76.24 mAP的检测精度,对比先前的单阶段算法有着更高的精度,对比YOLOv5的mAP相比较提高了8.06%。该算法在遥感场景下,检测的准确率高且鲁棒性好。

旋转框定位的多尺度再生物品目标检测算法

针对传统目标检测算法未考虑实际分拣场景目标物形态尺度的多样性,无法获取旋转角度信息的问题,提出基于YOLOv5的改进算法MR;-YOLOv5.通过添加角度预测分支,引入环形平滑标签(CSL)角度分类方法,完成旋转角度精准检测.增加目标检测层用于提升模型不同尺度检测能力,在主干网络末端利用Transformer注意力机制对各通道赋予不同的权重,强化特征提取.利用主干网络提取到的不同层次特征图输入BiFPN网络结构中,开展多尺度特征融合.实验结果表明,MR;-YOLOv5在自制数据集上的均值平均精度(mAP)为90.56%,较仅添加角度预测分支的YOLOv5s基础网络提升5.36%;对于遮挡、透明、变形等目标物,均可以识别类别和旋转角度,图像单帧检测时间为0.02~0.03 s,满足分拣场景对目标检测算法的性能需求.

结合旋转框和注意力机制的轻量遥感图像检测模型

目的遥感图像目标检测在国防安全、智能监测等领域扮演着重要的角色。面对遥感图像中排列密集且方向任意分布的目标,传统水平框目标检测不能实现精细定位,大型和超大型的目标检测网络虽然有强大表征学习能力,但是忽略了模型准确率与计算量、参数量之间的性价比,也满足不了实时检测的要求,庞大的参数量和计算量在模型部署上也非常受限,针对以上问题,设计了一种轻量级的旋转框遥感图像目标检测模型(YOLO-RMV4)。方法对原MobileNetv3网络进行改进,在特征提取网络中加入性能更好的通道注意力机制模块(efficient channel attention,ECA),并且对网络规模进行适当扩展,同时加入路径聚合网络(path aggregation network,PANet),对主干网络提取特征进行多尺度融合,为网络提供更丰富可靠的目标特征。网络检测头中则采用多尺度检测技术,来应对不同尺寸的目标物体,检测头中的角度预测加入了环形圆滑标签(circular smooth label,CSL),将角度回归问题转换为分类问题,从而使预测角度和真实角度之间的距离可以衡量。结果将提出的检测模型在制备的AVSP(aerial images of vehicle ship and plane)数据集上进行实验验证,并对主流的7种轻量级网络模型进行了对比实验,相比RYOLOv5l,该模型大小(5.3 MB)仅为RYOLOv5l(45.3 MB)的1/8,平均精度均值(mean average precision,mAP)提高了1.2%,平均召回率(average recall,AR)提高了1.6%。并且mAP和AR均远高于其他的轻量级网络模型。同时也对各个改进模块进行了消融实验,验证了不同模块对模型性能的提升程度。结论本文提出的模型在轻量的网络结构下辅以多尺度融合和旋转框检测,使该模型在极有限参数量下实现实时推理和高精度检测。

基于密集连接网络的航拍绝缘子旋转目标精准定位方法

为了实现架空线路巡检时绝缘子的精准定位和检测,提出了一种基于Dense-Block密集连接块与旋转框改进YOLOv5的绝缘子检测模型。该模型针对绝缘子长宽比较大和方向多变的特点,提出利用长边定义法为检测框增加角度信息,实现目标旋转框检测,有效提升绝缘子检测和定位的效果。同时为了增强特征的重新利用和传播,利用Dense-Block对模型中的残差模块进行改进,构建YOLOv5-dense检测模型。最后为了使YOLOv5-dense模型能够更加关注有效的特征信息,在主干网络尾部加入SimAM注意力模块对模型进行改进。实验之前,利用Retinex算法对输入绝缘子图像进行增强。实验结果表明,相较于原始YOLOv5算法,所提算法在平均准确率和每秒处理帧数方面都有提高。除此之外,与水平框检测算法相比,所提算法去除了检测结果中大量冗余的背景信息,实现了绝缘子区域更加精准的定位。

基于旋转检测框的风力发电机叶片缺陷检测

提出了一种基于旋转检测框的风力发电机叶片缺陷检测方法。利用旋转检测框减少图像中的冗余信息,能够更准确地描述目标的形状和位置,同时不受叶片缺陷形状的限制。实验结果表明,该方法能够有效地检测出叶片的缺陷类型,具有较高准确性和稳定性,为风力发电机叶片缺陷视觉检测提供一种新的解决方案。

一种基于解耦旋转锚框匹配策略的谷粒检测方法

【目的】基于计算机视觉技术建立水稻考种中谷粒计数与粒径的检测方法,节省考种人力成本,提升效率,有利于数字化育种体系建立。【方法】通过对比基于YOLOv5l骨架结构的水平框目标检测策略与基于ResNet101和DarkNet53骨架结构的旋转框检测策略,同时比较旋转框检测策略预测的水稻谷粒长宽比值与实际测量值之间的差异,验证该方法的可行性。【结果】旋转框的目标检测模型计算得到的水稻谷粒长宽比与实测值无显著差异,两者的均方根误差为0.91~2.29;而水平框的目标检测模型计算的长宽比显著小于实测值,且均方根误差值(9.38~9.45)比旋转框的目标检测模型更大。基于水平框的目标检测策略与基于旋转框的检测策略在谷粒计数的精度几乎相当,但水平框检测模型无法实现水稻谷粒长宽比的准确计算,而使用旋转框的目标检测策略能够较为准确计算谷粒长宽比。【结论】基于解耦旋转锚框匹配策略可对水稻谷粒进行准确计数,相比传统水平框的目标检测策略,可降低检测中的背景噪声和密集堆积物体的漏检情况,同时快速准确计算水稻谷粒长宽比。该方法可以进一步应用到水稻品种识别中的谷粒长短和大小的计算,以及种子质量检测及品种鉴定等数字化育种场景中。

基于自适应关键点的破损旋转绝缘子检测方法

在输电线路检测图像中受绝缘子方向不确定、背景复杂、遮挡物等因素影响,导致漏检和定位准确率降低。提出一种基于自适应关键点的破损旋转绝缘子检测方法。将Oriented RepPoints目标检测算法作为Baseline并加以改进。针对Oriented RepPoints算法的方向信息感知较弱以及特征表示能力差的问题,结合递归特征金字塔和坐标注意力机制,构建递归强化特征金字塔网络(Re-FPN)。其中,CA模块从2个方向聚合特征,捕获方向感知和位置敏感信息,提升模型的定位和识别能力,Re-FPN在经典特征金字塔网络基础上进行递归式特征提取,将输入图像特征进行反复提取,使得目标检测的错误回传信息能够更直接反馈以调整主干网络参数,从而提升提取特征对检测的适用性。在自建绝缘子图像数据集上进行训练和测试,实验结果表明,该方法的绝缘子检测准确率达到96.1%,相比Oriented RepPoints算法提升2.1个百分点,同时该算法性能表现优于现有主流目标检测算法,具有较高的工程应用价值。

基于卷积神经网络的旋转船舶目标检测算法

舰船目标检测任务在海上交通管制和航道安全维护等方面发挥着重要作用。为减小复杂背景的干扰,增强网络在遮挡环境下的检测准确率,本文在先进的S2A-Net(Single-shot Alignment Network)的基础上,采用了3种改进方法:首先增加骨干网络的深度,使得骨干网络更加充分提取目标特征;其次增加可变形卷积模块(Deformable Convolution Module,DCM),使得采样点可以根据目标形状自适应发生改变,更为全面精准地提取目标特征;最后,增添Cutout模块,使得网络在训练过程中学会应对遮挡情况,进一步提升目标检测精度。在HRSC2016数据集上进行的消融实验表明了本文提出的网络的有效性。

改进YOLOv5混合样本训练的绝缘子伞盘脱落缺陷检测方法

为了实现输电线路巡检时绝缘子串及伞盘脱落缺陷的精准定位和识别,提出了一种基于改进YOLOv5混合样本训练的绝缘子缺陷检测模型。针对绝缘子缺陷图像稀少问题,提出了一种混合样本数据生成方法,通过将GrabCut算法与图像融合技术相结合实现数据集的扩充。针对绝缘子及缺陷的外形特点,利用长边定义法和环形平滑标签(circular smooth label,CSL)重新定义模型特征提取区域的坐标参数。通过增加角度信息,实现更加精确化的特征提取。通过将主干网络(Backbone)中部分特征层与路径聚合网络(path aggregation network,PAN)提取的特征相融合,对CSPDarkNet主干网络进行优化。改进后的YOLOv5 CSPDarkNet模型相较于改进前绝缘子缺陷检测精度提升了2.8个百分点,检测速率为20.5 FPS。实验结果表明,改进的绝缘子缺陷识别方法基本满足实际应用需求。

具有复杂纹理的木板表面刮痕缺陷检测模型

为提高木板加工生产线自动化水平,基于Faster RCNN提出一种木板表面刮痕缺陷检测模型,识别和定位不同纹理背景下的木板表面刮痕缺陷。图像预处理阶段提出改进双边滤波算法,在保持刮痕细节特征的同时对纹理背景进行平滑处理;提出灰度自适应刮痕生成方法进行数据增强处理。引入可形变卷积增强模型特征提取能力,使用旋转包围框标注并提出新的包围框回归损失函数,解决水平包围框中刮痕缺陷占比远小于纹理背景的问题。通过实际木板加工生产线采集的图像验证了提出模型的有效性,并将提出的模型与其他缺陷检测方法进行了对比测试,结果证明了所提模型的优越性。

旋转区域提议网络的孪生神经网络跟踪算法

孪生区域提议网络跟踪算法是一种高效的目标跟踪算法,通过锚框规避了图像金字塔对跟踪性能带来的影响,但这种跟踪方法受制于区域提议网络本身的局限性,在目标旋转时,跟踪精度将受到较大损失。而其他对旋转鲁棒性较高的方法则因为使用了复杂的旋转结构,导致算法的跟踪速度大幅下降。为了解决旋转目标对区域提议网络跟踪精度的影响,提出了旋转区域提议网络的孪生神经网络跟踪算法,通过AO-RPN(arbitrary-oriented region proposal network)结构将旋转与区域提议网络相统一,引入角度预测分支,在目标跟踪的过程中,直接对旋转的目标进行搜索,并得到最小外接矩形。该方法在保持较高跟踪速度的同时,精度超过了对目标进行旋转采样或使用局部特征进行跟踪的算法。通过在数据集OTB2015、VOT2016和VOT2018上进行的大量实验。结果表明,该算法在遮挡、形变、光照等多种复杂情况下表现出了较强的鲁棒性和适应性。

海上无人机对运动船舶的长期检测跟踪算法

针对无人机在海上对船舶进行长时跟踪时,由于船身被遮挡及船舶离开视野导致目标跟踪失败的问题,提出了基于YOLOv5和ECO_HC相结合的海上目标长时检测跟踪算法。首先,利用感知哈希与峰值比例综合评估跟踪过程的可靠性,目标丢失时利用YOLOv5检测器重新定位目标位置,并初始化跟踪器模型,消除累计错误信息。其次针对目标在跟踪过程中存在的旋转变化,利用傅里叶-梅林变换进行旋转参数估计,减少了目标旋转造成的跟踪器性能下降问题。本文算法在OTB-100数据集上的平均精确度和成功率为83.9%和76.7%;在无人机平台上进行实际海上场景船舶跟踪实验,在完全遮挡及离开视野两种情况下精确度和成功率分别为为80.9%,60.4%和90.2%,48.3%,实验表明本文算法可以有效抑制常见海面干扰因素的影响。

特征图知识蒸馏引导的轻量化任意方向SAR舰船目标检测器

基于有向边界框的合成孔径雷达(SAR)舰船目标检测器能输出精准的边界框,但仍存在模型计算复杂度高、推理速度慢、存储消耗大等问题,导致其难以在星载平台上部署。基于此该文提出了结合特征图和检测头分支知识蒸馏的无锚框轻量化旋转检测方法。首先,结合目标的长宽比和方向角信息提出改进高斯核,使生成的热度图能更好地刻画目标形状。然后在检测器预测头部引入前景区域增强分支,使网络更关注前景特征且抑制背景杂波的干扰。在训练轻量化网络时,将像素点间的相似度构建为热度图蒸馏知识。为解决特征蒸馏中正负样本不平衡问题,将前景注意力区域作为掩模引导网络蒸馏与目标相关的特征。另外,该文提出全局语义模块对像素进行上下文信息建模,能够结合背景知识加强目标精确表征。基于HRSID数据集的实验结果表明所提方法在模型参数仅有9.07 M的轻量化条件下,mAP能达到80.71%,且检测帧率满足实时应用需求。

可旋转式单元幕墙设计的关键性技术研究

目前在建、拟建的建筑物中,建筑设计师多青睐于复杂多变的造型,外立面多为双曲面造型.幕墙为满足建筑物外形要求,通常采用异型玻璃或铝板、多套开模型材、工厂内组装以及现场安装等复杂工序,建成后的外幕墙常不尽如人意.通过实际工程案例,研发出一种满足不同折线角度的幕墙铝合金模具组合,即可旋转式单元幕墙.采用铝合金横竖框与可旋转式的附框组合,满足不同折线角度的需求.

基于改进R^(2) CNN 的遥感图像船舶检测方法研究

为深入研究光学遥感图像中的船舶检测问题,提升检测精度和降低模型复杂度,设计基于改进旋转区域卷积和神经网络(Rotational Region Convolutional Neural Networks),R^(2)CNN的两阶段旋转框检测模型。在模型的第一阶段使用水平框作为候选区域;在模型第二阶段引入水平框预测分支,并且设计一种间接预测角度的回归模型;在测试阶段进行旋转框非极大值抑制时,设计基于掩码矩阵的旋转框IoU(Intersection over Union)算法。试验结果显示:改进R^(2)CNN模型在HRSC2016(High Resolution Ship Collection 2016)数据集上取得81.0%的平均精确度,相比其他模型均有不同程度的提升,说明改进R^(2)CNN在简化模型的同时能有效提升使用旋转框检测船舶的性能。