基于改进DETR的机器人铆接缺陷检测方法研究

铆接作为铁道车辆结构件的主要连接方式,合格的铆接质量是车辆安全稳定运行的重要保证。针对现有铆接缺陷检测方法存在检测精度低、检测点位少、检测智能化水平不高等问题,提出一种基于改进DETR的机器人铆接缺陷检测方法。首先,搭建铆接缺陷检测系统,依次采集工件尺寸大、铆钉尺寸小工况下的铆接缺陷图像。其次,为了增强DETR模型在小目标中的图像特征提取能力和检测性能,以EfficientNet作为DETR中的主干特征提取网络,并将3-D权重注意力机制SimAM引入EfficientNet网络,从而有效保留图像特征层的镦头形态信息和铆点区域的空间信息。然后,在颈部网络中引入加权双向特征金字塔模块,以EfficientNet网络的输出作为特征融合模块的输入对各尺度特征信息进行聚合,增大不同铆接缺陷的类间差异。最后,利用Smooth L1和DIoU的线性组合改进原模型预测网络的回归损失函数,提高模型的检测精度和收敛速度。结果表明,改进模型表现出较高的检测性能,对于铆接缺陷的平均检测精度mAP为97.12%,检测速度FPS为25.4帧/s,与Faster RCNN、YOLOX等其他主流检测模型相比,在检测精度和检测速度方面均具有较大优势。研究结果能够满足实际工况中大型铆接件的小尺寸铆钉铆接缺陷实时在线检测的需求,为视觉检测技术在铆接工艺中的应用提供一定的参考价值。

基于改进Deformable-DETR的水下图像目标检测方法

针对由于水下复杂环境造成的目标检测效果较差、检测精度较低的问题,基于Deformable-DETR算法提出一种改进的水下目标检测算法Deformable-DETR-DA。使用空间注意力模块结合标准Transformer块设计了一个用于增加模型深度的深度特征金字塔(deep feature pyramid networks,DFPN)模块,将其嵌入到模型中提高模型对深层纹理信息的提取能力。使用注意力引导的方式对原模型中编码器部分进行改进,加强了对特征信息的聚合能力,提高了模型在复杂环境下的检测能力。针对URPC数据集,模型各交并比尺度的平均准确度(average precision,AP)为39.5%,相比原模型提升1%,与一些DETR(detection transformer)类的模型相比,不同目标尺度的平均准确度均有1%~4%左右的提高,表明改进的模型能够很好解决复杂环境的水下目标检测的问题。本文提出的模型可作为其他水下目标检测模型设计的参考。

基于改进Deformable DETR的无人机视频流车辆目标检测算法

针对无人机视频流检测中小目标数量多、因图像传输质量较低而导致的上下文语义信息不充分、传统算法融合特征推理速度慢、数据集类别样本不均衡导致的训练效果差等问题,提出一种基于改进Deformable DETR的无人机视频流车辆目标检测算法。在模型结构方面,该算法设计了跨尺度特征融合模块以增大感受野,提升小目标检测能力,并采用针对object_query的挤压-激励模块提升关键目标的响应值,减少重要目标的漏检与错检率;在数据处理方面,使用了在线困难样本挖掘技术,改善数据集中类别样本分布不均的问题。在UAVDT数据集上进行了实验,实验结果表明,改进后的算法相较于基线算法在平均检测精度上提升了1.5%,在小目标检测精度上提升了0.8%,并在保持参数量较少增长的情况下,维持了原有的检测速度。

改进DETR的高分辨率遥感影像建筑物检测方法

针对高分辨率遥感影像中建筑目标较小和背景信息冗余带来的挑战,提出了一种称为FE-DETR(feature enhancement-detection with transformer)的端到端目标检测算法。首先,利用拼接融合模块(concatenation fusion module,CFM)融合不同尺度的特征层,缓解小建筑目标特征缺失问题;其次,使用全局通道注意力(global channel attention,GCA)模块细化融合后的特征。具体来说,该模块通过构建通道间的关系矩阵,提高模型对目标的感知能力,有效缓解复杂背景信息带来的干扰。最后,在WCH(Wuhan caidian house)、EA(east Asia)和CBC(city building of China)数据集上评估该算法的检测性能。实验结果表明,所提出的改进算法在上述3个数据集上AP_(50)分别提高了0.8%、0.6%和0.6%,验证了该算法的有效性。

基于改进DETR模型的输电线路工程车辆检测研究

针对人工检测大型工程车辆频繁进出施工现场容易出现漏检或误检的问题,文章提出一种改进DETR(基于Transformer的端到端目标检测网络)模型对输电线路工程车辆进行检测识别。首先在原始的DETR主干网络中,引入空洞卷积法获取更多深层次的特征,扩大感受野;其次加入特征金字塔网络(FPN),融合不同尺度的特征,增强特征的健壮性;最后将损失函数GIOU改为CIOU,使模型在训练的过程中达到更快和更好的收敛效果。实验结果显示,改进后的DETR模型在自制数据集中AP50(IOU阈值取0.5)和AP50-95(IOU阈值取0.5~0.95)分别达到了92.1%和61.3%,说明该改进模型在识别输电线路工程车辆场景中具有较高的应用价值。

基于Deformable DETR的自然场景任意形状文本检测

自然场景下的文本区域形状复杂多变,直接使用轮廓坐标描述文本区域会使得建模不充分,导致文本检测准确性低。针对自然场景下文本区域不规则的问题,提出了一种基于Deformable DETR的任意形状文本检测模型,不同于传统的直接预测轮廓点的方法,使用B-样条对文字区域进行建模使得文本轮廓平滑精确的同时减少了需要预测的参数。提出的文本检测模型无需手工设计锚点、区域建议等组件,极大地简化了模型设计并提高了通用性。提出的模型在无需额外数据集的情况下在任意形状文本数据集CTW1500和Total-Text上的平均精度(F值)分别达到了85.4%和85.0%,证明了模型的有效性。

基于RT-DETR改进的皮带运输机异物识别方法

凭借兼顾检测精度与速度的特点,YOLO近年来已成为煤炭等工业领域目标检测模型的佼佼者。然而,YOLO的检测性能受到置信度阈值和非极大值抑制阈值等超参数设定的影响。因此,本研究提出了一种基于改进的RT-D ETR带式输送机非煤异物检测模型。该模型无需置信度过滤和非极大值抑制,从而提升了检测精度。此外,针对RT-DETR参数量较大、难以在计算资源有限的边缘设备上部署的问题,我们设计了一种EMA-Faster Net骨干网络,并将颈部网络的AIFI模块替换为LPE-AIFI模块。最后,我们采用TensorRT进行加速,并将模型部署到Jetson Orin Nano边缘计算设备上。实验结果表明,改进后的RT-DETR模型与具有相似参数量的YOLOv8s相比,其召回率高出5.6%,平均类别精度高出4.3%;经TensorRT加速后,模型帧率可达26.4 FPS,满足了实时监测的要求。

基于SEPyconv-DETR的无人机航拍绝缘子检测算法

针对绝缘子由于大小不一致、被遮挡等因素导致航拍检测效果不佳的问题,提出了一种基于SEPyconv-DETR的绝缘子检测算法。首先,将Pyconv引入DETR主干网络,有效融合多尺度特征。其次,利用通道注意力SE强化关键特征。然后,将混淆卷积前馈网络(CC-FFN)融合到transformer中,增强局部感知和相邻token之间的联系。最后,综合Alpha-IoU与L1函数构建回归损失,以提高定位精度。实验结果表明,所提算法的检测精度mAP@0.5∶0.95达到了64.1%,优于DETR、YOLOv5等主流算法,并且可有效检测复杂背景下不同尺寸及被遮挡的绝缘子。

基于Deformable DETR的红外图像目标检测方法研究

基于Transformer架构的DETR系列网络在计算机视觉目标检测领域不断刷新目标检测的精度与速度。然而,基于红外图像的非合作目标检测的应用环境复杂,而且红外图像质量较差。针对该问题,提出了一种新的以Deformable DETR算法为基线的具有高检测精度的目标检测算法:首先设计了对红外图像进行图像增强处理的图像增强模块CLAHE-GB,并将其与Deformable DETR进行有机结合;然后在大型通用数据集上进行预训练;最后引入数据增强和迁移学习方法在自制的空中飞行物小型红外图像数据集中对检测头网络参数进行再训练,并对结果进行分析。结果表明:所提出的算法对红外图像数据具有较好的图像增强效果和检测精度。

采用DETR与先验知识融合的输电线路螺栓缺陷检测方法

为了解决深度学习模型无法学习螺栓目标的先验知识、仅通过视觉特征难以快速准确定位其缺陷以及螺栓缺陷样本数量有限、类别不平衡的问题,提出了将深度学习模型与螺栓先验知识相结合的方法。选取端到端目标检测(DETR)为基线模型,设计并实现了一种采用DETR与先验知识融合的改进DETR模型。首先,利用视觉-知识注意力模块将螺栓图像的视觉特征与螺栓先验知识有机融合,获得螺栓对应的增强视觉特征;然后,将增强视觉特征送入基于Transformer编码-解码结构的DETR模型框架中对螺栓目标进行识别与分类;最后,针对螺栓危急缺陷样本少及样本不平衡的问题,引入类增量学习损失函数(CILLF)来增强模型的鉴别能力,缓解螺栓缺陷样本间长尾分布问题。仿真实验结果表明:改进DETR模型在输电线路螺栓缺陷样本上的mAP相较于基线模型DETR提升了2.8个百分点;相较于主流Faster R-CNN,YOLOv5l模型,改进DETR模型在长尾分布下螺栓缺陷样本少的类别图像上的检测效果提升尤为显著。

基于DETR的高分辨率遥感影像滑坡体识别与检测

滑坡灾害因其极大的破坏性而引起高度重视,如何快速、高精度地自动检测滑坡体成为主要研究问题。针对滑坡体检测数据不足、精度低、检测滑坡体不完全等问题,本文结合卷积神经网络(CNN)和Transformer的优点,以Transformer为主体,采用DETR网络实现滑坡体的自动检测。首先,对于数据集数据不足的问题,采用离线数据增强的方式实现滑坡体数据增广;然后,采用编码器-解码器结构的DETR网络结构对增广数据集进行多尺度训练和预测;最后,对试验结果进行定量评价。试验结果表明,采用DETR网络对滑坡体检测的平均准确率(AP)达0.997,可准确识别和检测滑坡体。此外,试验结果还验证了数据增强可有效提升DETR网络对滑坡体的检测精度。

面向拥挤行人检测的改进DETR算法

拥挤行人检测是行人检测领域的研究热点。针对拥挤行人检测场景中被遮挡目标及小目标行人易产生漏检的问题,提出一种改进DETR目标检测算法。针对拥挤行人场景中遮挡目标特征缺失的问题,采用注意力模型DETR作为基准模型,使模型可以在缺失部分特征的前提下完成目标检测;针对DETR模型对小目标行人检测效果差的问题,引入可变形注意力编码器,使模型可以有效利用含有大量小目标信息的多尺度特征图提升对小目标行人的检测精度;针对ResNet-50骨干网络对重要特征提取及提纯效率较低的问题,采用融合了通道空间注意力模块的改进EfficientNet骨干网络作为特征提取网络,提升模型对重要特征的提取能力以及提纯效率;针对采用注意力检测模块的模型训练效率较低的问题,训练时将Smooth-L1与GIOU结合作为损失函数,使模型可以进一步收敛至更高精度。在Wider-Person拥挤行人检测数据集上的实验结果表明,所提算法领先YOLO-x算法0.039的AP50精度,领先YOLO-v5算法0.015的AP50精度。该算法可以较好地运用于拥挤行人检测任务。

融合点柱网络和DETR的三维复杂道路目标检测

三维目标检测是智能驾驶的关键技术之一,但是存在处理数据量大、预设特征参数多等问题。针对三维特征选择设置与实际的目标特征相关性较差的问题,提出了一种融合点柱网络和DETR的检测方法。首先,利用支柱编码来降低冗余点云的影响,使特征提取的匹配性更强,且提升了计算效率;其次,基于DETR解码器的预测模块,使用多头注意力机制建立全局特征与预测集的关联映射,并行计算出相关性最强的预测结果,避免了人工依赖先验知识介入参数导致的不确定性;最后,在公开数据集上进行了验证,相较于原点柱网络,平均检测精度均值提升了19.14%,FPS提升了3,与其他典型算法相比也有较大的提升。

改进DAB⁃DETR算法的非规则交通对象检测

非规则交通对象主要指任何在车辆行驶过程中可能对车辆行驶起到阻碍作用的物体,例如坑洼、落石、树枝等影响车辆正常驾驶的目标。针对道路中的非规则交通对象检测问题,提出一种基于改进DAB⁃DETR算法的非规则交通对象目标检测算法,经过对原始模型结构的分析,发现在图像特征输入编码器前加入绝对位置编码来弥补图像位置信息的缺失,只能隐式地表达特征间的相对位置信息,因此改进DAB⁃DETR在Transformer的编码结构中的多头自注意力机制中添加了针对图像的相对位置编码;其次发现在原始训练策略中,对得到的检测定位结果与类别信息进行二分匹配并计算损失值时,只是简单地将定位损失和分类损失加权求和,这样会导致性能下降,所以在训练策略中增加了将分类、定位损失集成在一个统一参数化公式中的AP损失函数。实验结果表明:改进DAB⁃DETR算法的检测精度达到了82.00%,比原始模型提高了3.3%,比传统模型Faster R⁃CNN、YOLOv5分别提高了6.20%、7.71%。

DETR的目标检测算法研究综述及展望

目标检测是许多计算机视觉任务的基础和前提,是计算机视觉研究的核心问题。在Transformer之前,目标检测算法大多基于卷积神经网络,随着Transformer在自然语言处理领域的巨大成功,目标检测算法也在Transformer上面做出了尝试,并产生了以DETR为首的许多算法,取得了不错的结果。首先介绍Transformer以及它在计算机视觉中的应用,然后介绍DETR算法及其改进方案,并对DETR算法在目标检测任务未来的发展进行了展望。

基于CNN技术和DETR的智能汽车自动驾驶道路智能识别的研究

文章针对智能汽车自动驾驶道路智能识别的问题,提出了采用DETR模型进行道路智能识别的方法,并对DETR模型进行了改进。在DETR模型基础上,阐述了在道路智能识别复杂问题处理上的不足,针对存在问题,在DETR加入了Swin Transformer模块,提高了道路目标检测性能,同时采用基于多头自注意力机制,实现了道路多目标的高精度识别,达到了模型优化的目的,通过实验与结果分析,将改进后的DETR网络与其他常见的识别算法进行比较,结果表明改进后的DETR网络在准确率、召回率和平均精度均值优于其他模型。

基于改进的DETR的目标检测与测距实现

针对DETR对于小目标检测的效果不够理想问题,提出了基于改进的DETR的目标检测与测距。首先通过目标检测算法(detection transformer, DETR)与立体匹配算法SGBM的结合来实现双目测距,对图像的特征提取进行改进,在原有的Resnet50的基础上加入SeNet,输出4种不同尺度的特征图。然后再利用特征金字塔(feature pyramid networks, FPN)对3种不同尺度的特征图进行特征融合;其次将得到的特征图与位置编码信息结合输入到transformers得到特征序列;最后经过前馈网络(feed-forward networks,FFNS)输出预测目标的类别信息和位置信息,最终在小目标的检测上精度能够提高1.9%。将改进后的DETR与SGBM算法结合,根据双目测距的原理得到目标的真实距离。

面向小目标和遮挡目标检测的脑启发CIRA-DETR全推理方法

Facebook AI研究者2020年提出的Detection Transformer(DETR)目标检测方法采用简单的编码器-解码器结构,利用集合预测来解决物体检测问题,算法简单、通用、避免了很多手工设计和调参问题,吸引了学术界和产业界的广泛关注.然而,DETR方法对于输入特征的分辨率大小有限制,同时在检测推理过程中缺失相对位置信息,从而导致对小目标和被遮挡目标的检测性能较差.为解决这一问题,受脑认知启发,本文提出基于胶囊推理和残差增强的全推理目标检测网络(Capsule-Inferenced and Residual-Augmented Detection Transformers,CIRA_DETR).首先,建立层间残差信息增强模块,利用大小尺度的差异性对小尺度特征图进行信息增强,在小目标的检测效果上提升了1.8%.接着,为了更贴近人脑的思维方式,更好的建模神经网络中内部知识表示的分层关系,在Transformer的结果进行推理的过程中,引入胶囊推理模块挖掘实体信息,并利用双向注意力路由进行前向信息传递和后向信息的反馈,以此预测图像中目标的类别和位置信息,有效降低了遮挡下的目标检测问题的难度.最后,在目标信息的映射处理中,引入非线性超香肠映射函数,实现了灵活的超曲面构建,有效表达特征和目标类别以及位置之间的映射关系.在COCO数据集上的测试结果验证了CIRA_DETR模型的有效性,其在小目标、中目标和大目标的检测上,平均预测准确率分别达到了25.8%、48.7%和62.7%.本文小目标的检测性能可以和Faster-RCNN相媲美,同时可视化的结果以及性能指标也反映了,相比传统的DETR模型,本文CIRA_DETR模型在被遮挡目标检测上的优势.

基于Smooth-DETR的产品表面小尺寸缺陷检测算法

为应对实际工业产品视觉质量检测中缺陷罕见、尺寸小等挑战,提出了一种仅需要少量训练样本的小尺寸缺陷检测算法--Smooth-DETR,该算法采用基于DETR的编码-解码结构对缺陷类别和位置进行预测,该结构降低了参数量和计算复杂度。因DETR强大的全局特征学习能力,该算法可从少量训练样本中充分挖掘产品表面纹理特征,从而对打破了表面纹理连续性的缺陷检出率高;通过结合Smooth-L_(1)损失和GIoU损失的优势,进一步提升了小尺寸缺陷的回归精度。实验结果表明,所提方法检测性能优于现有先进检测模型。此外,仅用少量训练样本,该算法对11类产品表面的缺陷检测平均精确率就能够达到98%以上。

侧扫声纳检测沉船目标的轻量化DETR-YOLO法

基于YOLOv5算法的侧扫声纳海底沉船目标检测方法虽然在检测精度和速度上取得了不错的成绩,但是如何在复杂海洋噪声背景下进一步提高小目标检测的准确性、降低重叠目标漏警和虚警率的同时实现模型的轻量化是一个亟需解决的课题。为此,本文创新融合DETR(end-to-end object detection with transformers)与YOLOv5结构,提出了基于DETR-YOLO模型的轻量化侧扫声纳沉船目标检测模型。首先,加入多尺度特征复融合模块,提高小目标检测能力。然后,融入注意力机制SENet(squeeze-and-excitation networks),强化对重要通道特征的敏感性。最后,采用加权融合框(weighted boxes fusion, WBF)策略,提升检测框的定位精度和置信度。实验结果表明,本文模型在测试集AP_0.5和AP_0.5∶0.95值分别达到84.5%和57.7%,较Transformer和YOLOv5a模型大幅度提高,以较小的效率损失和权重增加为代价取得了更高的检测精度,在提升全场景理解能力和小尺度重叠目标处理能力的同时满足轻量化工程部署需求。