基于Deformable DETR的红外图像目标检测方法研究

基于Transformer架构的DETR系列网络在计算机视觉目标检测领域不断刷新目标检测的精度与速度。然而,基于红外图像的非合作目标检测的应用环境复杂,而且红外图像质量较差。针对该问题,提出了一种新的以Deformable DETR算法为基线的具有高检测精度的目标检测算法:首先设计了对红外图像进行图像增强处理的图像增强模块CLAHE-GB,并将其与Deformable DETR进行有机结合;然后在大型通用数据集上进行预训练;最后引入数据增强和迁移学习方法在自制的空中飞行物小型红外图像数据集中对检测头网络参数进行再训练,并对结果进行分析。结果表明:所提出的算法对红外图像数据具有较好的图像增强效果和检测精度。

面向拥挤行人检测的改进DETR算法

拥挤行人检测是行人检测领域的研究热点。针对拥挤行人检测场景中被遮挡目标及小目标行人易产生漏检的问题,提出一种改进DETR目标检测算法。针对拥挤行人场景中遮挡目标特征缺失的问题,采用注意力模型DETR作为基准模型,使模型可以在缺失部分特征的前提下完成目标检测;针对DETR模型对小目标行人检测效果差的问题,引入可变形注意力编码器,使模型可以有效利用含有大量小目标信息的多尺度特征图提升对小目标行人的检测精度;针对ResNet-50骨干网络对重要特征提取及提纯效率较低的问题,采用融合了通道空间注意力模块的改进EfficientNet骨干网络作为特征提取网络,提升模型对重要特征的提取能力以及提纯效率;针对采用注意力检测模块的模型训练效率较低的问题,训练时将Smooth-L1与GIOU结合作为损失函数,使模型可以进一步收敛至更高精度。在Wider-Person拥挤行人检测数据集上的实验结果表明,所提算法领先YOLO-x算法0.039的AP50精度,领先YOLO-v5算法0.015的AP50精度。该算法可以较好地运用于拥挤行人检测任务。

改进DAB⁃DETR算法的非规则交通对象检测

非规则交通对象主要指任何在车辆行驶过程中可能对车辆行驶起到阻碍作用的物体,例如坑洼、落石、树枝等影响车辆正常驾驶的目标。针对道路中的非规则交通对象检测问题,提出一种基于改进DAB⁃DETR算法的非规则交通对象目标检测算法,经过对原始模型结构的分析,发现在图像特征输入编码器前加入绝对位置编码来弥补图像位置信息的缺失,只能隐式地表达特征间的相对位置信息,因此改进DAB⁃DETR在Transformer的编码结构中的多头自注意力机制中添加了针对图像的相对位置编码;其次发现在原始训练策略中,对得到的检测定位结果与类别信息进行二分匹配并计算损失值时,只是简单地将定位损失和分类损失加权求和,这样会导致性能下降,所以在训练策略中增加了将分类、定位损失集成在一个统一参数化公式中的AP损失函数。实验结果表明:改进DAB⁃DETR算法的检测精度达到了82.00%,比原始模型提高了3.3%,比传统模型Faster R⁃CNN、YOLOv5分别提高了6.20%、7.71%。

基于多模态的输送带撕裂大模型算法设计

AI矿山大模型是一种基于人工智能的矿山智能化解决方案,利用大数据、深度学习、机器学习等技术,可以帮助矿山企业提高生产效率和安全性。在输送带撕裂检测方面,基于AI矿山大模型设计了基于Transformer处理多模态数据的一种网络结构,提出了DETR-Audio模型,将视频和音频的多模态数据拼接、融合,采用DERT模型对视频进行编码,利用短时傅里叶变换对音频信号进行时频谱分析,再对两者的特征向量进行拼接、融合,最后传入解码器进行融合解码。该模型经过3 000张煤矿矿井下输送带的图片以及相应的音频数据训练和测试后,表现良好,比单独使用视频或音频信息的模型具有更高的检测准确度和鲁棒性。

融合优化特征提取结构的目标检测算法

针对DETR对小目标的检测精度低的问题,基于DETR提出一种优化特征提取结构的目标检测算法——CF⁃DETR。首先通过结合了优化跨阶段部分(CSP)网络的CSP⁃Darknet53对原始图进行特征提取并输出4种尺度的特征图;其次利用特征金字塔网络(FPN)对4种尺度特征图进行下采样和上采样后进行拼接融合,并输出52×52尺寸的特征图;最后将该特征图与位置编码信息结合输入Transformer后得到特征序列,输入到作为预测头的前向反馈网络后输出预测目标的类别与位置信息。在COCO2017数据集上,与DETR相比,CF⁃DETR的模型的超参数量减少了2×10^(6),在小目标上的平均检测精度提高2.1个百分点,在中、大尺寸目标上的平均检测精度提高了2.3个百分点。实验结果表明,优化特征提取结构能够在降低模型超参数量的同时有效提高DETR的检测精度。