基于注意力与密集重参数化的目标检测算法

针对目标检测任务中背景复杂、目标尺寸差异大等因素导致目标检测结果较差的问题,本文提出基于注意力和密集重参数化的目标检测算法。首先,基于CSP-DarkNet提出高效的特征提取网络,主要包括密集重参数化模块和CASA模块2个设计。前者利用密集连接保留浅层特征,又通过重参数化结构降低网络复杂度;后者CASA模块用于获取需要的目标信息。其次,特征融合在特征金字塔(FPN)和路径聚合网络(PAN)的基础上,引入内容感知特征重组(CARAFE)进行上采样,有效解决了邻近插值法等未能捕捉丰富语义信息的问题;提出更高效的C3-G模块,获取丰富的梯度信息,增强模型表达能力和感知能力;同时,引入深度可分离卷积提升运算效率。最后,检测输出采用在更大范围上跨领域正负样本匹配策略扩充正样本数量,提升检测效果。该算法在MS COCO和PASCAL VOC数据集上的mAP@0.5分别达到了57.5%和83.0%,充分说明了本文算法的先进性。

联合结构重参数和YOLOv5的航拍红外目标检测

无人机进行红外航拍目标检测在交通、农业和军事等方面有着广泛应用。该领域的主要挑战有目标较小、相互遮挡、非刚体形变大以及红外成像纹理信息少、边缘特征弱等。针对以上问题,基于YOLOv5和结构重参数化优化思想,提出了一种针对航拍场景的目标检测模型Rep-YOLO。首先,在主干网络中引入RepVGG模块,提升模型特征提取能力;在模型推理时对RepVGG模块的多分支进行结构重参数化,减少网络分支和结构复杂度。其次,结合数据特征,改进检测网络颈部的路径聚合网络,提升检测算法在机载平台的精度-速度均衡能力。最后,在两个公开红外数据集进行对比实验,表明该算法的有效性。以南航ComNet航拍数据集为例,统计结果显示主要检测指标各类平均精度(mean Average Precision,mAP)提升5.9%,同时参数量和模型大小分别减少约29.7%和23.2%。另外,对Rep-YOLO在典型机载平台Jetson Nano上进行了模型部署验证,为航拍场景的检测算法改进和实际应用提供了可靠的技术支撑。

轻量级重参数化的遥感图像超分辨率重建网络设计

针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高,本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先,采用重参数化方法设计了一种残差局部特征模块,以有效地提取图像局部特征;同时考虑到图像内部出现的相似特征,设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力,并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能;最后,在上采样模块前使用多层特征融合模块聚合所有的深度特征,以产生更全面的特征表示。在UC Merced遥感数据集上进行测试,该算法在遥感图像3倍超分辨率下的参数量为539 K,峰值信噪比为30.01 dB,结构相似性为0.8449,模型的推理时间为0.010 s;而HSENet算法的参数量为5470 K,峰值信噪比为30.00 dB,结构相似性为0.8420,模型的推理时间为0.059 s。实验结果表明,该算法相比HSENet算法,参数量更少,运行速度较快,且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试,该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势,表明该算法的泛化能力较强。

基于多分支和重参数化的孪生网络跟踪算法

针对孪生网络对尺度变化目标特征表达能力不足的问题,本文使用不同尺寸的卷积、池化分支和剪枝操作构成多分支结构,以提高特征的鲁棒性并保证孪生网络的平移不变性。针对多分支结构带来参数量过多的问题,本文在跟踪阶段将多分支结构重参数化为单一的卷积,有效减少跟踪阶段时间成本。实验结果表明:本文提出的算法相比于SiamFC,在OTB100数据集上,其精度、成功率和跟踪速度分别提高了5.1%、3%、30FPS,在UAV123和Temple-Color-128数据集上跟踪精度和成功率均有所提高。

基于重参数化注意力的无人机航拍目标检测方法

针对无人机航拍图像目标尺度变化大、目标与背景相互干扰所导致的误检、漏检问题,提出一种基于重参数化注意力的目标检测方法,并将其应用于无人机航拍目标检测。首先,通过提出重参数化坐标注意力模块来增强相关特征,提升网络对上下文信息的捕捉能力;其次,设计多尺度感受野增强模块来重构骨干网络,从而增强特征图的接受域,提升网络的特征提取能力;接着,提出四尺度特征融合检测网络,提升网络对小目标的检测能力;最后,引入解耦检测头来解决分类与回归任务之间的冲突。在VisDrone2021数据集上进行实验,所提方法的mAP0.5相比原算法提高了7.6个百分点,召回率提升了5.5个百分点,与其他方法相比也具有明显优势。实验结果证明,改进方法能够较好地解决上述误检、漏检问题,具有良好的检测效果。

基于重参数化YOLOv5的输电线路缺陷边缘智能检测方法

电力智能巡检与边缘计算相结合,对电力物联网和透明电网的建设具有重要作用。然而,边缘设备的低算力导致检测算法在边缘端推理速度慢,边缘设备的低内存也限制了目标检测模型的空间占用。针对以上问题,提出了一种基于重参数化YOLOv5的输电线路缺陷边缘智能检测方法。首先,利用R-D模块和重参数化空间金字塔池化(spatial pyramid pooling,SPP)对YOLOv5网络进行改进,通过重参数化加快模型的推理速度,得到重参数化YOLOv5模型。其次,利用ResRep剪枝方法对模型进行通道剪枝,减小模型空间占用。最后,将模型部署至NVIDIA Jetson Xavier NX边缘平台,并利用C++语言结合TensorRT图优化对模型进行优化加速,进一步减小推理时延,减少模型占用空间。实验结果表明:相较于原版YOLOv5,该文提出的方法推理速度提升至5倍,空间占用减小至41%,同时精度提升了2.4%,显著提高了输电线路边缘智能巡检的效率。

重参数化YOLOv5s的森林火灾检测算法

目前森林火灾多发,建立日常监测尤为重要,但是边缘智能检测设备算力和内存较低,限制了检测模型的推理和部署。针对以上问题,提出一种改进的重参数化YOLOv5s的森林火灾检测算法,结合重参数化、通道重排和深度可分离卷积(Depthwise Separable Convolution,DSC)等轻量化思想分别设计新的骨干和颈部网络,增强特征提取能力,提高模型检测精度,使参数量和推理权重较大幅度减少。为避免颈部网络的信息丢失,根据空洞卷积提出特征增强模块,增强多尺度特征融合能力。为进一步提高模型性能,加入轻量化的CA注意力机制,更准确定位目标。当前公开的火焰烟雾数据集存在针对性不强的问题,为了更好地提高模型的检测效率,制作了一个新的森林火灾数据集,在数据集上利用结构相似性算法剔除了相似度过高的图片,保证了模型的泛化能力。实验结果表明,改进后的重参数化YOLOv5s以原网络约76%的参数量提高了4.0%的精确度,推理权重下降至10.5 MB,更适合于设备性能差、容量小的边缘设备,提高了森林火灾巡检的效率。

融合结构重参数化变换的气体泄漏红外检测

针对常规工业气体泄漏检测装置需泄漏扩散到一定范围并与传感器接触时才能响应的不足,提出一种融合结构重参数化变换的红外非接触式检测网络模型GRNet。GRNet模型采用Mosaic-Gamma变换的预处理方法增加泄漏样本数量并提高图像对比度以增强模型的鲁棒性;通过K-means聚类分析出适用于气体泄漏红外检测的候选框以预置模型参数;优化定位损失函数以提高模型对泄漏区域的定位准确性;采用改进后的轻量化网络RepVGG模块重构特征提取网络增强模型的特征提取能力,以实现轻量化并提高检测精度。实验结果表明,GRNet模型对氨气泄漏的平均检测精度达到94.90%,单张图像平均检测时间达到3.40 ms。采用伪色彩映射实现泄漏浓度的视觉感知效果,采用PyQt5将GRNet模型进行封装实现气体泄漏红外检测系统界面的可视化并在Jetson Nano B01嵌入式实验平台部署该模型,验证了实际工程应用的可行性和有效性,为开发气体泄漏非接触探测装置以保障涉气企业的安全生产和稳定运行提供一种有效的检测算法。

基于重参数化和联合分支的城市地下管道缺陷检测

城市地下管道是城市重要的基础设施之一,及时排查管道缺陷对城市的发展起着较为重要的作用,针对目前的管道缺陷检测模型参数量大、实时性较差等问题,提出一种改进的FCOS城市地下管道缺陷检测方法.首先,引入轻量的MobileOne网络,通过结构重参数化将多分支网络转换为单分支网络,减小模型规模;然后引入分类和IoU的联合分支使模型的训练和推理过程保持一致,并利用平衡因子优化QFL损失函数,提升模型分类预测效果.实验结果表明:改进后的FCOS模型相比于基线模型的平均精度提升1.83%,检测速度FPS达到48.6,模型参数量下降17.85 M,有效提升了城市地下管道缺陷检测性能,并且相比于其他优秀的目标检测算法,也具有一定的优势.

TriCh-LKRepNet:融合三通道映射与结构重参数化的大核卷积恶意代码分类网络

随着网络威胁的日益严峻,恶意代码的检测与分类变得尤为关键.传统分析方法依赖手动特征提取,不仅耗时且难以跟上恶意代码的快速变异.相比之下,深度学习技术在恶意代码分类方面展现出巨大潜力.然而,模型复杂度和资源消耗仍是实际部署的难题.本研究提出了TriCh-LKRepNet(Triple-Channel Large Kernel Reparameterisation Network),该网络专注于轻量化设计,旨在确保检测性能的同时降低计算和内存需求.通过提出的三通道映射技术,将恶意代码的多维信息有效转换为图像通道,增强了特征的区分性.结合卷积神经网络(Convolutional Neural Networks,CNN)和Transformer的优势,设计了一个高效的深度学习架构,并通过重参数化技术优化了连接路径,以降低内存消耗并提升运行效率.此外,引入的线性训练时间过参数化和大卷积核技术进一步降低了模型的参数量和计算负担.通过实验证明,TriCh-LKRepNet在提升恶意代码分类精度的同时实现了模型的轻量化,与现有技术相比,展现出更佳的性能和更广泛的应用潜力,特别是在资源受限和需要实时检测的环境中,提供了一种有效的解决方案.

重参数化YOLOv8路面病害检测算法

路面病害检测是保障人民交通安全的重要方式,为了提高路面病害检测的准确率,实现及时、精准的路面病害检测,提出了一种重参数化YOLOv8路面病害检测算法。在主干网络引入CNX2f模块,提高网络对路面病害特征的提取能力,有效解决路面病害特征与背景环境特征易混淆问题;引入RepConv和DBB重参数化模块,增强多尺度特征融合能力,解决路面病害尺度差异较大问题;改进头部采用共享参数结构,并引入RBB重参数模块,解决头部参数冗余问题,并提高特征提取能力;引入SPPF_Avg模块,解决路面病害特征丢失问题,丰富多尺度特征表达。实验结果表明,改进后的路面病害检测网络精度为73.3%、召回率为62.3%、mAP为69.3%,较YOLOv8网络分别提高了2.6、3.0、2.8个百分点,提高了模型的检测效果。

基于结构重参数化的遥感影像超分轻量化重建方法

遥感影像成像过程中各种因素导致获取的影像分辨率较低进而难以达到预期观测效果,需要借助超分辨率重建技术实现质量增强。然而,大多数遥感影像超分辨率重建算法集中于提升超分网络模型的性能,忽略推理速度对超分辨率重建算法同样重要。文章设计了一种基于结构重参数化的遥感影像超分轻量化重建方法,在推理时通过参数等价转换减少模型参数和浮点运算数,从而实现更快的推理速度。采用AID与NWPU-RESISC45遥感数据集进行实验,根据典型评估指标峰值信噪比和结构相似性,将本文提出的ECBASR方法与经典的超分重建方法进行对比。实验结果表明,ECBASR取得了良好的重建性能,大幅减少了运行占用内存,加快了推理速度。

Re-YOLOv5:一种基于结构重参数化的钢材缺陷检测方法

钢材在生产的过程中很容易产生裂纹、斑点等缺陷,而目前对于所产生缺陷的检测技术还不是很成熟。为了实现对工业钢材生产过程中所产生的钢材缺陷进行实时鲁棒检测,以YOLOv5为基础,引入了结构重参数化方法,建立了Re-YOLOv5工业钢材缺陷检测模型。在该模型中,将YOLOv5的Neck层与Head层合并为Head层,用作预测,并且加入RepVGG模块和卷积层,输出预测结果。Backbone用作特征提取,可以在改善模型推理速度的同时提高检测准确率。同时,采用改进后的空间金字塔池化模块SPP^(*)对候选框进行分类和修正,以获取多尺度特征信息,并引入了有助于模型加深的CCBL模块。在公开的NEU-DET钢材缺陷图片数据集上进行测试,提出的模型的检测精度可达77.8%,与基线模型YOLOv5s相比,实现了6%的精度提升,且单幅图片的推理时间仅为8.9 ms,满足工业生产实时性需求。此外,该模型所占内存较小,便于部署到工业设备中。

基于结构重参数化的权重嵌套式教师-学生网络

教师-学生网络在知识蒸馏、知识扩展、域自适应以及多任务学习等领域的应用中均已取得显著成果且成为重要的框架或范式。在不同的应用场景中,教师-学生网络拥有不同的优化方向。本文针对半监督应用场景下的知识扩展任务提出了一种权重嵌套式教师-学生网络模型。该模型借鉴结构重参数化方法,将学生网络设计为结构重参数化网络,并进一步以其主干分支作为教师网络,实现教师网络和学生网络的嵌套。由于教师网络和学生网络的主干分支共享权重,因此本文所提出的框架可以大幅地缩减传统教师-学生网络模型的参数量以及对显存的要求。为了验证本文提出的框架在半监督设定下的有效性,我们在Food-101数据集上进行了对比实验。实验结果表明嵌套式的教师-学生网络在模型参数量和显存占用量减少超过40%的条件下,实现了在多种标注比例下均取得略高于传统教师-学生网络模型的性能。

基于重参数化的超分辨率重建

针对现有单图像超分辨率重建(Single Image Super-resolution,SISR)模型存在速度和精度的矛盾,论文给出了一种重参数化(Re-parameterization)的轻量模型用于实现图像重建。该模型训练时通过使用结构较复杂的模型保证精度,推理时通过模型等效变换为简单的卷积以提高速度。同时多监督结构的加入让模型收敛更快且更为灵活。通过峰值信噪比和结构相似度对重建模型的质量和效率进行了评估。验证了所提模型在现有超分辨率重建方法中兼具了轻量和重建质量良好的优点。

重参数化增强的双模态实时目标检测模型

无人机高空航拍的目标普遍尺寸小、特征弱,而且受复杂天候条件影响大,导致基于可见光或红外单模态图像的目标检测漏检、误检率较高。对此,提出了重参数化增强的双模态实时目标检测模型DM-YOLO。首先,采用通道拼接的方法融合可见光和红外图像,以极低的成本融合双模态图像的互补信息。其次,提出更加高效的重参数化模块并基于此构建了更加强大的骨干网RepCSPDarkNet,有效增强了骨干网对双模态图像的特征提取能力。然后,提出了多层次特征融合模块,通过多感受野卷积和注意力机制融合弱小目标的多尺度特征信息,增强了弱小目标的多尺度特征表示。最后,删除了对弱小目标检测基本不起作用的特征金字塔深层检测层,在检测精度保持不变的情况下,减小了模型规模。实验结果表明,在大规模的双模态图像数据集DroneVehicle上,DM-YOLO的检测精度比基准YOLOv5s高出2.45%,且优于规模相当的YOLOv6和YOLOv7模型,有效提高了复杂光照条件下目标检测的准确性和鲁棒性,同时检测速度达到82 FPS,可满足实时检测的需求。

基于坐标注意力的重参数化红外与可见光图像融合网络

针对现有大多数基于深度网络的图像融合方法网络架构复杂、计算成本高,且没有充分考虑多模态图像的固有特性进而难以实现跨模态特征的丰富交互两个问题,提出一种基于坐标注意力机制的重参数化红外与可见光图像融合网络.该网络引入重参数化技巧,并结合残差学习进行特征提取,以在保证融合质量的同时提高计算效率.其次,为增强跨模态特征间的交互性、充分利用多模态图像信息,构建基于坐标注意力的融合模块以生成融合特征.最后,考虑到特征提取过程中可能伴随的信息丢失,设计融合特征增强模块,以利用浅、中层特征进行信息补偿.实验表明,本文方法不仅具有更为低廉的计算成本,且在保证良好视觉效果的同时,实现多个客观评价指标的提升.

基于热重参数、氨基酸和微量元素等3种不同产地桂皮多指标分析

选择不同产地的桂皮为研究对象,测定3个产地桂皮的燃烧热、燃烧稳定性、脂肪、粗纤维、灰分、微量元素、氨基酸。结果表明,3种产地桂皮燃烧热值在54.6~33 771.9 J/g之间,顺序为:广西梧州岑溪>广东佛山顺德区>云南昆明官渡区。3种产地桂皮的F值分别为-0.509 534,-0.338 981,0.848 518,燃烧热稳定性排序:云南昆明官渡区>广东佛山顺德区>广西梧州岑溪。3种产地桂皮脂肪质量分数在0.9%~1.4%之间,平均值是1.219 67%,质量分数大小顺序:云南昆明官渡区>广东佛山顺德区>广西梧州岑溪;3种产地桂皮灰分质量分数在2.1%~2.8%之间,平均值是2.467 0%,粗纤维质量分数大小顺序:云南昆明官渡区>广西梧州岑溪>广东佛山顺德区;3种产地桂皮粗纤维质量分数在25.9%~32.1%,平均值为29.750 5%,含量大小:广西梧州岑溪>广东佛山顺德区>云南昆明官渡区。燃烧热,热重分析,脂肪含量,灰分,粗纤维、微量元素、氨基酸含量多指标顺序:云南昆明官渡区>广东佛山顺德区>广西梧州岑溪。本研究建立3个产地桂皮的多指标分析及评价为题,为大规模开发桂皮资源及桂皮品质研究提供有利地科学依据。

采用重参数网络的Transformer目标跟踪

针对目前基于Siamese结构的目标跟踪计算量大且不能实现模板与搜索区域间充分信息交融的问题,提出基于重参数网络的Transformer目标跟踪算法.首先采用重参数法降低跟踪过程中骨干网络计算量,训练时采用多分支并行结构,测试跟踪过程中使用重参数法将多分支并行结构重构成单分支串行结构;然后对骨干网络提取的模板特征图和搜索区域特征图使用Transformer结构进行自注意力加强,通过交叉注意力层实现像素级信息交融;最后将完成充分交融的信息映射到分类分支、中心度估计分支与边框回归分支,其中,边框回归分支采用最新的CIoU-Loss进行训练,使得跟踪算法精确度更高,具有更强鲁棒性的同时满足实时性.实验结果表明,所提算法在大规模基准数据集GOT-10k上平均重叠率为0.606,超越SiamFC++算法0.011;在大规模数据集LaSOT上,成功率、归一化精确度、精确度分别达到0.554,0.659和0.581,比SiamFC++算法提高了0.010,0.036和0.034.

融合重参数化和注意力机制的猪脸关键点检测方法

面部对齐是猪脸识别中至关重要的步骤,而实现面部对齐的必要前提是对面部关键点的精准检测。生猪易动且面部姿态多变,导致猪脸关键点提取不准确,且目前没有准确快捷的猪脸关键点检测方法。针对上述问题,该研究提出了生猪面部关键点精准检测模型YOLO-MOB-DFC,将人脸关键点检测模型YOLOv5Face进行改进并用于猪脸关键点检测。首先,使用重参数化的MobileOne作为骨干网络降低了模型参数量;然后,融合解耦全连接注意力模块捕捉远距离空间位置像素之间的依赖性,使模型能够更多地关注猪面部区域,提升模型的检测性能;最后,采用轻量级上采样算子CARAFE充分感知邻域内聚合的上下文信息,使关键点提取更加准确。结合自建的猪脸数据集进行模型测试,结果表明,YOLO-MOB-DFC的猪脸检测平均精度达到99.0%,检测速度为153帧/s,关键点的标准化平均误差为2.344%。相比RetinaFace模型,平均精度提升了5.43%,模型参数量降低了78.59%,帧率提升了91.25%,标准化平均误差降低了2.774%;相较于YOLOv5s-Face模型,平均精度提高了2.48%,模型参数量降低了18.29%,标准化平均误差降低了0.567%。该文提出的YOLO-MOB-DFC模型参数量较少,连续帧间的标准化平均误差波动更加稳定,削弱了猪脸姿态多变对关键点检测准确性的影响,同时具有较高的检测精度和检测效率,能够满足猪脸数据准确、快速采集的需求,为高质量猪脸开集识别数据集的构建以及非侵入式生猪身份智能识别奠定基础。