OFP-VTON:基于感受野模块的原有特征保持虚拟试衣网络

基于计算机视觉的虚拟试衣(virtual try-on,VITON)技术是指将试穿服装按照模特图像特征进行扭曲并合成到模特图像中,以替换原有服装部分。当前的虚拟试衣技术主要存在两个问题:保留模特图像头部、下装和背景等原有特征不足;扭曲后的试穿服装与模特图像匹配度不高。针对这两个问题,提出一种原有特征保持虚拟试衣网络(original feature preserving virtual try-on network,OFP-VTON),由语义分割图生成、试穿服装扭曲和试穿图像合成三部分组成。在试穿服装扭曲阶段通过使网络学习模特图像中所穿服装的扭曲映射,以更好地约束试穿服装扭曲;在试穿图像合成阶段提取并保留模特图像原有特征,并引入感受野模块(receptive field block,RFB)以尽可能保留试穿服装特征。在公开的VITON数据集上的定性与定量实验表明,OFP-VTON能更好地保留原有特征,扭曲后的试穿服装与模特图像匹配度高。

基于有效感受野和注意力融合机制的脑肿瘤全自动分割

深度学习在医学图像分割领域取得了显著成果,但其在脑肿瘤分割任务中,仍面临感受野不足、冗余信息过多、信息丢失等问题;为此,本研究提出一种基于编-解码结构的脑肿瘤分割网络模型(EAU-Net)。EAU-Net采用有效感受野拓展模块和注意力融合模块改善脑肿瘤分割网络感受野不足与冗余信息过多带来的不利影响;同时,引入基于倒残差结构的瓶颈重采样模块,有效避免上下采样时造成的信息损失,并采用深度卷积降低网络的计算量。在BraTS2020数据集上的实验结果表明,EAU-Net获得最优的分割精度,验证了其在脑肿瘤分割任务中的可行性和有效性。

基于感受野模块的绝缘子实时识别定位方法

针对使用无人机进行绝缘子识别实时性的要求,以感受野模块(RFB)网络为基础,提出了一种基于RFB模型改进的轻量型架构。使用MobileNetV3网络作为特征提取主干,设计了新的感受野模块RFB-X,并使用Focal-loss损失函数解决正负样本不平衡问题。实验结果表明,该模型提高了绝缘子的检测速度和准确率。

基于模型压缩与感受野增强的下茧实时检测

针对目前选茧时下茧检测主要依赖人工目测,工作效率低的问题,提出一种基于锚点框参数预置、通道剪枝和嵌入感受野模块改进的轻量化下茧实时检测模型。首先,通过K-means聚类分析出适用于下茧检测的锚点框以预置YOLOv3模型参数;然后,根据预设的剪枝率对稀疏化训练后的模型进行基于批量正则化层缩放因子的模型剪枝,以此压缩模型的大小;最后,在剪枝后的模型中嵌入感受野模块,使模型的感受野变大,增强模型的辨别能力和鲁棒性。实验结果表明:提出的下茧实时检测模型大小为46.90 M,平均检测速度达到50.18帧/s,平均检测精度为96.80%,较原YOLOv3模型参数压缩了79.96%,平均检测速度提高了60.63%,平均检测精度提高了3.20%。

多路感受野引导的特征金字塔小目标检测方法

小目标检测存在不可同时获得足够的语义信息和丰富的细节信息的问题,容易出现漏检和误检。提出一种多路感受野引导的特征金字塔(MRFgFPN)小目标检测方法,首先设计了由三条空洞卷积支路和原图直连组成的多路扩大感受野模块,可同时保留细节信息和扩大特征图的感受野;然后将多路扩大感受野模块加入骨干网络和特征金字塔之间,以引导网络获得不同感受野的上下文信息;最后将经过多路扩大感受野模块获得的特征图与骨干网络对应层特征图相加后形成输出特征图,可同时获取足够的语义信息和丰富的细节信息。实验结果表明,在FasterR-CNN和CascadeR-CNN算法框架下,所提出的方法在交并比(IoU)为0.5时的平均检测精度可达到90.3%和90.1%,优于目前主流的检测方法。

基于改进YOLOv5的遥感图像目标检测

目前目标检测技术虽然已经趋于成熟,但是对遥感图像的检测仍存在不少挑战。针对遥感图像的背景复杂、目标尺度差异大、目标方向任意等特点造成目标检测精度低下的问题,提出一种基于改进YOLOv5的遥感图像目标检测算法。首先,构建一种联合注意力的多尺度特征增强网络,充分融合高低层特征,使特征层具有语义信息的同时包含丰富的细节信息,并在融合过程中利用设计的特征聚焦模块帮助模型选择关键特征,抑制无关信息。其次,使用感受野模块(RFB)对融合后的特征图进行更新,扩大特征图的感受野,减少特征信息损失。最后,对目标增加旋转角度,并采用圆形平滑标签将回归问题转化成分类问题,提高遥感目标定位的准确性。在用于航拍图像目标检测的大规模数据集(DOTA)上的实验结果表明,与YOLOv5算法相比,所提算法的交并比(Io U)为0.5和0.5~0.95时的平均精度均值(m AP@0.5和m AP@0.5∶0.95)分别提高了7.3和3.3个百分点,能够明显提高复杂背景下遥感图像目标的检测精度,并改善对遥感目标的漏检和误检情况。

基于改进YOLOv5s的面向自动驾驶场景的道路目标检测算法

在复杂道路场景中检测车辆、行人、自行车等目标时,存在因多尺度目标及部分遮挡易造成漏检及误检等情况,提出一种基于改进YOLOv5s的面向自动驾驶场景的道路目标检测算法。首先,利用深度可分离卷积替换部分普通卷积,减少模型的参数量以提升检测速度。其次,在特征融合网络中引入基于感受野模块(receptive field block,RFB)改进的RFB-s,通过模仿人类视觉感知,增强特征图的有效感受野区域,提高网络特征表达能力及对目标特征的可辨识性。最后,使用自适应空间特征融合(adaptively spatial feature fusion,ASFF)方式以提升PANet对多尺度特征融合的效果。实验结果表明,在PASCAL VOC数据集上,所提算法检测平均精度均值相较于YOLOv5s提高1.71个百分点,达到84.01%,在满足自动驾驶汽车实时性要求的前提下,在一定程度上减少目标检测时的误检及漏检情况,有效提升模型在复杂驾驶场景下的检测性能。

基于多尺度特征融合的绝缘子缺陷程度检测

针对绝缘子不同程度缺陷特征相似、像素信息少、不同程度缺陷检测效果不佳的问题,提出了一种基于多尺度特征融合的绝缘子缺陷程度检测网络(multi-scale feature fusion defect degree detection network,MFFD3Net)。该网络采用重构的ResNeSt50架构提高了对绝缘子缺陷程度数据集的特征提取能力。设计了基于反卷积的多尺度特征融合模块,丰富了不同尺寸特征图的表达能力,提高了对不同尺度目标的检测性能。同时,在输入检测模块的浅层特征图后增加多感受野的特征提取模块(receptive field block,RFB),使得更多绝缘子缺陷信息进入有效感受野,对最终特征图产生影响,提升不同程度绝缘子缺陷的检测精度。MFFD3Net在绝缘子缺陷程度数据集上的全类平均精度达到85.02%,其中绝缘子轻微破损与绝缘子轻微闪络小目标的检测精度分别为78.37%、79.98%,能够完成不同程度绝缘子缺陷的识别与定位。因此,该文提出的MFFD3Net对于完善电力系统故障预警、保障电网安全稳定运行具有重要意义。

基于改进U^(2)-Net网络的金属涂层剥落与腐蚀图像分割方法

针对金属涂层缺陷图像分割中存在特征提取能力弱和分割精度低的问题,提出了一种改进的U^(2)-Net分割模型。首先,在U型残差块(RSU)中嵌入改进的增大感受野模块(receptive field block light,RFB_l),组成新的特征提取层,增强对细节特征的学习能力,解决了网络由于感受野受限造成分割精度低的问题;其次,在U^(2)-Net分割模型的解码阶段引入有效的边缘增强注意力机制(contour enhanced attention,CEA),抑制网络中的冗余特征,获取具有详细位置信息的特征注意力图,增强了边界与背景信息的差异性,从而达到更精确的分割效果。实验结果表明,该模型在两个金属涂层剥落与腐蚀数据集上的平均交并比、准确率、查准率、召回率和F_1-measure分别达到80.36%、96.29%、87.43%、84.61%和86.00%,相比于常用的SegNet、U-Net以及U^(2)-Net分割网络的性能都有较大提升。

一种基于SAM-MSFF网络的低照度目标检测方法

由于低照度图像具有对比度低、细节丢失严重、噪声大等缺点,现有的目标检测算法对低照度图像的检测效果不理想.为此,本文提出一种结合空间感知注意力机制和多尺度特征融合(Spatial-aware Attention Mechanism and Multi-Scale Feature Fusion,SAM-MSFF)的低照度目标检测方法 .该方法首先通过多尺度交互内存金字塔融合多尺度特征,增强低照度图像特征中的有效信息,并设置内存向量存储样本的特征,捕获样本之间的潜在关联性;然后,引入空间感知注意力机制获取特征在空间域的长距离上下文信息和局部信息,从而增强低照度图像中的目标特征,抑制背景信息和噪声的干扰;最后,利用多感受野增强模块扩张特征的感受野,对具有不同感受野的特征进行分组重加权计算,使检测网络根据输入的多尺度信息自适应地调整感受野的大小.在ExDark数据集上进行实验,本文方法的平均精度(mean Average Precision,mAP)达到77.04%,比现有的主流目标检测方法提高2.6%~14.34%.

基于改进SSD模型的柑橘叶片病害轻量化检测模型

针对当前目标检测算法存在模型占比大,对柑橘叶片病害检测速度较慢、精度较低等问题,提出了一种基于改进SSD(single shot multibox detector)的柑橘叶片病害轻量化检测方法。引入了轻量化卷积神经网络MobileNetV2作为SSD网络的骨架,以减小模型规模、提高检测速度。引入感受野模块(receptive field block,RFB)来扩大浅层特征感受野,以提高模型对小目标的检测效果。并引入CA(coordinate attention)注意力机制,以强化不同深度的特征信息,进一步提升柑橘叶片病害的识别精度。结果表明,与VGG16-SSD相比,改进模型(MR-CA-SSD)在柑橘叶片病害检测上平均精度均值(mAP)提升4.4百分点,模型占比减小52.3 MB,每秒检测帧数提升3.15。MR-CA-SSD综合性能也优于YOLOv4、CenterNet、Efficientnet-YoloV3等模型。该改进模型可实现对柑橘叶片病害的快速准确诊断,有助于对病害部位及时精准施药。

基于改进YOLOv5s的车载人员安全带行为检测

车载人员佩戴安全带行为的检测对于人的生命安全保障具有重要作用;针对目前车内复杂环境下车载人员佩戴安全带检测精度不高的问题,提出一种基于改进的YOLOv5s车载人员佩戴安全带的检测方法;该检测方法将YOLOv5s作为基础网络,在此基础上进行改进;为改善深度模型对特征信息的提取能力,采用RFB模块增大网络的感受野,并利用RFB模块多分支结构获得混合的感受野;加入ECA注意力通道模块,使得整个网络更加专注特征信息的提取;将原YOLOv5s的损失函数替换为EIOU,进一步提高网络对安全带的检测精度;经过实验结果表明,改进后网络与原YOLOv5s网络相比,其平均精度均值mAP提高了2.2%,查准率提升了5.1%;改进后的网络具有良好的提升效果,表明了该方法的有效性。

改进YOLOv8的航拍小目标检测方法:CRP-YOLO

无人机航拍目标检测是近些年研究的热点,由于无人机航拍视角下的小目标图像及被遮挡情况严重,导致出现漏检、误检等问题。针对以上问题,提出了一种改进YOLOv8的航拍小目标检测方法:CRP-YOLO。为提升颈部网络PANet的特征提取能力,提出一种多分支部分空洞卷积结构,将RFB模块与PConv结合改进颈部网络的特征融合方式,增大颈部网络的感受野;在主干网络SPPF层前的C2f中引入CoT(contextual Transformer)结构改进Bottleneck块,利用全局上下文信息,提升网络特征提取能力;在检测层增加一个尺寸为160×160的小目标检测头,提高对小目标的检测能力。在公开数据集VisDrone2019上进行实验,结果表明,相较于基线模型YOLOv8s,CRP-YOLO在mAP@0.5上提升3.8个百分点,mAP@0.5:0.95提升1.7个百分点,参数量降低1.5 MB,与其他主流目标检测方法相比也得到较好的检测性能。

基于增强特征提取的森林遥感图像行人小目标检测网络

林业作业人员常常由于复杂地貌而面对坠落、森林火灾等威胁,卷积神经网络结合无人机巡查的方法已经成为主流防范、搜救措施,但遥感图片中的行人小目标有特征少、定位精度要求高以及极易受背景信息干扰的特点。为了能够使森林遥感图片行人小目标检测的精度达到预期,在YOLOv4方法的基础上针对上述特点设计了增强特征提取的目标检测网络(EFEN),通过构建感受野增强模块(RFBA)并结合CBAM注意力机制,在充分利用遥感图片中的丰富上下文信息之余,对相关信息进行动态选择,增强特征的表示能力;基于高斯分布思想,将归一化Wasserstein距离与CIOU结合,提出了一种新的损失函数(GKCLOSS),降低了小目标检测任务中对位置偏差的敏感性;引入一种自适应分割训练检测策略,平衡正负样本,提高目标检测的准确性,进一步提高了检测精度。以河北省张家口市崇礼区采集的无人机行人图像为研究对象,实验表明,EFEN框架在小目标检测方面优于现有的深度学习网络,在与SSD、YOLOv5、YOLOv7等算法比较中平均查准率(mAP)均有所提升,在上述数据集上,mAP高达39.10%,证明了此方法对行人小目标数据的有效性。

基于改进YOLOv7的口罩佩戴检测算法

针对YOLOv7模型在口罩佩戴检测任务中特征提取能力不足、模型感受野相对较小等问题,提出一种改进YOLOv7的口罩佩戴检测算法。首先,在YOLOv7模型的主干网络引入感受野模块(receptive field block,RFB),增大模型的感受野;其次,在YOLOv7模型的头部网络引入卷积块注意力模块(convolutional block attention module,CBAM),提取关键信息,忽略无关信息,增强特征图的信息表达能力,提高模型的检测能力。实验结果表明:改进后的YOLOv7口罩佩戴检测算法精确率达到95.7%,较原YOLOv7算法提高了5.6百分点;平均精度均值达到96.6%,提高了2.6百分点。相比于目前主流的口罩佩戴检测算法,改进后的YOLOv7口罩佩戴检测算法可以更加准确地检测出口罩佩戴情况。

基于改进YOLOv7的输电线路绝缘子设备及其缺陷检测算法

针对输电线路无人机巡检中绝缘子设备及缺陷图像检测过程中存在的绝缘子目标尺寸变化大、缺陷目标尺寸小、背景复杂干扰多和难易样本不平衡等问题,提出一种基于改进YOLOv7的绝缘子设备及缺陷检测算法:1)针对绝缘子缺陷目标尺寸小问题,在YOLOv7特征提取网络浅层引入卷积注意力机制,聚焦缺陷;2)针对绝缘子目标尺度变化大问题,在YOLOv7特征提取网络底部引入感受野增强模块,提取不同尺度目标特征;3)针对背景干扰问题,改进YOLOv7特征融合网络,在顶部引入显示视觉中心模块,同时关注全局信息与局部信息;4)针对难易样本不平衡问题,使用Focal-EIoU损失替换YOLOv7坐标回归损失。在合并的绝缘子及其缺陷无人机图像公开数据集上,该算法的多类目标检测精度均值达到了97.36%。

基于改进YOLOv5s的并条棉网杂质检测

针对目前并条环节人工检测棉网杂质速度缓慢、检测精度低和主观随机性大等问题,提出一种基于改进YOLOv5s算法的并条棉网杂质检测方法。首先设计了一套离线图像采集系统连续采集并条棉网图像,并建立包含杂质的并条棉网图像数据集;然后在C3模块中引入RFE感受野增强模块,通过更广阔的感受野来增强微小杂质的特征。同时添加SE注意力机制,学习多尺度的通道依赖关系,强化对微小杂质的特征提取能力,提升算法检测效果。结果表明:与YOLOv5s算法相比,改进算法的精确率、召回率和mAP@0.5分别提升了3.9个百分点、2.3个百分点和3.8个百分点。该研究为自动识别并条棉网杂质提供了有效方案。

基于TR-YOLOv5的输电线路多类缺陷目标检测方法

针对复杂环境中输电线路多类缺陷目标的多尺度检测问题,提出一种基于Transformer和感受野模块的YOLOv5输电线路多类缺陷目标检测算法,简记为TR-YOLOv5。首先,搭建了YOLOv5网络,针对复杂背景造成缺陷目标的显著性低,进而影响检测精度的问题,在Backbone部分引入Transformer模块,通过利用多头注意力结构获取特征图像素点间的相关性和全局信息,增强缺陷目标的特征表达能力,从而提升模型检测精度;其次,由于待检测目标受多尺度影响,在Neck部分引入感受野模块提取目标不同尺度的特征,利用空洞卷积增大感受野,为后续PANet结构保留更细致的特征,增强Neck特征融合能力,提高模型对多尺度缺陷目标的检测精度;然后,为了提升预测边框回归精度,引入CIOU函数,进一步提高算法检测精度;最后,利用某电力巡检部门近3年的数据对该算法进行验证。实验结果表明,相比于7种对比算法,本文算法具有较高检测精度的同时具有较好的实时性,其平均检测精度可达95.6%,1280×720分辨率的巡检图像检测速度为125帧/秒。

轻量化模型的PeleeNet_yolov3地表裂缝识别

为提高地表裂缝检测在低算力运算平台上的稳定性和检测速率,提出了一种PeleeNet与YOLOv3相结合的目标检测算法。使用PeleeNet框架代替YOLOv3的Darknet-53主体框架,以融合不同的局部特征及提高运算效率;在框架中融合特征注意力模块以提高图像中裂缝区域的显著度,并通过对感受野模块RFB卷积核的复用,增大网络的有效视野,提高小目标检测精度;在特征金字塔网络中,通过使用深度可分离卷积代替标准卷积,减少参数计算量;引入CIoU损失函数提高模型的分类与回归精度。在测试平台上应用裂缝数据进行算法验证,结果表明:AP50达到了97.68%,AP75达到了77.87%,较原始的YOLOv3分别提高8.4%和12.4%,检测速度达到了30帧/s,且模型参数大小仅为原始YOLOv3的30%;可以看出,本研究提出的PeleeNet_yolov3轻量化模型对于裂缝目标的检测效果较为明显,并且具有较小的运算量和参数量,适合应用于移动端系统,对于小体积低功耗低算力运算平台具有较大应用价值。

基于改进RCF的轨道边缘检测模型

针对现有边缘检测模型检测复杂环境下的轨道边缘精度较低的问题,提出了一种基于改进RCF的轨道边缘检测模型。在RCF模型的基础上,去除深层的反卷积操作,增加特征融合模块,提升深层特征网络表达轨道边缘特征的能力,设计多感受野模块替换最后的concat层,增加有效感受野,引入高效注意力模块,提取有利于特征检测的通道,减少边缘检测的噪声。仿真结果表明,与HED、RCF模型相比,改进RCF模型检测轨道边缘的ODS分别提高了6.4%和1.1%、OIS分别提高了5.3%和0.7%,可更高效地检测轨道边缘。