深度学习与特征多尺度融合的PCB表面缺陷检测

印刷电路板(Printed Circuit Board,PCB)作为电子设备的核心,其性能和可靠性对电子产品至关重要。鉴于传统检测方法在效率和准确性上的局限性,旨在通过技术创新显著提升PCB缺陷检测的性能。为此,构建了YOLOv8-Defect模型,该模型在YOLOv8的基础上进行优化,包括引入SEAttention机制、Soft-NMS算法和Wise-IoU技术,并对C2f架构进行了升级至C3架构。通过先进的数据增强技术和模型训练策略,YOLOv8-Defect在检测PCB表面缺陷方面实现了性能的显著提升。实验结果表明,该模型不仅能够高效地识别电路板上的微小缺陷,还能实现实时监控,确保了检测过程的连续性和即时性。研究成果不仅为工业质量检测领域带来了创新的解决方案,也彰显了深度学习技术在解决实际工业挑战中的巨大应用潜力,为电子设备质量和生产效率的提高提供了坚实的技术支撑。

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

一种多尺度特征融合的多模态三维点云配准模型

针对三维点云配准中现有描述符提取方法可能导致点云结构信息不显著以及点云数据细节丢失的问题,提出了一种多尺度特征融合的多模态三维点云配准模型(Multi-scale Feature Fusion,MSFNet)。首先,在编码器中采用基于稀疏卷积的通道注意力模块(Channel Attention Module Based On Sparse Convolution,SCCAM)使得该模型能够自适应地关注点云的特征结构;然后,利用多尺度空间点云编码结构(Multi-scale Spatial Point Cloud Encoding,MSPCE)提取并有效融合不同尺度下的点云特征,从而增加点云描述符的感受野;最后,利用多模态特征融合模块对编码器提取的点云特征与图片特征进行融合,并将其送入解码器进行监督训练,以生成最终的点云描述符。采用特征匹配召回率(Feature-Match Recall,FMR)作为评价指标,在数据集3DMatch上进行实验。实验结果表明MSFNet网络其召回率精度达到了98.4%,与IMFNet(Interpretable Multimodal Fusion)网络相比,提升了0.8%。

基于多尺度特征融合和注意力机制的辣椒病害识别模型

【目的】设计MobileNet with large convolution Unit(Mobile-LU)模型,解决由于辣椒病害种类复杂和类间差异不明显而造成的病害识别困难、准确率低等问题。【方法】重新构建MobileNetV3的特征提取层,在并行分支单元结构中采用不同尺度的分离卷积,增强模型对辣椒病害尺寸差异特征的表达能力;引入Squeeze-and-Excitation(SE)注意力机制,加强模型对病害相关的特征的学习,提高病害识别准确率;同时使用Leaky ReLU激活函数,在负值区域引入小的斜率,避免网络神经元死亡问题;调整输出层节点个数,更好适应辣椒病害分类任务。【结果】Mobile-LU模型的识别准确率达到98.2%,相较于MobilenetV3-small、ResNet34、VGG16、Alexnet、Swin Transformer、MobileVIT等模型分别高出8.9、7.3、4.4、20.4、6.0、8.3个百分点,且Mobile-LU模型在精确率、召回率、特异度以及F1分数等关键性能指标上也均有优势。【结论】Mobile-LU模型对辣椒病害的识别性能更优,能更好满足辣椒病害识别任务。

采用级联策略融合边界特征的多尺度息肉分割网络

结直肠息肉分割能有效辅助医生筛查大肠腺瘤,但息肉分割存在噪声较多、边界区分度不够等问题。针对以上问题,本文设计了一种采用级联策略融合边界特征的多尺度息肉分割网络。首先,本文提出了一种改进的通道分组空间增强模块,以增强骨干网络提取的图像特征,从而提高通道和空间位置的相关性。其次,考虑到边界区分度不够,设计了一个级联特征融合网络,以更好地保留边界信息并提高边界区分度,从而提高分割精度。最后,引入了一种双分支混合上采样模块来获取更多的特征细节信息,以实现特征的互补以及捕获更完整有效的特征。在CVC-ClinicDB和Kvasir数据集上进行测试,本文算法的平均Dice系数分别为0.944,0.920,平均交并比分别为0.900,0.869;而M2SNet算法的平均Dice系数分别为0.922,0.912,平均交并比分别为0.880,0.861。在ETIS-LaribPolypDB,CVC-300和CVC-ColonDB数据集上进行测试,本文算法的平均Dice系数分别为0.776,0.915,0.782;而M2SNet算法的平均Dice系数分别为0.749,0.903,0.758。实验结果表明本文算法的分割精度较高,泛化能力较强。

面向医学图像融合的多尺度特征频域分解滤波

多模态医学图像融合技术可以实现不同模态数据反映的组织结构与病变信息的融合,为后续医疗诊断、手术导航等临床应用提供更为全面和准确的医学图像分析.针对现有融合方法中存在的部分光谱退化、黏连病变侵袭区域边缘和细节缺失和色彩还原不足等问题,提出一种在多尺度特征频域分解滤波域内实现图像多特征增强和色彩保留的多模态医学图像融合方法.该方法将源图像分解为平滑、纹理、轮廓和边缘这4个特征层,分别利用特定融合规则并通过图像重构产生融合结果.特别地,鉴于平滑层所含潜在特征信息,提出视觉显著性分解策略,多尺度多维度地挖掘平滑层图像能量、部分纤维纹理等特征,提升源图像信息利用率;在纹理层中,提出纹理增强算子,通过空间结构和信息度量提取细节及其层次信息,解决现有融合方法中对黏连病变区域侵袭状态难以区分等问题.此外,针对缺乏公开腹部数据集的问题,配准403组腹部图像可供公开访问和下载.在Atlas公开数据集和腹部数据集上与6种基准方法对比及消融实验结果表明,所提方法相较于最先进的方法在融合图像与源图像相似度提升22.92%,边缘保持度提升35.79%,空间频率提升28.79%,对比度提升32.92%,并在视觉和计算效率方面有较好的效果,明显优于其他方法.

基于多尺度特征融合的雷达海上目标检测方法

雷达目标检测对海上信息处理具有重要意义,目前提出的检测方法在召回率和精度上都难以满足海上检测要求。为了解决上述问题,提出基于多尺度特征的雷达海上目标检测方法。通过X波段非相参脉冲体制导航雷达采集数据,在完成预处理后检验数据集,提取雷达数据。分析杂散噪声,确定噪声范围,根据平均强度和灰度值的差值实现归一化处理。对目标进行归一化分析,融合多尺度特征实现目标选择,完成目标检测。实验结果表明,基于多尺度特征融合的雷达海上目标检测方法召回率能够在短时间内达到90%以上,精度在95%以上,能够很好地提取海上目标信息。

注意力机制和多尺度特征融合的细粒度图像分类

针对细粒度图像分类易受背景干扰、关键区域定位不准确以及模型参数量大的问题,提出了一种注意力机制和多尺度特征融合的分类网络(networks of combine attention mechanisms and multi-scale features,AM-Net)。首先,以YOLOv7网络为基础,使用Ghost BottleNeck模块重新搭建轻量级主干网络,并使用GhostConv替换颈部网络中的Conv,实现模型的轻量化。其次,引入无参的SimAM注意力机制,通过考虑空间和通道维度的相关性推断特征图的三维注意力权重,表征局部显著特征,抑制无用特征,提高目标区域信息的有效性。最后,构建可特征选择的金字塔池化模块(fast spatial pyramid pooling with feature selection and convolutions,SPPFC),帮助网络模型更好地捕捉和处理目标的多尺度特征,提高模型的感知能力。通过实验可知,AM-Net在Stanford Dogs数据集上的准确率、精确率、召回率和F 1分数分别达到88.9%、83.6%、85.7%和84.6%,模型参数量为26.53 MB,每秒帧率达到89.3帧,在Stanford Cars数据集上的准确率、精确率和召回率分别达到95.2%、93.7%和94.9%。实验结果表明,AM-Net可以在轻量化网络的同时提高细粒度图像的分类精度,相比于其他网络模型性能有较大提升。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

融合多尺度特征的轻量化煤炭输送带异物检测方法

煤炭输送带是煤矿开采过程中的主要运输设备,在工作过程中不可避免地有大块矸石、锚杆、木板等异物混入,易造成由皮带撕裂、落煤口堵塞导致的重大安全事故。针对井下色彩辨识度低、前后景对比度差及煤炭与异物间遮挡重叠导致物体边缘特征丢失等检测难题,设计了一种融合多尺度特征的轻量化煤炭输送带异物检测方法。首先,基于一种具有压缩激励模块的残差视觉网络(Residual Vision Transformer with Squeeze-and-Excitation Block,RepViTSEBlock)的架构,融合高效多尺度注意力(Efficient Mult-Scale Attention,EMA),构建出C2f_RVB_EMA轻量化结构,利用跨空间学习策略与全局特征建模能力,在提升检测精度的同时大幅度减小网络复杂度;其次,将感受野注意力卷积(Receptive Field Attention Convolution,RFAConv)与卷积注意力模块(Convolutional Block Attention Module,CBAM)结合得到RFCBAMConv,并嵌入到双向特征金字塔网络,通过空间和通道两个维度赋予卷积注意力权重,提高模型对煤炭输送带中异物的关注度,减少计算开销;同时,为了能够精确地识别出多个异物相互堆叠情况下目标的轮廓信息,构建出基于解耦头结构的Detect_SEAM目标检测头;最后,使用Focaler-IoU回归损失函数替换Complete-IoU函数,有效提升了回归框的精度。为避免理想条件对试验造成的影响,采用井下输送带工作的真实图像作为试验数据集。试验结果表明,输送带异物检测模型的平均精度mAP@0.5达到88.20%,相较于基准模型提高了4.60百分点,而参数量与计算量仅为2.51×106和6.60×109,有利于在矿井等复杂条件下部署,为煤炭的高效开采运输提供安全预警。

基于注意力网络尺度特征融合的遥感场景分类

针对遥感数据集存在的类内差异性大和类间相似性高的特点导致遥感场景分类准确率不高的问题,提出了一种基于注意力网络尺度特征融合(MSA-CNN)的遥感影像场景分类模型.将遥感图像经过尺度变换操作输入到VGG-16网络提取遥感影像的多尺度特征,使用多选框注意力模型(MS-APN)提取图像多尺度下的目标区域,对目标区域进行剪切和放大并输入到三层网络结构中.融合原始影像的多尺度特征和目标区域的特征,并且利用LBP对全局特征表达,克服遥感图像因拍摄角度不同带来的差异性.将融合的多尺度特征输入到网络全连接层来完成最终的分类预测任务.实验结果显示:MSA-CNN平均分类精度较注意循环卷积网络(ARCNet)和传统细粒度循环注意力网络(RA-CNN)在NWPU-RESISC45公开数据集上分别提升1.63%和2.66%,在UC Merced Land-Use公开数据集上较RA-CNN提升0.64%.结果表明:提出的MSA-CNN能够有效提高遥感图像场景分类的准确率.

基于多尺度融合和时空特征的网络入侵检测模型

针对入侵检测模型提取特征能力不足,且流量数据中含冗余噪声的问题,提出一种基于多尺度融合和时空特征的ML-PFN入侵检测模型。采用多尺度特征融合技术分别提取数据中浅层特征信息和深层特征信息,使模型学习的特征更加丰富;采用软阈值函数和注意力机制自动选择合适的阈值,减少噪声及不相关信息对模型的干扰;融合时空特征构成多尺度空间特征提取长短时记忆-并行特征网络(MSFE LSTM-parallel feature network, ML-PFN)模型,并应用于网络入侵检测。通过3个公开数据集进行性能评估,实验结果表明,ML-PFN模型对比其它5种分类模型各项指标效果最好,在训练时长适中的同时准确率达到96.45%。

基于多尺度注意力特征融合的恶意URL检测研究

针对当前恶意URL检测模型在处理复杂结构和多样化字符组合的URL时,存在特征提取单一和检测精度不高的问题,提出了一种基于多尺度注意力特征融合的恶意URL检测模型。首先,采用Character Embeddings和DistilBERT方法分别对字符和单词进行编码,以捕获URL字符串中字符级和词级特征表示。其次,通过改进卷积神经网络(CNN)提取不同尺度的字符结构特征和词级语义特征,并结合双向长短期记忆网络(BiLSTM)进一步提取深层次序列特征。此外,为了实现字符级与词级多尺度特征的动态融合,创新性地引入注意力特征融合模块(AFF),有效降低信息冗余并提升对长距离序列特征的提取能力。实验结果表明,所提模型与其他基准模型相比,准确率提升了0.32%~4.7%,F1分数提升了0.46%~5.5%,并在ISCX-URL2016等数据集上也达到了较好的测效果。

一种改进多尺度特征融合的交通标志识别算法

为了进一步提高在背景复杂且目标距离远的情况下交通标志识别算法的识别准确率,在YOLOv5s算法的基础上提出了一种改进的交通标志识别算法MAFM-YOLO。首先,在颈部网络设计了基于空洞混合注意力机制的多尺度注意力特征融合模块,使网络在特征融合阶段能够高效保留图像中的细节信息,对小目标更加的敏感。其次,在回归阶段采用归一化Wasserstein距离改进原有的损失函数,提高了边界框的回归性能,从而进一步提高网络的识别性能。在TT100K数据集上的实验结果表明,MAFM-YOLO较基准模型在精确率、召回率和平均精度均值上分别实现了9.4%、3.3%、6.3%的提升。

基于尺度特征融合的极低比特率三维复杂图像无损压缩

由于三维复杂图像具有高维度和大规模的特点,且极低比特率下容易导致细节丢失和失真增强,使得三维复杂图像的编码较为复杂。因此,提出基于尺度特征融合的极低比特率三维复杂图像无损压缩方法。利用各向异性扩散与垂直扩散处理三维复杂图像,增强图像边缘信息。采用四叉树算法,建立自适应分块机制,按照图像细节复杂程度划分多个图像块。构建残差网络、反卷积网络结构的残差变换模块,融合图像多尺度特征,输出压缩图像。引入高分辨率累加器和计数器,实现压缩图像无损编码,实现完整的三维复杂图像无损压缩。实验结果表明:应用基于尺度特征融合的新型无损压缩方法后,图像压缩重构结果的信息熵达到了30,实现了压缩图像质量的提升。

联合场景理解与多尺度特征融合的人群计数方法

基于卷积神经网络(CNNs)的人群计数方法善于捕获目标多尺度信息,但建模全局上下文信息的能力相对不足,因此在复杂场景下的计数效果不佳.与此同时,基于ViT的人群计数方法虽然能够更好地建模全局上下文信息,但却难以充分地提取目标多尺度信息.为了解决这个问题,提出一种联合场景理解与多尺度特征融合的人群计数模型STCount.该模型首先采用Swin Transformer作为骨干网络,利用其内置的滑动窗口自注意力机制有效地建模长程依赖关系并降低计算开销,同时其分层式的网络结构也适合于提取多尺度信息.然后,引入多尺度感知模块(MSAM)和多层次特征融合模块(MFFM),以更好地应对人群计数中的目标尺度差异和场景复杂问题.MSAM采用多组膨胀卷积,以捕获更丰富的多尺度信息,从而解决目标尺度差异问题.而MFFM则致力于融合网络的深层语义信息和浅层细节信息,以对抗复杂场景的干扰.在4个公开数据集上,对STCount模型进行了详细的实验分析,实验结果表明,相较于现有算法,STCount模型在准确性和鲁棒性方面均取得了显著的进展,展示了其在实际应用中的重要价值.

基于多尺度特征融合和注意力机制的矿区道路障碍检测

为解决复杂露天矿区背景下的行车障碍检测问题,提出一种基于改进跨尺度特征融合的矿区道路障碍检测算法。首先,针对原始矿山数据集中小目标样本类别不平衡的问题,采用一种基于几何变换和加权泊松融合的数据增强方法扩大样本数量;其次,在特征提取阶段提出更适用于障碍检测的跨阶段连接网络,以增大检测尺度,提高算法对小目标特征的学习能力;然后,在特征融合阶段提出基于3D无参注意力(SimAM)和去权重的双向特征融合金字塔网络(Bi-FPN),通过扩大预测特征图和特征感受野,提升多尺度检测性能;最后,针对训练中样本不均衡和障碍物边界框定位不精准问题,引入质量焦点损失函数(QFL)和可扩展的交并比损失函数(SIoU),将分类得分与位置的质量预测结合,提高对密集遮挡目标的定位精度。结果表明:改进方法能有效识别复杂背景下露天矿区非结构化道路障碍物,在实际应用中,检测精度达到91.88%,检测速度达到68.7帧/s,相较于主流检测方法有着更好的小目标和多尺度检测性能,可满足露天矿区无人矿卡行进中的障碍安全检测要求。

基于双角度多尺度特征融合的无锚框目标检测算法

针对无锚框目标检测算法CenterNet中特征利用不充分且检测精度不足的问题,提出一种基于双角度多尺度特征融合的改进算法。首先,通过使用Res2Net网络替换主干网络,使网络从更细粒度的角度提高网络的多尺度表达能力。其次,使用重复加权双向特征金字塔网络从层级角度提升多尺度加权特征的融合能力。最后,加入坐标注意力机制,在避免增加计算资源消耗的前提下增强感受野,将坐标信息嵌入通道注意力中以提升模型对目标的定位提高模型的检测精度。实验结果表明:改进算法在PASCAL VOC数据集和KITTI数据集检测准确率分别达到了82.3%和87.8%,与原CenterNet算法相比精度分别提升5.5%和2.4%。

双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

多尺度特征融合增强检测模型MFFE-YOLO

为解决传统巡检图像检测方法对电力设备小目标缺陷检测能力弱、错检和漏检率高、浅层网络语义信息不足等问题,提出针对电力设备小目标缺陷的多尺度特征融合增强检测模型(multi-scale feature fusion enhanced youonlylookonce,MFFE-YOLO)。该方法设计了一种多尺度特征融合增强机制(multi-scalefeaturefusion enhancement,MFFE),能够更全面地捕捉目标特征。研究表明:在C2f-EF模块中嵌入跨空间学习多尺度注意力机制EMA以及FasterNet Block,能够优化模型的运行效率;MFFE-YOLO方法的平均精度、参数量和帧率指标均优于其他方法,能够实现高精度与实时性之间的良好平衡。