渐进式多尺度特征融合的图像去镜头雨滴方法

针对附着在镜头上的雨滴会造成图像退化和背景信息丢失问题,提出一种渐进式多尺度特征融合的单幅图像去镜头雨滴的方法,以采样至不同尺度的镜头雨滴附着图像为输入,通过重复堆叠的残差模块和循环神经网络进行渐进式雨滴特征提取,捕获从局部到全局的雨滴特征信息,在不同空间维度上探索互补的信息来更好地表征尺寸形状多变、位置随机分布的雨滴,对多尺度的雨滴特征进行融合,最后按照线性叠加物理模型恢复出清晰背景图像。使用公开数据集进行训练得到去镜头雨滴模型,在其测试集以及真实采集的镜头雨滴附着图像上进行了测试,在量化指标和可视化结果方面都取得了较好的效果,并表现出良好的泛化性能。

基于多尺度渐进式特征融合的伪装目标检测

伪装目标检测任务中目标和所处环境具有极大的相似性,只通过简单的特征提取容易使得重要信息丢失,此外,直接聚合不同层特征会引入噪声,导致预测不准确。针对这些问题,本文提出一种基于多尺度渐进式特征融合的伪装目标检测网络。该网络采用金字塔视觉Transformer作为骨干网络提取多尺度特征,利用可变形注意力对提取的多尺度特征增强,以突出伪装目标的边界;然后通过渐进式特征融合模块递增式融合相邻层特征,积累难以分辨但有效的信息,避免非相邻层之间较大语义差距;在融合过程中引入自适应空间融合操作,以减少在同一空间位置发生信息冲突问题;最终输出预测结果,实现伪装目标检测。模型在COD10K和CAMO组成的训练集上进行训练,实验结果表明本文方法与其他方法相比具有较明显优势。

融合渐进式策略的轻量化特征点提取与匹配方法

针对基于SuperPoint网络的特征匹配方法在光照、姿态、角度等挑战下,特征点提取准确率低、计算参数量大的问题,提出了一种融合渐进式策略的轻量化特征点提取与匹配方法。首先,利用深度可分离卷积对SuperPoint网络进行结构调整,以降低模型参数计算量;其次,在特征提取部分搭建注意力模块增强网络在空间上的特征提取能力,并设计渐进式多尺度特征融合模块捕获目标细节,增强特征的表达能力;最后,利用SuperGlue算法对所得到的特征点进行匹配。在Hpatches数据集上进行实验分析,实验结果表明,所提算法在光照变换场景下匹配平均准确率(mAP)和特征点重复度(Rep)达到了86%和70%,在视角变换场景下mAP和Rep达到了78%和68%。所提算法不仅在特征匹配中表现出一定的优势,同时将其应用于视频拼接中也获得了较好的效果。

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

采用级联策略融合边界特征的多尺度息肉分割网络

结直肠息肉分割能有效辅助医生筛查大肠腺瘤,但息肉分割存在噪声较多、边界区分度不够等问题。针对以上问题,本文设计了一种采用级联策略融合边界特征的多尺度息肉分割网络。首先,本文提出了一种改进的通道分组空间增强模块,以增强骨干网络提取的图像特征,从而提高通道和空间位置的相关性。其次,考虑到边界区分度不够,设计了一个级联特征融合网络,以更好地保留边界信息并提高边界区分度,从而提高分割精度。最后,引入了一种双分支混合上采样模块来获取更多的特征细节信息,以实现特征的互补以及捕获更完整有效的特征。在CVC-ClinicDB和Kvasir数据集上进行测试,本文算法的平均Dice系数分别为0.944,0.920,平均交并比分别为0.900,0.869;而M2SNet算法的平均Dice系数分别为0.922,0.912,平均交并比分别为0.880,0.861。在ETIS-LaribPolypDB,CVC-300和CVC-ColonDB数据集上进行测试,本文算法的平均Dice系数分别为0.776,0.915,0.782;而M2SNet算法的平均Dice系数分别为0.749,0.903,0.758。实验结果表明本文算法的分割精度较高,泛化能力较强。

基于多尺度特征融合的雷达海上目标检测方法

雷达目标检测对海上信息处理具有重要意义,目前提出的检测方法在召回率和精度上都难以满足海上检测要求。为了解决上述问题,提出基于多尺度特征的雷达海上目标检测方法。通过X波段非相参脉冲体制导航雷达采集数据,在完成预处理后检验数据集,提取雷达数据。分析杂散噪声,确定噪声范围,根据平均强度和灰度值的差值实现归一化处理。对目标进行归一化分析,融合多尺度特征实现目标选择,完成目标检测。实验结果表明,基于多尺度特征融合的雷达海上目标检测方法召回率能够在短时间内达到90%以上,精度在95%以上,能够很好地提取海上目标信息。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于注意力网络尺度特征融合的遥感场景分类

针对遥感数据集存在的类内差异性大和类间相似性高的特点导致遥感场景分类准确率不高的问题,提出了一种基于注意力网络尺度特征融合(MSA-CNN)的遥感影像场景分类模型.将遥感图像经过尺度变换操作输入到VGG-16网络提取遥感影像的多尺度特征,使用多选框注意力模型(MS-APN)提取图像多尺度下的目标区域,对目标区域进行剪切和放大并输入到三层网络结构中.融合原始影像的多尺度特征和目标区域的特征,并且利用LBP对全局特征表达,克服遥感图像因拍摄角度不同带来的差异性.将融合的多尺度特征输入到网络全连接层来完成最终的分类预测任务.实验结果显示:MSA-CNN平均分类精度较注意循环卷积网络(ARCNet)和传统细粒度循环注意力网络(RA-CNN)在NWPU-RESISC45公开数据集上分别提升1.63%和2.66%,在UC Merced Land-Use公开数据集上较RA-CNN提升0.64%.结果表明:提出的MSA-CNN能够有效提高遥感图像场景分类的准确率.

基于多尺度融合和时空特征的网络入侵检测模型

针对入侵检测模型提取特征能力不足,且流量数据中含冗余噪声的问题,提出一种基于多尺度融合和时空特征的ML-PFN入侵检测模型。采用多尺度特征融合技术分别提取数据中浅层特征信息和深层特征信息,使模型学习的特征更加丰富;采用软阈值函数和注意力机制自动选择合适的阈值,减少噪声及不相关信息对模型的干扰;融合时空特征构成多尺度空间特征提取长短时记忆-并行特征网络(MSFE LSTM-parallel feature network, ML-PFN)模型,并应用于网络入侵检测。通过3个公开数据集进行性能评估,实验结果表明,ML-PFN模型对比其它5种分类模型各项指标效果最好,在训练时长适中的同时准确率达到96.45%。

基于尺度特征融合的极低比特率三维复杂图像无损压缩

由于三维复杂图像具有高维度和大规模的特点,且极低比特率下容易导致细节丢失和失真增强,使得三维复杂图像的编码较为复杂。因此,提出基于尺度特征融合的极低比特率三维复杂图像无损压缩方法。利用各向异性扩散与垂直扩散处理三维复杂图像,增强图像边缘信息。采用四叉树算法,建立自适应分块机制,按照图像细节复杂程度划分多个图像块。构建残差网络、反卷积网络结构的残差变换模块,融合图像多尺度特征,输出压缩图像。引入高分辨率累加器和计数器,实现压缩图像无损编码,实现完整的三维复杂图像无损压缩。实验结果表明:应用基于尺度特征融合的新型无损压缩方法后,图像压缩重构结果的信息熵达到了30,实现了压缩图像质量的提升。

联合场景理解与多尺度特征融合的人群计数方法

基于卷积神经网络(CNNs)的人群计数方法善于捕获目标多尺度信息,但建模全局上下文信息的能力相对不足,因此在复杂场景下的计数效果不佳.与此同时,基于ViT的人群计数方法虽然能够更好地建模全局上下文信息,但却难以充分地提取目标多尺度信息.为了解决这个问题,提出一种联合场景理解与多尺度特征融合的人群计数模型STCount.该模型首先采用Swin Transformer作为骨干网络,利用其内置的滑动窗口自注意力机制有效地建模长程依赖关系并降低计算开销,同时其分层式的网络结构也适合于提取多尺度信息.然后,引入多尺度感知模块(MSAM)和多层次特征融合模块(MFFM),以更好地应对人群计数中的目标尺度差异和场景复杂问题.MSAM采用多组膨胀卷积,以捕获更丰富的多尺度信息,从而解决目标尺度差异问题.而MFFM则致力于融合网络的深层语义信息和浅层细节信息,以对抗复杂场景的干扰.在4个公开数据集上,对STCount模型进行了详细的实验分析,实验结果表明,相较于现有算法,STCount模型在准确性和鲁棒性方面均取得了显著的进展,展示了其在实际应用中的重要价值.

基于多尺度特征融合和注意力机制的矿区道路障碍检测

为解决复杂露天矿区背景下的行车障碍检测问题,提出一种基于改进跨尺度特征融合的矿区道路障碍检测算法。首先,针对原始矿山数据集中小目标样本类别不平衡的问题,采用一种基于几何变换和加权泊松融合的数据增强方法扩大样本数量;其次,在特征提取阶段提出更适用于障碍检测的跨阶段连接网络,以增大检测尺度,提高算法对小目标特征的学习能力;然后,在特征融合阶段提出基于3D无参注意力(SimAM)和去权重的双向特征融合金字塔网络(Bi-FPN),通过扩大预测特征图和特征感受野,提升多尺度检测性能;最后,针对训练中样本不均衡和障碍物边界框定位不精准问题,引入质量焦点损失函数(QFL)和可扩展的交并比损失函数(SIoU),将分类得分与位置的质量预测结合,提高对密集遮挡目标的定位精度。结果表明:改进方法能有效识别复杂背景下露天矿区非结构化道路障碍物,在实际应用中,检测精度达到91.88%,检测速度达到68.7帧/s,相较于主流检测方法有着更好的小目标和多尺度检测性能,可满足露天矿区无人矿卡行进中的障碍安全检测要求。

双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

一种多尺度特征融合的多模态三维点云配准模型

针对三维点云配准中现有描述符提取方法可能导致点云结构信息不显著以及点云数据细节丢失的问题,提出了一种多尺度特征融合的多模态三维点云配准模型(Multi-scale Feature Fusion,MSFNet)。首先,在编码器中采用基于稀疏卷积的通道注意力模块(Channel Attention Module Based On Sparse Convolution,SCCAM)使得该模型能够自适应地关注点云的特征结构;然后,利用多尺度空间点云编码结构(Multi-scale Spatial Point Cloud Encoding,MSPCE)提取并有效融合不同尺度下的点云特征,从而增加点云描述符的感受野;最后,利用多模态特征融合模块对编码器提取的点云特征与图片特征进行融合,并将其送入解码器进行监督训练,以生成最终的点云描述符。采用特征匹配召回率(Feature-Match Recall,FMR)作为评价指标,在数据集3DMatch上进行实验。实验结果表明MSFNet网络其召回率精度达到了98.4%,与IMFNet(Interpretable Multimodal Fusion)网络相比,提升了0.8%。

基于多尺度特征融合的轻量级目标检测算法

由于YOLOv5目标检测模型中参数多、计算复杂度高,无法满足边缘设备进行智能计算和实时反馈的需求,提出了基于多尺度特征融合的轻量级目标检测算法。首先,针对标准卷积模块参数量大、计算复杂度高的问题,提出基于幻影卷积的特征提取卷积模块代替原模型的特征提取模块,在保持检测精度的前提下,减少模型的参数量和计算量。其次,设计出ShuffleNetv2_2下采样模块,进一步减少算法的参数量。再次,针对模型轻量化后的特征提取能力不足问题,将低维特征充分融合到Neck网络中并添加跨层级联以降低浅层语义的丢失,在增强目标特征的表达的同时提高模型的检测效率。最后,提出LAM注意力融合模块,为模型的颈部网络提供具有更丰富的语义特征图。实验结果表明,相比于原模型,改进模型的参数量和计算量更少,并且在PascalVOC和MSCOCO数据集的检测准确率分别提高了2.1%和2.4%。

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.

多尺度池化和双向特征融合的场景文本检测

针对自然场景中文字背景复杂多样、形态大小各异的问题,提出了一种新的基于分割的场景文本检测网络。通过构建多尺度池化和双向特征融合两个模块来提升网络性能。根据文本实例的特点,多尺度池化模块使用不同长宽比窗口的空间池来捕获不同距离上文本信息的依赖关系,指导网络得到更加准确的分割结果。双向特征融合模块构建了两条不同方向的融合路径,以更好地利用主干网络的不同尺度特征,提升网络对不同尺度文本的检测性能。实验结果证明了所提方法的有效性,在ICDAR2015、MSRA-TD500和Total-Text这三个公开数据集上,分别取得了87.7%、86.7%和85.5%的F-measure值。

基于多尺度特征融合的遥感图像语义分割方法

为提高遥感图像语义分割精度,解决深度卷积神经网络(DCNN)特征提取过程中小尺寸目标信息丢失的问题,提出一种基于多尺度特征融合的语义分割方法FuseSwin。首先,在Swin Transformer中引入注意力增强模块(AEM),以突出目标所在区域并抑制背景噪声的干扰;其次,利用特征金字塔网络(FPN)融合多尺度特征的细节信息和高级语义信息,以补充目标的特征;最后,通过空洞空间金字塔池化(ASPP)模块从融合特征图中进一步捕获目标的上下文信息,提升模型分割精度。实验结果表明,所提方法在Potsdam遥感数据集上的平均像素准确率(mPA)和平均交并比(mIoU),与DeepLabV3方法相比,分别提高了2.34、3.23个百分点;与SegFormer方法相比,分别提高了1.28、1.75个百分点,优于目前主流的分割方法。此外,将所提方法实际应用于广西钦州茅尾海的高分辨率遥感图像中的蚝排识别与分割,分别取得96.21%、91.70%的像素准确率(PA)和交并比(IoU)。

基于多尺度视觉感知特征融合的显著目标检测方法

显著性物体检测具有重要的理论研究意义和实际应用价值,已在许多计算机视觉应用中发挥了重要作用,如视觉追踪、图像分割、物体识别等。然而,自然环境下显著目标的类别未知、尺度多变依然是物体检测面临的一大挑战,影响着显著目标的检测效果。因此,提出了一种基于多尺度视觉感知特征融合的显著目标检测方法。首先,基于视觉感知显著目标的特性,设计并提取多个图像感知特征。其次,图像感知特征采用多尺度自适应方式,获取特征显著图。然后,将各个显著特征图融合,获得最终的显著目标。该方法基于不同图像感知特征的特点,自适应提取显著目标,能够适应多变的检测目标与复杂的检测环境。实验结果表明,在受自然环境中背景干扰的情况下,该方法能有效检测出未知类别和不同尺度的显著目标。

融合图卷积与多尺度特征的接触网点云语义分割

准确的接触网语义分割结果对于接触网组件提取和几何参数检测具有重要的意义。实际上,接触网场景复杂,部件之间的尺寸差异较大,并且存在着较多语义信息接近且相连的部件,导致现有的深度学习方法难以高精度地完成接触网点云语义分割任务。基于上述问题,本文提出一种基于图卷积和多尺度特征的神经网络GDM-Net。该网络包含基于图的局部特征提取器,增强了对接触网点云局部特征提取;双重通道注意力模块,同时兼顾了接触网点云的全局和显著特征的提取;多尺度特征融合的细化模块,通过提取并融合接触网的多尺度信息,提升了分割精度。受益于上述几个模块,该网络提升了对于接触网部件交界处的点云分割能力。基于接触网数据集对该方法进行定性和定量的验证分析,GDM-Net相较于5种其他的点云深度学习方法,精度最高,OA、mIoU和F 1值这3个精度指标分别可以达到96.73%,91.06%和95.28%。定性比较表示,本文提出的网络可以有效减少部件连接部分的错分问题,提高接触网部件分割的完整性。