双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

一种多尺度特征融合的多模态三维点云配准模型

针对三维点云配准中现有描述符提取方法可能导致点云结构信息不显著以及点云数据细节丢失的问题,提出了一种多尺度特征融合的多模态三维点云配准模型(Multi-scale Feature Fusion,MSFNet)。首先,在编码器中采用基于稀疏卷积的通道注意力模块(Channel Attention Module Based On Sparse Convolution,SCCAM)使得该模型能够自适应地关注点云的特征结构;然后,利用多尺度空间点云编码结构(Multi-scale Spatial Point Cloud Encoding,MSPCE)提取并有效融合不同尺度下的点云特征,从而增加点云描述符的感受野;最后,利用多模态特征融合模块对编码器提取的点云特征与图片特征进行融合,并将其送入解码器进行监督训练,以生成最终的点云描述符。采用特征匹配召回率(Feature-Match Recall,FMR)作为评价指标,在数据集3DMatch上进行实验。实验结果表明MSFNet网络其召回率精度达到了98.4%,与IMFNet(Interpretable Multimodal Fusion)网络相比,提升了0.8%。

基于多尺度特征融合的轻量级目标检测算法

由于YOLOv5目标检测模型中参数多、计算复杂度高,无法满足边缘设备进行智能计算和实时反馈的需求,提出了基于多尺度特征融合的轻量级目标检测算法。首先,针对标准卷积模块参数量大、计算复杂度高的问题,提出基于幻影卷积的特征提取卷积模块代替原模型的特征提取模块,在保持检测精度的前提下,减少模型的参数量和计算量。其次,设计出ShuffleNetv2_2下采样模块,进一步减少算法的参数量。再次,针对模型轻量化后的特征提取能力不足问题,将低维特征充分融合到Neck网络中并添加跨层级联以降低浅层语义的丢失,在增强目标特征的表达的同时提高模型的检测效率。最后,提出LAM注意力融合模块,为模型的颈部网络提供具有更丰富的语义特征图。实验结果表明,相比于原模型,改进模型的参数量和计算量更少,并且在PascalVOC和MSCOCO数据集的检测准确率分别提高了2.1%和2.4%。

基于多尺度特征融合的遥感影像场景分类方法

针对遥感场景影像存在类间相似性高、类内多样性大、且不同尺度下遥感影像差异大等问题,导致场景分类任务精确度受限,提出一种基于多尺度特征融合的遥感影像场景分类算法。首先利用轻量级网络MobileNetV2作为主干网络,以更少的网络参数实现更高的分类准确率。网络通过一维卷积提升输入通道,设计的多尺度特征融合模块能够捕获遥感影像的高级特征和低级特征,融合影像的多尺度特征,能够有效缓解不同尺度下遥感影像差异大的问题。通过在三个公开遥感数据集上进行实验对比,验证了所提方法的有效性。

基于多尺度特征融合的跨视角步态识别

在跨视角步态识别中,针对衣着遮挡情况下难以提取具有可辨别性和多样性的步态特征,导致识别准确率下降的问题,提出了一种基于多尺度特征融合网络的跨视角步态识别方法。该方法能够有效利用步态特征间的互补性,获得具有可辨别性和多样性的步态特征,从而解决因衣着遮挡造成可辨别性差以及单一性的问题,进而提升跨视角步态识别的准确性。为验证所提方法的有效性,在公共数据集CASIA-B上进行了验证,实验结果表明所提方法在处理具有遮挡条件下的跨视角步态识别问题的识别性能达到了73.4%,同时在正常和背包两种行走条件下的识别性能分别达到了95.5%和88.0%。此外,我们的方法在处理遮挡条件下的识别性能优于同类典型的步态识别方法。

多尺度特征融合与空间优化的弱监督高分遥感建筑变化检测

针对建筑物变化检测中深度学习方法严重依赖大量高成本高难度的像素级标注样本进行模型训练的问题,本文提出一种基于图像级标注样本的高分辨率遥感建筑物弱监督变化检测方法MDF-LSR-Net。该方法首先提取双时相多尺度差异特征,并对多尺度差异特征进行渐进式融合,利用充分融合后的多层次多尺度差异特征来生成变化热力图;然后,利用低层融合差异特征的局部空间相似性来优化初始的变化热力图,进一步增强热力图中变化区域的完整性和准确性;最后,基于高质量的变化热力图训练最终的变化检测模型。在公开的建筑物变化检测数据集WHU和LEVIR上的多组试验结果表明,本文方法能够获取更加完整且准确的变化热力图,从而使得基于此训练的变化检测模型也取得更高的检测精度,其中最终的变化检测模型在WHU数据集上的IOU和F 1值分别可达65%和79%以上。

基于多尺度特征融合重建学习的深度伪造人脸检测算法

随着深度伪造技术的快速发展,针对深度伪造人脸的检测已经成为计算机视觉领域的研究热点。虽然现有的基于噪声、局部纹理或频率特征的检测方法能够在特定场景中表现出良好的检测效果,但这些方法缺乏对人脸细粒度表征特征的深入挖掘,限制了其泛化能力。为了解决上述问题,文章提出了一种新型的基于多尺度特征融合重建的分类网络模型MSFFR,该网络模型从重建学习的角度学习挖掘人脸细粒度内容和梯度表征特征信息,并采用多尺度特征融合的方式实现伪造人脸的检测,通过融合这两种信息来识别伪造面孔。文章提出的模型包含3个创新模块,设计了双分支特征提取模块,用于揭示真实人脸与伪造人脸之间的分布差异;提出了细粒度内容和梯度特征融合模块,用于探索挖掘人脸细粒度内容特征与梯度特征之间的相关性;引入了基于重建视差的双向注意力模块,有效地指导模型对融合后的特征进行分类。在大规模基准数据集上进行的广泛实验表明,与现有技术相比,文章提出的方法在检测性能方面具有显著提高,尤其是在泛化能力方面表现出色。

基于多尺度特征融合的由粗到精点云形状补全

为了以由粗到精的方式实现点云形状补全,提出一个端到端的两阶段多尺度特征融合网络,其中的每个阶段都是由一个编码器-解码器构成.第1阶段中,首先利用点集抽取模块提取残缺点云的全局特征,在获取不同分辨率点特征的同时能关注更多的局部邻域特征,然后使用多层感知机作为解码器生成粗糙的点云骨架;第2阶段中,利用点云骨架和残缺点云提取多尺度局部特征,并通过注意力机制与第1阶段中的多尺度全局特征相互融合,使得每个点都包含全局和局部几何信息;最后将第2阶段中的全局特征和多尺度局部特征逐步进行上采样,并通过多层感知机生成精细的完整点云.采用倒角距离作为评价标准,在ShapeNet,MVP和Completion3D数据集上进行点云补全实验的结果表明,误差分别比基准网络降低17.1%,3.9%和13.9%,验证了所提网络的有效性.

基于多尺度特征融合的双分支手部姿态估计算法

由于RGB图像的深度歧义性,关节点的深度坐标相对于关节点的二维图像坐标来说更难预测。提出一种基于手部多尺度特征融合的双分支手部姿态估计算法,将手部关节点的二维图像坐标和深度坐标进行分组预测。采用FPN提取手部多尺度特征,提出特征融合模块,对手部多尺度特征进行融合增强,得到手部高层特征和低层特征;提出双分支网络结构,利用融合之后的手部高层特征和低层特征分别预测手部关节点的深度坐标和二维图像坐标。在两个公开的手势数据集上进行了充分实验,与当前最好方法相比,所提方法在平均关节误差指标上取得了当前最好结果。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于复杂背景的多尺度特征融合手-物交互检测方法

针对手与物体在交互过程中不同场景的背景噪声、光照变化等复杂背景,以及手-物相互遮挡、分辨率低等问题对手-物交互检测精度的影响,提出采用一种两阶段的多尺度特征融合手-物交互检测方法。首先,引入基于特征金字塔的残差网络Resnet50作为特征提取主干网络,实现深层语义信息和浅层细节特征的多尺度融合,提高小目标检测的精度;然后,利用检测到的手部区域与物体区域的几何信息来判断是否交互,过滤非交互的物体;最后,在大规模的室内外包括11个类别的手接触物体的人类互动视频帧数据集进行实验,提高网络的泛化性能。实验结果表明,本文所提方法和两阶检测方法相比,在提高检测精度的同时没有增加网络模型复杂度,同时在数据集不同类别的检测精度相对稳定,有效提升了网络的泛化性能。

基于多尺度特征融合的调制识别算法

针对缺失无线电信号先验信息、人工选取特征操作复杂以及低信噪比时识别率不高的问题,提出一种基于多尺度特征融合的残差收缩网络(MFRSN)调制识别算法。在包含PAM4、BPSK、QPSK、8PSK、CPFSK、GFSK、QAM16、QAM64、WBFM、AM-SSB和AM-DSB的11种调制类型数据集上进行的仿真实验结果表明,加入软阈值分支后,低信噪比信号平均识别准确率提高2.87%,同时多尺度特征融合方法对比其他网络结构有更好的类内识别效果。

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.

多尺度特征融合的膀胱癌磁共振成像分割算法

针对膀胱癌磁共振成像(magnetic resonance imaging, MRI)图像肿瘤区域面积小、膀胱壁边界模糊及像素不平衡等问题,本研究基于特征融合过程和不同图像像素之间的相关性,提出了一种多尺度特征融合的膀胱癌MRI图像分割算法。在编码阶段设计多尺度特征融合模块,用于学习不同编码器的多尺度信息,提取膀胱壁和肿瘤更加丰富的特征;在解码阶段设计的像素对比模块,可增加膀胱壁和膀胱肿瘤间的差异性,解决对比度低及像素不平衡问题,提高膀胱壁与肿瘤相邻边界区域的分割性能,实现膀胱癌多区域分割。本研究在膀胱癌MRI数据集上进行实验,结果显示,算法在膀胱壁和肿瘤区域的Dice分别为89.70%和89.13%、交并比(intersection over union, IoU)分别为81.32%和80.51%、豪斯多夫距离(Hausdorff distance, HD)分别为1.30和1.37,分割结果较已有算法均有一定提升。本研究能较好地辅助临床影像学诊断,可为后续肿瘤分期和临床诊疗提供重要依据。

多层级多尺度特征融合的轻量级语义分割算法

针对自动驾驶视觉图像输入,提出了基于多层级多尺度特征融合的轻量级语义分割算法。算法采用编码器解码器架构,首先研究了低下采样率的编码器骨干网络。网络基于轻量级卷积模块,并采用不同深度的卷积层输出相同分辨率特征图,从而生成多层级的语义特征;其次研究了基于多特征融合的语义分割解码器,解码器设计包含多尺度特征融合模块和多层级特征融合模块两部分,结合多尺度特征和通道注意力机制,提取并融合编码器输出特征,最终生成分割结果。

基于注意力多尺度特征融合的频谱感知方法

随着无线通信和物联网(Internet of Things,IoT)设备的迅速增长,频谱资源短缺和电磁环境复杂性成为通信系统面临的挑战。频谱感知作为频谱管理的一项关键技术,使频谱资源短缺问题得到了缓解。卷积神经网络(Convolutional Neural Network,CNN)作为深度学习的代表,近年来在频谱感知任务中表现出色。为解决CNN实现频谱感知任务时感受野受限、多尺度信息融合和空间信息捕获等方面存在局限性的问题,提出了一种注意力多尺度特征融合CNN(Attention-Multi-Scale Feature Extraction-CNN,AMFE-CNN)模型,包含多尺度特征提取和注意力模块。多尺度特征提取利用膨胀卷积获取更大的时频感受野,注意力模块通过多重卷积和池化操作关注时频图的空间信息。实验结果表明,该模型在频谱感知任务中表现出色,提高了检测性能和泛化能力。

基于分层特征提取和多尺度特征融合的高分辨率遥感影像水体提取深度学习算法

高精度的水体提取有助于水资源监测和管理。目前基于遥感影像的水体提取方法缺乏对于边界质量的重视,造成边界划分不准确,细节保留度低的问题。为了提升遥感影像水体提取的边界与细节的精度,提出了一种基于多尺度特征融合的高分辨率遥感影像水体提取深度学习算法,包括分层特征提取模块与融合多尺度特征的堆叠连接解码器模块。分层特征提取模块中,引入了通道注意力结构,用于整合高分辨率遥感影像中水体的形状、纹理和色调信息,以便更好地理解水体的形状和边界。在融合多尺度特征的堆叠连接解码器模块中,进行了多层次语义信息的堆叠连接,并加强了特征提取,同时捕捉了广泛的背景信息和细微的细节信息,以实现更好的水体提取效果。在自行标注的数据集与公开数据集上的试验结果表明,模型的准确率达到了98.37%和91.23%,与现有的语义分割模型相比,提取的水体边缘更加完整,同时保留细节的能力更强。提出的模型提升了水体提取的精度和泛化能力,为高分辨率遥感影像水体提取提供了参考。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于多尺度特征融合的轻量化道路提取模型

针对当前用于遥感图像道路提取领域的语义模型存在计算复杂度较高、道路提取效果不佳的问题,提出基于多尺度特征融合的轻量化道路提取模型(MFL-DeepLab V3+).为了减少模型参数量并降低模型的计算复杂度,骨干网络选用轻量化Mobilenet V2网络代替原模型的Xception网络,在空洞空间金字塔池化(ASPP)模块中引入深度可分离卷积.为了增强模型的道路提取能力,优化对细小路段的提取效果,在解码区提出联合注意力的多尺度特征融合(MFFA).基于Massachusetts roads数据集的各项实验表明,MFL-DeepLab V3+模型的参数规模显著降低,较原模型参数量压缩了88.67%,道路提取图像完整,边缘清晰,精确率、召回率和F1分数分别达到88.45%、86.41%和87.42%,与其他模型相比取得了更好的提取效果.

多尺度特征融合的改进残差网络乳腺癌病理图像分类

现有模型病理特征提取不充分以及开源数据集各类型数量不平衡等问题,使得乳腺癌病理图像的多分类研究仍具挑战性。本研究提出了一种多尺度特征融合的改进残差网络乳腺癌病理图像多分类方法。首先,以ResNet101残差网络作为基础,将CBAM注意力模块插入到每一个残差块中;接着,为了优化特征提取,将横向和纵向的多尺度特征融合集成到残差网络中;最后,引入焦点损失函数以解决数据分配不平衡问题。经BreakHis公开数据集混合放大倍数1582张病理图像训练验证,所提出的改进残差网络在乳腺癌病理图像八分类上的识别准确率为94.4%,较原始模型提升2.8%,优于大多数已有公开深度学习模型。该模型的提出为女性乳腺癌的筛查诊断和病理分类提供了更为有效的方法。