MCFNet:融合上下文信息的多尺度视网膜动静脉分类网络

针对由于血管类间具有强相似性造成的动静脉错误分类问题,提出了一种新的融合上下文信息的多尺度视网膜动静脉分类网络(multi-scale retinal artery and vein classification network,MCFNet),该网络使用多尺度特征(multi-scale feature,MSF)提取模块及高效的全局上下文信息融合(efficient global contextual information aggregation,EGCA)模块结合U型分割网络进行动静脉分类,抑制了倾向于背景的特征并增强了血管的边缘、交点和末端特征,解决了段内动静脉错误分类问题。此外,在U型网络的解码器部分加入3层深度监督,使浅层信息得到充分训练,避免梯度消失,优化训练过程。在2个公开的眼底图像数据集(DRIVE-AV,LES-AV)上,与3种现有网络进行方法对比,该模型的F1评分分别提高了2.86、1.92、0.81个百分点,灵敏度分别提高了4.27、2.43、1.21个百分点,结果表明所提出的模型能够很好地解决动静脉分类错误的问题。

复杂稠密网络下的并置多尺度融合边缘检测模型

边缘检测是计算机视觉任务的基础.目前的技术主要依赖于深度学习,但是大多数的模型在评价阶段会借助非极大值抑制来提高预测边缘的准确率.该策略仅着重关注预测边缘的准确性,没有同时考虑边缘的粗细程度.针对这一问题,本文基于复杂稠密网络,提出了一种新的特征融合策略.该策略在传统深度学习边缘检测器侧输出的基础上,添加了自顶向下的并置多尺度融合架构.此架构可以更好地将高层的高语义特征与低层的高分辨率纹理特征结合,有效地抑制了边缘预测中存在的背景模糊和伪线条的现象.在特征连接处使用Concat block块代替单一的Concat操作,更好地融合了不同尺度的语义信息.最后使用一个简单的注意力融合块融合多个网络输出,并结合跟踪损失对输出的不同尺度的预测图进行深度监督.此方法不依赖于非极大值抑制,并且充分利用了目标的多尺度、多层次信息,在精细边缘图像的同时也提升了预测的准确性.实验结果显示,在未使用和使用形态学非极大值抑制方案的情况下,所提出的模型在BIPED数据集上的ODS、OIS、AP分别达到了0.891、0.895、0.900和0.894、0.899、0.931,优于所有比较算法.在MDBD的数据集上也取得了最优的结果.

多尺度融合与双输出U-Net网络的行人重识别

受行人姿态的多变性和行人被遮挡等因素的影响,行人重识别模型难以提取行人关键特征。为增强模型的特征表达能力,提出一种基于多尺度融合与双输出U-Net网络的行人重识别方法,旨在解决现有方法中难以提取行人关键特征、特征表达能力较低的问题。首先,提出多尺度融合的双输出U-Net网络,并对输出特征进行欧氏距离和散度距离约束;其次,设计联合损失函数,解决生成对抗网络在训练过程中不易收敛的问题,提高训练过程的收敛速度。在3个公共基准数据集上的仿真实验结果表明,相比经典特征提取网络,所提特征提取网络的平均精度均值(mAP)提升超过10%,所提行人重识别方法相比主流方法的mAP提高约2%,该方法能够增强模型的特征表达能力,提高行人重识别的准确率。

卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法

高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复杂多样的结构,且不同地物之间存在尺度差异。现有的二者结合的方法通常对多尺度地物目标的纹理和结构信息的提取能力有限。为了克服上述局限性,该文提出CNN与视觉Transformer联合驱动的跨层多尺度融合网络HSI分类方法。首先,从结合CNN与视觉Transformer的角度出发,设计了跨层多尺度局部-全局特征提取模块分支,其主要由卷积嵌入的视觉Transformer和跨层特征融合模块构成。具体来说,卷积嵌入的视觉Transformer通过深度融合多尺度CNN与视觉Transformer实现了多尺度局部-全局特征信息的有效提取,从而增强网络对不同尺度地物的关注。进一步地,跨层特征融合模块深度聚合了不同层次的多尺度局部-全局特征信息,以综合考虑地物的浅层纹理信息和深层结构信息。其次,构建了分组多尺度卷积模块分支来挖掘HSI中密集光谱波段潜在的多尺度特征。最后,为了增强网络对HSI中局部波段细节和整体光谱信息的挖掘,设计了残差分组卷积模块对局部-全局光谱特征进行提取。Indian Pines, Houston 2013和Salinas Valley 3个HSI数据集上的实验结果证实了所提方法的有效性。

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.

城市场景分割的多尺度感知融合网络研究

针对道路场景信息多尺度变换的问题,基于编码器-解码器的非对称网络结构,提出一种轻量级多尺度感知融合网络。根据残差网络以及空洞卷积的概念,设计一种新的残差模块Res-SS,在不增加卷积参数的情况下,提高特征提取的效率。设计多尺度感知融合提取模块,提高网络对于道路场景多尺度物体信息的自适应提取能力。为弥补特征提取过程中的低级特征缺失,采用Superpixel模块,将道路场景内低级边缘信息与高级语义信息融合,使得二者互为补充,从而得到高质量的语义分割结果。在Cityscapes数据集上的实验表明,该算法比现有的轻量级城市场景语义分割算法具有更高的精度和鲁棒性。

多尺度特征融合的改进残差网络乳腺癌病理图像分类

现有模型病理特征提取不充分以及开源数据集各类型数量不平衡等问题,使得乳腺癌病理图像的多分类研究仍具挑战性。本研究提出了一种多尺度特征融合的改进残差网络乳腺癌病理图像多分类方法。首先,以ResNet101残差网络作为基础,将CBAM注意力模块插入到每一个残差块中;接着,为了优化特征提取,将横向和纵向的多尺度特征融合集成到残差网络中;最后,引入焦点损失函数以解决数据分配不平衡问题。经BreakHis公开数据集混合放大倍数1582张病理图像训练验证,所提出的改进残差网络在乳腺癌病理图像八分类上的识别准确率为94.4%,较原始模型提升2.8%,优于大多数已有公开深度学习模型。该模型的提出为女性乳腺癌的筛查诊断和病理分类提供了更为有效的方法。

基于残差网络多尺度特征融合的滚动轴承故障诊断

针对传统故障诊断方法在面临复杂工况时出现的特征提取不足、分类器选取困难、诊断精度不高等问题,提出了一种基于残差神经元网络多尺度特征融合的滚动轴承故障诊断模型并用于电机轴承的故障诊断。首先,采用小波变换将轴承振动信号转换为二维时频图作为输入数据集;然后,在残差网络中构建多尺度特征融合模块,提取故障样本不同尺度下的特征;最后,将轴承数据集输入到网络中,实现特征提取及故障诊断。实验结果表明,基于残差网络多尺度特征融合的故障诊断模型可以有效提取信号特征,提高了故障诊断的准确性。

基于多尺度特征信息融合的时间序列异常检测

目前大多数的时间序列都缺少相应的异常标签,且现有基于重构的异常检测算法不能很好地捕获到多维数据间复杂的潜在相关性和时间依赖性,为了构建特征丰富的时间序列,提出一种多尺度特征信息融合的异常检测模型。该模型首先通过卷积神经网络对滑动窗口内的不同序列进行特征卷积来获取不同尺度下的局部上下文信息。然后,利用Transformer中的位置编码对卷积后的时间序列窗口进行位置嵌入,增强滑动窗口中每一个时间序列和邻近序列之间的位置联系,并引入时间注意力获取数据在时间维度上的自相关性,并进一步通过多头自注意力自适应地为窗口内不同时间序列分配不同的权重。最后,对反卷积过程中上采样得到的窗口数据与不同尺度下得到的局部特征和时间上下文信息进行逐步融合,从而准确重构原始时间序列,并将重构误差作为最终的异常得分进行异常判定。实验结果表明,所构建模型在SWaT和SMD数据集上与基线模型相比F1分数均有所提升。在数据维度高且均衡性较差的WADI数据集上与GDN模型相比F1分数降低了1.66%。

结合轻量化与多尺度融合的交通标志检测算法

交通标志检测在自动驾驶领域具有重要的应用价值,及时准确地检测交通目标对提高驾驶安全性和预防交通事故具有重要意义。针对交通标志尺寸小,易受遮挡,在复杂环境下容易出现漏检、错检等问题,在YOLOv8的结构基础上提出一种结合轻量化与多尺度融合的交通标志检测网络架构M-YOLO,构建M-YOLOs模型来应对高精度需求的检测任务,并调整网络深度得到更轻量化的M-YOLOn模型来解决不同环境下的检测需求。首先针对交通标志目标尺寸小、图像特征流失的问题,通过增加小目标检测层,保留更多的特征信息,提高网络对于小目标的特征学习能力。提出高效多尺度特征金字塔融合网络MPANet,将浅层特征图进行降维与跳跃连接,从而融合更多的图像特征信息。然后提出融合稀疏注意力和空间注意力的BRSA注意力模块,有效提取全局和局部的位置信息,减少复杂背景下对于关键信息的干扰。最后设计两种轻量高效的BBot模块和C2fGhost模块,以提高模型运算速度并减少参数量。实验结果表明,M-YOLO相较于YOLOv8,参数量降低约1/3。在TT100K数据集和GTSDB数据集上,M-YOLOs检测精度分别提升了9.7和2.1个百分点,M-YOLOn检测精度分别提升了14.5和2.6个百分点,在轻量化的同时具备更高的检测效果。M-YOLO架构解决了浅层特征图在特征提取过程中信息丢失的问题,并显著降低模型特征提取过程中冗余的计算开销,在实景采集的数据集上证实效果有效,表明在交通标志检测任务中具有应用价值。

采用多尺度自适应选择卷积神经网络的轴承故障诊断研究

针对轴承故障诊断方法中传统多尺度卷积神经网络对不同尺度的特征只是简单拼接,而未考虑不同尺度的特征差异的问题,提出一种多尺度自适应选择卷积神经网络轴承故障诊断模型(MSASCNN)。通过不同大小的宽卷积筛选原始轴承振动信号中的特征,合并为初始特征;构建多尺度自适应选择卷积块,提取不同尺度的特征,利用改进的注意力机制自适应调整不同尺度的特征权重,加入残差连接,防止模型退化;通过分类器完成轴承故障诊断。在凯斯西储大学轴承数据集和XJTU-SY轴承数据集上的实验结果表明:在模型改进实验中,与没有改进注意力机制的模型相比,所提模型的轴承故障诊断准确率提升了1.98%;在不同信噪比的噪声干扰环境中,所提模型的轴承故障诊断准确率均高于93%。

时频域多尺度交叉注意力融合的时间序列分类方法

针对时间序列子序列间的潜在信息交互不足导致分类准确率低的问题,提出时频域多尺度交叉注意力融合的时间序列分类方法TFFormer(Time-Frequency Transformer)。首先,将原始时间序列的时频域谱分别划分为等长子序列,经线性投影后加入位置信息解决时间序列的点值耦合问题;其次,通过改进的多头自注意力(IMHA)模块使模型关注更重要的序列特征,解决长时间序列的前后依赖问题;最后,构造多尺度时频域交叉注意力(CMA)模块增强时间序列在时域和频域之间的信息交互,使模型进一步挖掘序列的频域信息。实验结果表明,在Trace、StarLightCurves和UWaveGestureLibraryAll数据集上,相较于全卷积网络(FCN),所提方法的分类准确率分别提高了0.3、0.9和1.4个百分点,验证了通过增强时间序列时域和频域间的信息交互,可以提高模型收敛速度和分类精度。

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于多尺度特征融合的轻量级目标检测算法

由于YOLOv5目标检测模型中参数多、计算复杂度高,无法满足边缘设备进行智能计算和实时反馈的需求,提出了基于多尺度特征融合的轻量级目标检测算法。首先,针对标准卷积模块参数量大、计算复杂度高的问题,提出基于幻影卷积的特征提取卷积模块代替原模型的特征提取模块,在保持检测精度的前提下,减少模型的参数量和计算量。其次,设计出ShuffleNetv2_2下采样模块,进一步减少算法的参数量。再次,针对模型轻量化后的特征提取能力不足问题,将低维特征充分融合到Neck网络中并添加跨层级联以降低浅层语义的丢失,在增强目标特征的表达的同时提高模型的检测效率。最后,提出LAM注意力融合模块,为模型的颈部网络提供具有更丰富的语义特征图。实验结果表明,相比于原模型,改进模型的参数量和计算量更少,并且在PascalVOC和MSCOCO数据集的检测准确率分别提高了2.1%和2.4%。

适用于图像超分辨率的多路径融合增强网络

卷积神经网络(Convolutional Neural Network,CNN)在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络(Multi-path Fusion Enhancement Network,MFEN)。具体来说,提出了一个新颖的融合注意力增强模块(Fusion Attention Enhancement Block,FAEB)作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成:主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块(Self-Adaptive Attention Module,SAAM)来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,从而实现更全面、更精准的特征学习。大量实验表明,该多路径融合增强网络在基准测试集上具有更高的准确性。

基于多尺度深度图自适应融合的单目深度估计

深度估计网络通常具有较多的网络层数,图像特征在网络编码和解码过程中会丢失大量信息,因此预测的深度图缺乏对象结构细节且边缘轮廓不清晰。本文提出了一种基于多尺度深度图自适应融合的单目深度估计方法,可有效保留对象的细节和几何轮廓。首先,引入压缩与激励残差网络(SE-ResNet),利用注意力机制对不同通道的特征进行编码,从而保留远距离平面深度图的更多细节信息。然后,利用多尺度特征融合网络,融合不同尺度的特征图,得到具有丰富几何特征和语义信息的特征图。最后,利用多尺度自适应深度融合网络为不同尺度特征图生成的深度图添加可学习的权重参数,对不同尺度的深度图进行自适应融合,增加了预测深度图中的目标信息。本文方法在NYU Depth V2数据集上预测的深度图具有更高的准确度和丰富的物体信息,绝对相对误差为0.115,均方根误差为0.525,精确度最高达到99.3%。

基于特征融合和损失优化的点云语义分割网络

针对目前大多数方法仅利用单尺度特征而忽视了具有不同感受野的多尺度特征信息、无法有效处理点云数据集中类别权重不平衡的问题,提出一种基于全阶段特征融合(FSFF)和平衡损失(BL)的分割网络(FFBL-Net)。首先,FSFF模块通过将不同编码阶段的可学习特征与当前阶段特征进行融合,促进了浅层和深层语义信息互补;融合后的特征被传递到编码融合模块(EFM)和解码融合模块(DFM),实现了特征的跨阶段融合。此外,为了解决数据集中类别分布不平衡的问题,引入BL损失调整类别间的梯度差异。实验结果表明,FFBL-Net在主流的大规模点云数据集S3DIS上,平均交并比达到了69.7%,总体准确率达到了89.9%。与PointNet++相比,FFBL-Net分别提升了12.4%和6.1%。

结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。