基于多尺度级联注意网络的肺实质分割

针对肺实质分割任务中不同尺度特征的全局上下文信息利用率低、分割精度低、分割细节模糊等问题,提出一种多尺度级联注意网络(multiscale cascaded attention networks,MCANet)。该网络主要由多尺度特征提取网络(multi-scale feature extraction network,MSFENet)、多尺度注意力引导模块(multi-scale attention guidance module,MSAG)、解码特征整合器(decoding feature integrator,DFI)组成。首先,设计MSFENet以提高特征信息在不同通道维度上的空间交互能力,在采样过程中最大限度地保留图像的关键特征,丰富全局上下文信息。然后,设计MSAG提高模型在解码过程中对多尺度特征信息的利用率,并最大限度地融合两种注意力机制的优势。最后设计DFI,重新整合解码器生成的解码特征,以提高模型对边缘信息的分割性能。在LUNA16数据集上对模型性能进行实验验证,得到了0.993的Dice和3.864的HD,实验结果证明了MCANet与其他主流医学分割模型相比有更优异的分割性能,能更准确地分割肺实质。

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.

基于MES−YOLOv5s的综采工作面大块煤检测算法

综采工作面的目标具有高速运动、多尺度、遮挡等特点,现有的目标检测算法存在精度低、模型占用的内存大、硬件依赖强等问题。针对上述问题,提出了一种基于MES−YOLOv5s的综采工作面大块煤检测算法。采用轻量化设计,将MobileNetV3作为主干网络,以减小模型占用的内存,提高CPU端的检测速度;在颈部网络添加高效多尺度注意力(EMA)模块,融合不同尺度的上下文信息,并进一步减少计算开销;采用SIoU损失函数代替CIoU损失函数,以提高训练速度和推理准确性。消融实验结果表明:MobileNetV3大幅减少了模型占用的内存和检测时间,但mAP损失严重;EMA模块和SIoU损失函数可在一定程度上恢复损失的精度,同时保证模型在CPU上具有较高的检测速度,满足煤矿井下目标实时检测需求。对比实验结果表明,与DETR,YOLOv5n,YOLOv5s,YOLOv7模型相比,MES−YOLOv5s模型综合性能最好,mAP为84.6%,模型占用的内存为11.2 MiB,在CPU端的检测时间为31.8 ms,在高速运动、多尺度、遮挡和多目标的工况环境下能够保持较高的召回率和精度。

基于多尺度特征拼接的小样本茶叶病害分类

传统的茶叶病害分类是一项耗时耗力的工作.针对该问题,提出一种基于多尺度特征拼接的网络模型,用于小样本茶叶病害分类.通过多尺度注意力模块提取茶叶叶片的显著性特征,进而得到显著性图像.对显著性图像与原始图像进行通道特征拼接,使拼接后的图像既包含全局特征又包含局部特征.融合多个不同卷积层输出的特征,使特征图包含空间和语义信息.分类实验结果表明:用可分离卷积代替常规卷积后,该文模型参量总数小于关系网络模型参量总数的1/2,提高了分类效率;相对于其他5种模型,该文模型分类准确率最高.

基于MSCAU-Net的视网膜眼底图像的硬渗出液分割

硬渗出液是早期糖尿病性视网膜病变(diabetic retinopathy,DR)的主要病症之一,在眼底图像中占据的像素点较少,其检测容易受视盘、软渗出液的干扰。针对这些问题,在U型网络(U-Net)结构的基础上,通过在编码器和解码器中融入残差模块和残差通道注意力模块学习硬渗出液的细微特征,在跳跃连接中加入一种新的多尺度通道注意力(multi-scale channel attention,MSCA)模块提升网络对稀疏小病灶的分割能力,提出了MSCA U-Net。基于超广角眼底图像数据集和印度糖尿病性视网膜病变图像数据集的实验结果表明,与其他基于卷积神经网络的图像分割方法相比,所提方法具有更高的硬渗出液分割精度。

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

联合超声甲状腺结节分割与分类的多任务方法研究

针对超声图像中甲状腺结节多尺度、结节边缘模糊、良恶分类不平衡问题,提出一种联合超声甲状腺结节分割与分类的多任务方法。以全卷积网络作为主干共享网络,将提取到的浅层特征共享给多任务分支网络,在分割网络分支中,先加入深层卷积块,获取分割分支深层特征,再对深层特征进行上采样。本文提出一种改进卷积注意力模块的多尺度卷积注意力模块,将上采样结果与主干共享网络每个特征提取阶段经过带有多尺度卷积注意力模块跳跃连接后的特征张量进行拼接,减少结节边缘模糊问题,提高分割性能。同时将多尺度卷积注意力模块融入到分类分支中,优化分类性能。实验结果表明:本文所提多任务方法能有效提升分割和分类的精度,较单任务深度学习网络具有更优的分割与分类性能,能有效处理甲状腺结节多尺度、结节边缘模糊的问题,降低良恶分类不平衡带来的影响。

煤体红外热像异常区域分割方法

红外辐射可反映煤岩受载破坏情况,用于监测和预防煤岩动力灾害,但红外热像仪生成的红外热像图像素分辨率低、噪声较大,导致检测结果受主观因素影响较大,无法准确识别煤体损伤区域。将深度学习和红外热像结合进行无损检测已成为趋势,但目前结合深度学习和红外热像对煤体受载破坏进行识别检测的研究相对较少。针对上述问题,提出一种基于多尺度通道注意力模块(MS-CAM)U-Net模型的煤体红外热像异常区域分割方法。在传统U-Net模型的编码器中引入MS-CAM,设计了基于MS-CAM的U-Net模型结构,使模型在关注煤体红外热像异常区域显著特征的同时,还关注异常区域小目标特征,以提高异常区域分割精度。为降低煤体红外热像数据集匮乏对模型准确率和适用性的影响,对创建的煤体红外热像数据集进行数据增强操作,并采用MS COCO数据集对基于MS-CAM的U-Net模型进行预训练,再采用煤体红外热像数据集训练,得出最终网络权重。实验结果表明,该方法可有效分割煤体红外热像异常区域,精确率、F1分数、Dice系数和平均交并比分别为94.75%,94.94%,94.65%,90.03%,均优于Deeplab模型、U-Net模型和基于SENet注意力机制的U-Net模型。

基于MSAM-YOLOv5的内河航道船舶识别方法

针对内河航道上无人船识别目标时受背景复杂性和分布多样性影响而存在漏检的问题,提出一种基于YOLOv5(you only look once)的算法.首先,提出一种注意力模块MSAM(多尺度注意力模块),可对带有大量空间信息的浅层特征图和带有丰富语义信息的深层特征图进行注意力融合,使得融合后的特征图具有更强的特征;然后,研究MSAM模块的不同位置的影响;最后,优化锚框参数,使得锚框形状更加符合内河船舶的形状.在船舶数据集上进行实验,结果表明:本算法的召回率提高了1.12%,三个mAP(平均精度均值)指标分别提高了0.87%,5.00%和2.07%,FPS(帧率)指标提高了3,漏检率降低,整体检测准确性和检测速度均得到提升.

基于改进Inception-ResNet-v2的儿童肺炎识别与分类

针对儿童肺炎图像难以准确诊断的问题,提出一种基于改进Inception-ResNet-v2的分类识别方法,以提高对不同类型的儿童肺炎图像的识别准确率。以Inception-ResNet-v2为基础网络,引入多尺度通道注意力模块,促进网络识别和检测极端尺度变化下的目标。加大网络stem层的卷积核大小,增大模型初期的有效感受野。为避免模型出现过拟合,减少了激活函数的使用,并使用SiLU激活函数来代替ReLU激活函数。针对数据集Chest X-ray中数据量较少的问题,对输入图像进行一定角度的旋转和随机水平的翻转以增强原始数据。实验结果表明,所提方法在儿童肺炎数据的二分类中准确率达到97.9%,三分类中准确率达到85.8%,证明该方法能够有效提高儿童肺炎的识别精度。

面向图像修复的增强语义双解码器生成模型

目的图像修复技术虽然取得了长足进步,但是当图像中缺失区域较大时,非缺失区域提供的信息量非常有限,从而导致难以产生语义信息一致的内容来增强修复图像和真实图像的视觉一致性;同时图像修复常使用两阶段网络结构,基于该结构的模型不仅需要较长的训练时间,还会导致图像修复效果对第1阶段输出结果依赖性较强。针对上述问题,提出了一种基于双解码器的增强语义一致的图像修复方法。方法使用双解码器网络结构消除两阶段修复方法中存在的依赖性问题,同时有效缩短模型的训练时间;利用一致性损失、感知损失和风格损失,更好地捕获图像的上下文语义信息,解决图像修复任务中出现的视觉不一致的问题。此外,本文使用了跳跃连接,并引入多尺度注意力模块和扩张卷积,进一步提高了网络的特征提取能力。结果为了公正地评价,在CelebA、Stanford Cars和UCF Google Street View共3个数据集上对具有规则和不规则缺失区域的图像分别进行实验,采用客观评价指标:均方误差(L_(2))、峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)、FID(Fréchet inception distance)和IS(inception score)进行评价。实验结果表明本文方法修复的图像不仅在视觉上有明显的提升,而且取得了较优的数值。如规则缺失区域下,在CelebA数据集中,本文方法的FID(越小越好)比性能第2的模型在数值上减少了39.2%;在UCF Google Street View数据集中,本文方法的PSNR比其他模型在数值上分别提高了12.64%、6.77%、4.41%。结论本文方法有效减少了模型的训练时间,同时消除了两阶段网络模型中的依赖性问题,修复的图像也呈现出更好的视觉一致性。