基于空洞多尺度U-Net的胸部图像分割方法

基于深度学习地进行X射线胸片疾病检测方法研究是具有挑战性的。针对胸部X射线图像中疾病诊断与病变区域定位,提出一种基于空洞多尺度U-Net的胸部图像分割方法。该方法把提取到的多尺度信息与本身网络对应通道信息进行融合,从而实现不同感受野的上下文信息融合和图像的表层轮廓信息和深层纹理信息的融合,无论是大尺度目标分割还是小尺度目标分割均可以获得更完备的语义信息。实验结果表明,该方法能够为疾病分类、病灶区域定位等问题提供技术支持,具有非常重要的临床实际应用价值。

基于空洞卷积和增强型多尺度特征自适应融合的滚动轴承故障诊断

传统卷积神经网络(CNN)在识别故障类型时存在从原始振动信号中提取特征不足以及提取特征过程中需要更大的感受野以充分捕获信号的时间相关性的局限.针对轴承振动信号固有的多尺度特征,提出基于空洞卷积和增强型多尺度自适应特征融合的模型(DC-MAFFM).利用空洞卷积的大感受野提取信号特征,同时引入残差连接来减少卷积层上的信息损失,从而有效过滤信号中的噪声;设计改进的多尺度特征提取模块,在不同尺度上捕获互补的诊断特征,同时在各层都进行不同尺度特征融合,充分学习信号的高频和低频特征;利用提出的特征自适应融合模块对不同尺度的特征自适应赋予权重,增强判别特征学习的能力.在2个轴承数据集上进行验证,结果表明所提模型在噪声和变工况下有较强的诊断能力.在强噪声情况下,故障诊断准确率分别达到88.08%和75.56%,与其他方法相比有显著优势.

基于多尺度空洞卷积结构的路面裂缝分割方法

为了实现道路裂缝的自动化检测,改善现有裂缝分割模型存在分割不连续与嘈杂背景误分割等问题,提出了一种基于多尺度空洞卷积结构的裂缝分割模型MAC-UNet。以UNet作为基础网络,首先提出了多尺度空洞卷积结构,替换编码器与解码器中的双卷积结构,提升了网络对复杂拓扑结构的分割性能。然后,构建了交叉注意力机制,使用金字塔注意力模块代替编、解码器之间的跳跃连接,保留因池化丢失的空间特征。增加通道注意力引导多尺度信息,有效地融合到解码器特征中,使得恢复裂缝时,细节更加丰富,定位更准确。最后,在道路裂缝数据集CFD和GAPS384上与FCN、PSPNet等5种方法进行试验对比,相较于UNet,在CFD数据集上,MIOU和Kappa系数分别提升了8.4%和8.52%。在GAPS384数据集上,分别提升了6.84%和8.23%,对于道路裂缝的分割更加清晰与完整。结果表明:与主流的分割算法相比,所提出算法的识别精度方面具有较明显的优势,在光照不均匀、各种噪音干扰、背景灰度水平不同的情况下,所提模型仍然能够获取稳定的检测结果,能够应对复杂裂缝分割问题,并且可视化裂缝检测误差较小,符合实际工程需求,且模型体积较小,具有一定的工程应用价值。

有限训练样本下的多尺度空洞密集网络高光谱影像分类

为了在有限训练样本情况下充分提取高光谱影像的空间光谱特征,提高分类精度,提出一种结合空洞卷积和密集网络的高光谱影像分类方法。首先,构建多尺度空洞特征提取模块,引入不同数量的空洞卷积层和普通卷积层通过级联的方式增大模型的感受野,并提取多尺度特征。然后,在多尺度空洞特征提取模块之间建立密集连接,实现特征复用的同时缓解梯度消失问题,而模块内部无密集连接,避免构建深度网络而导致网络参数过多的问题。最后,将得到的特征依次通过池化层,全连接层和Softmax层完成分类。另外,本文在全连接层后加入dropout正则化防止出现过拟合。在Indian Pines和WHU-Hi-Longkou数据集上与经典分类方法进行对比,本文方法 OA分别为98.75%和98.82%。实验结果表明,本文设计的网络模型在有限训练样本情况下,分类效果最优。

融合密集空洞注意力金字塔和多尺度的视网膜病变分割

针对糖尿病视网膜病变(DR)分割任务中病变区域多尺度特征难以学习、边界模糊等问题,提出一种改进的U型多病变分割模型DDAPNet。首先,对DR图像进行Patch处理,使模型更好地捕捉病变的局部特征;其次在主干特征提取后引入重新设计的密集空洞注意力金字塔(DDAP)模块,扩大感受野,解决病变边界模糊问题;同时采用金字塔切分注意力进行特征增强,然后将二者进行特征融合;最后在跳跃连接中嵌入改进的残差注意力模块,降低浅层冗余信息的干扰。在数据集和医院真实数据集上进行联合验证,实验结果表明,相较于基础模型,DDAPNet模型对微动脉瘤、出血点、软渗出DDR物和硬渗出物的分割在Dice系数上分别提高了4.31%、2.52%、3.39%、4.29%,在mIoU上分别提高了1.80%、2.24%、4.28%、1.98%。该模型对病灶边缘的分割更为连续和平滑,有效提升了软渗出物等视网膜病变的分割性能。

基于多尺度U-Net与Transformer特征融合的航空遥感图像飞机检测方法

航空遥感图像(ARSI)飞机检测一直是一个重要且具有挑战性的课题。针对现有ARSI飞机检测方法(ARSIAD)检测目标的边缘模糊、小目标的检测精度低、没有充分利用ARSI的全局上下文信息等问题,提出一种基于多尺度U-Net与Transformer(MSU-Trans)特征融合的ARSIAD方法。通过多尺度卷积模块Inception提取ARSI中多样性目标的分类特征,通过Transformer增强模型的全局语义检测性能,通过特征融合模块整合高层和低层特征,得到航空目标图像完整的边缘和纹理特征。该模型结合多尺度U-Net较强的局部特征提取能力和Transformer较强的全局上下文依存关系提取能力,进而提高MSU-Trans的整体检测性能。在ARSI集上的试验表明,与U-Net、多尺度U-Net、注意力U-Nets相比,MSU-Trans具有较高的检测精度,精度超过95%,该方法为ARSIAD提供一定的技术支撑。

基于多尺度空洞残差的U-Net模型用于乳腺肿块分割

乳腺肿块是乳腺癌常见征象,实现乳腺肿块的自动分割可极大减轻医生工作负担,有利于乳腺癌的早诊断早治疗。为进一步提升分割性能,提出了一种基于多尺度空洞卷积残差的网络模型。在U-Net经典结构基础上,将多尺度空洞卷积特征提取模块嵌入到残差模块,并通过添加批量归一化层、引入乘以权重的二元交叉熵损失函数的方式,在保证空间信息的前提下,增大感知范围,增强模型对乳腺肿块区域特征的提取能力。提出的分割模型在CBIS-DDSM数据库上进行验证,得到的Dice系数为82.93%,灵敏度为84.72%,较U-Net模型分别提高了0.75%、1.36%。

基于多尺度空洞胶囊孪生网络的水稻虫害识别方法

水稻是我国主要的农业粮食产物,害虫严重影响水稻的产量和质量。为了快速、准确地识别水稻害虫,针对现有传统识别算法中需要依赖大量训练样本、训练时间长等问题,提出一种基于孪生多尺度空洞胶囊网络(multi-scale dilated capsule siamese network, MSDCSNet)的水稻害虫识别方法。首先,该方法采用3个空洞Inception模块依次提取图像的多尺度卷积特征;其次,由胶囊网络进一步提取特征向量,构建图像的特征向量对;然后通过孪生网络计算每对向量图像的余弦相似度进行害虫识别,该方法集合多尺度空洞卷积、胶囊网络和孪生网络的优势,可有效克服深度卷积网络需要大样本、训练时间长等问题;最后在一个自建的水稻害虫小样本数据集上进行测试,实现对水稻5种常见害虫(稻蝗、稻纵卷叶螟、稻棘缘蝽、二化螟、稻飞虱)的识别,平均识别率达到95.6%,与VGG19算法、ACapsNet算法相比,识别率分别提高20.8、3.6百分点。结果表明,该方法在小训练样本集中,具有较强的鲁棒性和较高的识别率,可实现对水稻害虫的精确识别,为其他农作物的害虫识别提供参考。

基于无人机智能视觉和多尺度U-Net的大田作物病虫害检测方法

作物病虫害的防治是国家生物安全体系的重大课题之一,病虫害早期检测、预警对于病虫害防治具有重要的意义。文中提出一种基于农业无人机(AUAV)和多尺度U-Net(MSU-Net)的作物病虫害检测方法,该方法使用AUAV采集大田作物图像,借助MSU-Net检测作物病虫害。系统利用AUAV在智能农业中的机动性,在多变的天气条件下采集病虫害作物叶部图像;利用MSU-Net提取作物病虫害叶片图像的分类特征,再进行病虫害叶片图像分割,由此进行病虫害检测、分类、识别,以及田间病虫害危害的分析和估计;确定病虫害叶片图像中的病虫害区域,实现高精度的作物病虫害可视化检测与类型识别。实验结果表明,该方法能够用于大田背景下的作物病虫害检测系统,提高了AUAV视觉系统的病虫害检测能力。该方法有助于作物病虫害AUAV遥感检测的标准化、信息化、精准化和智能化。

基于深层多尺度聚合3D U-Net的肾脏与肾肿瘤分割方法

针对电子计算机断层扫描(CT)图像中肾肿瘤形态复杂多变、肿瘤目标小、肿瘤边缘复杂等问题,提出了深层多尺度聚合3D U-Net网络分割模型。该模型在U-Net++基础上新增了3个下采样操作,利用密集嵌套的3D U-Net和解码器层的跳跃连接以及各层级3D U-Net子网络之间的跳跃连接,促进各个层级和各个尺度的特征信息融合,增强了对细节特征的提取能力,从而提升了对小尺度肾肿瘤和肿瘤边缘的分割精度。实验结果表明:该模型能够准确分割边缘复杂以及尺度较小的肾肿瘤,在KiTS19公开数据集上进行评估,本文模型对肾脏分割的Dise系数为0.968 2,对肿瘤分割的Dise系数为0.790 8,分割性能良好。

基于空洞Inception注意力U-Net的遥感图像目标分割方法

针对遥感图像中目标类型多、目标尺寸小、目标大小差异较大、图像视场大、环境和背景复杂等特点导致其分割困难的问题,提出一种注意力空洞多尺度U-Net(ADMSU-Net)的遥感图像中目标分割方法。ADMSU-Net由收缩子网、扩展子网、空洞残差卷积连接和空间注意连接组成,在收缩和扩展子网中引入空洞多尺度Inception模块,在不增加计算成本的情况下学习多尺度高级特征,在跳跃连接中加入空间注意机制,提取特征之间的空间相关性,提高模型的分割性能。在包含多尺度目标的遥感图像数据集EORSSD上的实验结果表明,该方法是有效可行的,分割准确率为93%以上。

一种道路裂缝检测的变尺度VS-UNet模型

为解决目前现有的图像分割算法存在检测精度低、对裂缝检测缺乏针对性等问题,采用多尺度特征融合方法,提出一种扩展LG Block模块Extend-LG Block,其由多个并行不同膨胀率的空洞卷积组成.通过参数可调节分支数量和空洞卷积膨胀率,从而改变其感受野大小,进而提取和融合不同尺度的裂缝特征.对比在深层使用多尺度特征融合模块的网络以及使用固定尺度结构进行多尺度特征融合的网络的优劣,提出一种变尺度结构的UNet模型VS-UNet,使用多个不同参数的Extend-LG Block替换UNet网络中的基本卷积块.该结构在网络浅层进行多尺度特征融合,多尺度特征融合模块提取的尺度随网络层加深逐渐减少.此结构在加强图像的细节特征提取能力的同时保持原有的抽象特征提取能力,还可避免网络参数的增加.在DeepCrack数据集以及CFD数据集上进行实验验证,结果表明,相较于其他两种结构和方法,提出的变尺度结构的网络在有更高检测精度的同时,在可视化实验对比上对各种大小的裂缝有更好的分割效果.最后与其他图像分割算法进行对比,各项指标与UNet相比均有一定程度提升,证明了网络改进的有效性.研究结果可为进一步提升道路裂缝检测效果提供参考.

基于多尺度感知的密集人群计数网络

针对密集人群场景存在的目标尺度多样、人群大尺度变化等问题,提出一种基于多尺度感知的密集人群计数网络.首先,考虑到小尺度目标在图像中占比较大,以VGG-16 (visual geometry group 2016)网络为基础,引入空洞卷积模块,以挖掘图像细节信息;其次,为充分利用目标多尺度信息,构建新的上下文感知模块,以提取不同尺度之间的对比特征;最后,考虑到目标尺度连续变化的特点,设计多尺度特征聚合模块,提高密集尺度采样范围与多尺度信息交互,从而提升网络性能.实验结果显示:在ShangHai Tech (Part_A/Part_B)和UCF_CC_50数据集上,本文方法的平均绝对误差(mean absolute error,MAE)分别为62.5、6.9、156.5,均方根误差(root mean square error,RMSE)分别为95.7、11.0、223.3;相较于最优对比方法,在UCF_QNRF数据集上的MAE和RMSE分别降低1.1%和4.3%,在NWPU数据集上分别降低8.7%和13.9%.

基于多感受野与多尺度融合的草莓病害分割算法

针对草莓病害在区域分割时存在背景复杂、目标较小导致难以被有效分割等问题,提出一种基于多感受野与多尺度融合的草莓病害分割算法。首先搭建了U-Net基础模型,使用结合注意力机制与残差网络的主干特征提取网络(CBAM-ResNet50)替代U-Net中的主干特征提取网络VGG16,一方面来加强目标区域的表征能力,抑制背景区域,以此实现复杂背景下的病害区域分割问题;另一方面通过残差减少梯度消失,提升模型的收敛速度;接着在特征融合层,设计基于3D无参注意力机制(SimAM)的多尺度自适应特征融合模块,通过邻近特征信息弥补当前层特征的信息丢失,以此提升小目标的检测能力;最后在网络底层设计基于膨胀卷积的多感受野模块,通过不同膨胀率的膨胀卷积来增加特征的全局感受野以实现整体分割区域的感知。结果表明,本研究提出的方法mPA达90.30%,相比于标准U-Net模型提高了7.13百分点,本研究提出的方法能更好地对复杂背景下及小目标病害进行精准分割。

多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

针对小目标水漂垃圾形态多变、分辨率低且信息有限,导致检测效果不理想的问题,提出一种改进的Faster-RCNN(Faster Regions with Convolutional Neural Network)水漂垃圾检测算法MP-Faster-RCNN(Faster-RCNN with Multi-scale feature and Polarized self-attention)。首先,建立黄河兰州段小目标水漂垃圾数据集,将空洞卷积结合ResNet-50代替原来的VGG-16(Visual Geometry Group 16)作为主干特征提取网络,扩大感受野以提取更多小目标特征;其次,在区域生成网络(RPN)利用多尺度特征,设置3×3和1×1的两层卷积,补偿单一滑动窗口造成的特征丢失;最后,在RPN前加入极化自注意力,进一步利用多尺度和通道特征提取更细粒度的多尺度空间信息和通道间依赖关系,生成具有全局特征的特征图,实现更精确的目标框定位。实验结果表明,MP-Faster-RCNN能有效提高水漂垃圾检测精度,与原始Faster-RCNN相比,平均精度均值(mAP)提高了6.37个百分点,模型大小从521 MB降到了108 MB,且在同一训练批次下收敛更快。

基于MSCAU-Net的视网膜眼底图像的硬渗出液分割

硬渗出液是早期糖尿病性视网膜病变(diabetic retinopathy,DR)的主要病症之一,在眼底图像中占据的像素点较少,其检测容易受视盘、软渗出液的干扰。针对这些问题,在U型网络(U-Net)结构的基础上,通过在编码器和解码器中融入残差模块和残差通道注意力模块学习硬渗出液的细微特征,在跳跃连接中加入一种新的多尺度通道注意力(multi-scale channel attention,MSCA)模块提升网络对稀疏小病灶的分割能力,提出了MSCA U-Net。基于超广角眼底图像数据集和印度糖尿病性视网膜病变图像数据集的实验结果表明,与其他基于卷积神经网络的图像分割方法相比,所提方法具有更高的硬渗出液分割精度。

基于多尺度残差空间注意力轻量化U-Net的农业害虫检测方法

田间害虫的快速精准检测是作物害虫防治的前提。现有基于卷积神经网络的作物害虫检测方法常包含大量训练参数,难以应用于现实场景中。针对上述难点,提出1种基于多尺度残差空间注意力轻量化U-Net(Multi-scale residual spatial attention lightweight U-Net,简称MSRSALU-Net)的检测方法,并应用于田间害虫检测。MSRSALU-Net由编码模块与解码模块组成。在MSRSALU-Net编码模块中,多尺度残差卷积模块用于提取害虫多尺度信息以缓解害虫尺度变化对检测性能的影响;空间注意力机制模块用于提取特征的全局依赖以缓解复杂背景对检测性能的干扰。此外,使用残差连接路径模块连接MSRSALU-Net的编码模块与解码模块,以更好地传播特征信息。在构建的IP13数据库上进行试验,基于MSRSALU-Net的害虫检测方法的识别精度为95.11%。与基于UNet、注意力UNet、MultiResUNet的害虫检测方法相比,MSRSALU-Net检测精度分别提高11.85%、5.38%、2.41%。模型参数量与U-Net、注意力UNet、MultiResUNet相比,分别减少了25.81%、21.45%、18.39%。结果表明,提出的MSRSALU-Net能有效克服害虫尺度变化、背景复杂等因素干扰,实现害虫的快速精准识别。该方法可为田间作物害虫检测系统提供技术支撑。

基于U-Net的多尺度特征增强视网膜血管分割算法

针对传统视网膜血管分割算法存在血管分割精度低和病灶区域误分割等缺点,提出一种基于U-Net的多尺度特征增强视网膜血管分割算法(MFEU-Net)。首先,为解决梯度消失问题,设计一种改进的特征信息增强残差模块(FIE-RM)替代U-Net的卷积块;其次,为扩大感受野并提高对血管信息特征的抽取能力,在U-Net的底部引入多尺度密集空洞卷积模块;最后,为减少编解码过程中的信息损失,在U-Net的跳跃连接处构建多尺度通道增强模块。在DRIVE(Digital Retinal Images for Vessel Extraction)和CHASE_DB1数据集上的实验结果表明,与在视网膜血管分割方面表现次优的算法CS-Net(Channel and Spatial attention Network)相比,MFEU-Net的F1分数分别提高了0.35和1.55个百分点,曲线下面积(AUC)分别提高了0.34和1.50个百分点,这验证了MFEU-Net可以有效提高对视网膜血管分割的准确性和鲁棒性。

基于空洞空间金字塔池化的U-Net网络在肺部图像分割上的应用

目的:胸部X线图像中肺野的自动分割是相关疾病筛查和诊断的关键步骤,为了适应计算机辅助诊断系统的要求,提出一种基于空洞空间金字塔池化的U-Net网络对胸部X线图像中肺野进行自动分割。方法:在编码和解码之间引入带有空洞卷积的空间金字塔池化用于扩大接受域;同时,在多个尺度上获取图像上下文信息,用于从胸片中分割肺野,使用Montgomery数据集及深圳数据集进行验证。根据医学图像分割常用指标准确性、Dice相似系数及交并比评价基于空洞空间金字塔池化的U-Net网络分割肺野的性能。结果:验证准确性为98.29%,Dice相似系数为96.61%,交并比为93.47%。结论:本文提出一种基于空洞空间金字塔池化的U-Net网络用于分割肺野,相较于其他方法学习到更多边缘分割特征,取得更好的分割结果。

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.