基于空洞空间金字塔池化的U-Net网络在肺部图像分割上的应用

目的:胸部X线图像中肺野的自动分割是相关疾病筛查和诊断的关键步骤,为了适应计算机辅助诊断系统的要求,提出一种基于空洞空间金字塔池化的U-Net网络对胸部X线图像中肺野进行自动分割。方法:在编码和解码之间引入带有空洞卷积的空间金字塔池化用于扩大接受域;同时,在多个尺度上获取图像上下文信息,用于从胸片中分割肺野,使用Montgomery数据集及深圳数据集进行验证。根据医学图像分割常用指标准确性、Dice相似系数及交并比评价基于空洞空间金字塔池化的U-Net网络分割肺野的性能。结果:验证准确性为98.29%,Dice相似系数为96.61%,交并比为93.47%。结论:本文提出一种基于空洞空间金字塔池化的U-Net网络用于分割肺野,相较于其他方法学习到更多边缘分割特征,取得更好的分割结果。

基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法

针对遥感图像(RSI)中的目标相对较小、形变多样,且包含分布不均匀的非目标和背景等问题,提出一种基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法。该方法利用空洞多尺度卷积提取多尺度目标的分类特征,运用空洞空间池化金字塔模块扩大卷积特征图的感受野,提取更充分的目标特征,并采用注意力机制、残差连接和长跳跃连接充分保留卷积层提取的RSI的敏感特征。在公开遥感图像数据库EORSSD上的实验结果表明,所提出的方法能够从复杂多样的RSI中检测多尺度目标,检测精度为96.56%。

基于空洞空间金字塔池化和多头自注意力的特征提取网络

针对深度学习在图像处理领域中多尺度特征提取能力弱、特征内部信息捕获能力差的问题,提出了一种基于空洞空间金字塔池化和多头自注意力的特征提取网络(PPSANet)。首先,引入小扩张率的空洞卷积对空洞空间金字塔池化(ASPP)模型进行改进,提高局部特征信息的感受野;其次,将改进的ASPP模型合并到残差网络(ResNet)的每个残差块中,使网络在多个维度上都具有多尺度特征提取能力;最后,将残差网络的底层残差块替换为多头自注意力(MHSA),增强网络特征学习能力,捕获数据和特征内部的相关性。图像分割实验中,与残差网络相比,在肺结节数据集中DICE相似系数(DICE)提升了5.16个百分点,肝癌数据集中DICE提升了5.22个百分点;目标检测实验中,与残差网络相比,平均精度均值(MAP)提升了2.9个百分点。实验结果表明,PPSANet能够有效解决图像处理中多尺度特征提取能力弱和内部信息捕获能力差的问题,在一定程度上提高了图像处理的能力。

基于空洞空间池化金字塔的自动驾驶图像语义分割方法

如果车辆在道路上能精确而快速地理解人和车的语义,就能在很大程度上对障碍躲避、路径规划等做出指导。现有的基于深度学习的语义分割方法存在分割速度和分割精度不能兼得等问题。本文在现有语义分割网络的基础上,通过在特征提取基准网络后添加空洞空间池化金字塔结构,可以获取图像的多尺度语义信息。实验结果表明,文中提出的A_ASPP_1和A_ASPP_2两个模块能对自动驾驶场景中常见的人和各类车辆图像进行有效的分割。对应的两种改进的网络结构虽然分割速度稍有降低,但其训练结果的平均交并比相比现有双分支网络BiSeNet分别提升了2.1和1.2个百分点。

基于多元空洞特征金字塔的电气设备图像实例分割方法

电气设备图像自动分割识别是电力设备无人巡检系统的核心技术.根据变电站电气设备3996幅人工巡检图像库,建立并标记了含1730幅图像的巡检数据集.针对Mask R-CNN网络对图像边缘信息处理不佳、小目标识别率低等问题,提出多元特征金字塔结构,引入带空洞空间卷积的池化金字塔模块,提出多元空洞特征金字塔网络,有效克服尺度变化带来的漏检现象.在自建数据集上的识别与实例分割对比测试显示,文中网络能准确识别避雷器、电流互感器等6类典型的电气设备,识别精度和分割精度较经典网络分别提高4%和6%,能有效识别小尺度目标.

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

基于DeeplabV3+网络的轻量化语义分割算法

针对传统语义分割模型参数量大、计算速度慢且效率不高等问题,改进一种基于DeeplabV3+网络的轻量化语义分割模型Faster-DeeplabV3+。Faster-DeeplabV3+模型采用轻量级MobilenetV2代替Xception作为主干特征提取网络,大幅减少参数量,提高计算速度;引入深度可分离卷积(deep separable convolution, DSC)与空洞空间金字塔(atrous spatia pyramid pooling, ASPP)中的膨胀卷积设计成新的深度可分离膨胀卷积(depthwise separable dilated convolution, DSD-Conv),即组成深度可分离空洞空间金字塔模块(DP-ASPP),扩大感受野的同时减少原本卷积参数量,提高运算速度;加入改进的双注意力机制模块分别对编码区生成的低级特征图和高级特征图进行处理,增强网络对不同维度特征信息提取的敏感性和准确性;融合使用交叉熵和Dice Loss两种损失函数,为模型提供更全面、更多样的优化。改进模型在PASCAL VOC 2012数据集上进行测试。实验结果表明:平均交并比由76.57%提升至79.07%,分割准确度由91.2%提升至94.3%。改进模型的网络参数量(params)减少了3.86×10~6,浮点计算量(GFLOPs)减少了117.98 G。因此,Faster-DeeplabV3+算法在大幅降低参数量、提高运算速度的同时保持较高语义分割效果。

基于PCSA-YOLOv7 Former的输电线路连接金具及其锈蚀检测方法

输电线路分布情况复杂且故障难以有效检测,其中连接金具长期暴露于复杂环境下易受到恶劣环境的影响出现锈蚀等故障。针对输电线路连接金具部件具有尺度多样性和存在着锈蚀故障检测精度低的问题,提出了一种基于双重注意力嵌入重构和Swin Transformer的输电线路连接金具组件及其锈蚀故障检测方法:PCSA-YOLOv7 Former。实验结果表明:该方法在构建的TLCF数据集上的综合检测性能领先于12类当前先进的目标检测算法,其中在测试集上的mAP_(0.5)达到94.9%,该方法相比于基线模型YOLOv7,其F1和mAP0.5指标分别提升了2.6个百分点和2.2个百分点,说明该方法能够更全面地理解输电线路连接金具图像中的多尺度语义信息并学习到不易区分的微小细节表征。

健身行为的人体姿态估计及动作识别

人体姿态估计和动作识别在安防、医疗和运动等领域有着重要的应用价值。为了解决不同背景及角度下各类运动动作的人体姿态估计和动作识别问题,本文提出了一种改进的YOLOv7-POSE算法,并自行拍摄制作各种拍摄角度的数据集进行训练。此算法以YOLOv7为基础,对原始网络模型添加了分类的功能,在Backbone主干网络中引入CA卷积注意力机制,提升了网络在对人体骨骼关节点和动作的分类的重要特征的识别能力。用HorNet网络结构代替原模型的CBS卷积核,提高了模型的人体关键点检测精度和动作分类的准确度。将Head层的空间金字塔池化结构替换为空洞空间金字塔池化结构,提升了检测精度并且加快了模型收敛。将目标检测框的回归函数由CIOU替换为EIOU,提高了坐标回归的精度。设计了两组对照实验,实验结果证明,改进后的YOLOv7-POSE在验证集上的mAP为95.7%,相比于原始YOLOv7算法提高了4%,各类运动动作识别准确率显著上升,在实际推理中的关键点错检、漏检等情况明显减少,关键点位置估计误差明显降低。

基于稠密块改进LinkNet的高分遥感图像道路提取

针对LinkNet网络模型在进行道路图像分割任务时,特征信息易丢失以及缺乏对目标特征的关注度问题,提出了一种基于改进LinkNet残差网络的高分遥感图像道路提取方法。将原本LinkNet模型中编码区的残差块(Res Block)替换为稠密块(Dense Block),密集连接的方式减少特征信息在传递过程中的损失,并在每个稠密块之后构建卷积注意力单元来提高模型对目标特征的学习能力,最后用空洞空间金字塔池化模块将编码区与解码区进行连接,扩大感受野的同时还能接受多尺度目标特征信息。实验表明,该方法在DeepGlobe数据集上的准确率、平均交并比和F1-score分为82.16%、83.21%和81.65%,均优于同类网络,通过对提取的路网结果对比,该算法对于树木遮蔽处以及建筑物阴影下的路网提取在完整性和准确性上都具有明显提升。

基于改进DeepLabv3+的遥感影像道路提取算法

道路提取可以帮助人们更好地理解城市环境,是城市交通和城市规划等方面的重要部分,随着深度学习与计算机视觉的发展,利用基于深度学习的语义分割算法从遥感影像中提取道路的技术趋于成熟。针对现有的深度学习道路提取算法存在的提取速度慢和容易受背景环境因素干扰而产生漏分割、不连续等问题,提出了一种基于ECANet注意力机制和级联空洞空间金字塔池化模块的轻量化算法CE-DeepLabv3+。首先,将主干特征提取网络更换为轻量级的MobileNetv2,减少参数量,提高模型的执行速度;其次,通过增加空洞空间金字塔池化模块的卷积层进一步扩大感受野,再级联不同特征层来增强语义信息的复用性,从而加强对细节特征的提取能力;再次,加入ECANet注意力机制,抑制背景环境中的干扰因素,聚焦道路信息;最后,采用改进的损失函数进行训练,消除了道路与背景样本不均衡对模型性能产生的影响。实验结果表明,改进算法的性能优良,与原始DeepLabv3+算法相比,在分割效率、分割精度上有较大的提升。

结合空洞卷积和迁移学习改进YOLOv4的X光安检危险品检测

由于X光安检图像存在背景复杂,重叠遮挡现象严重,危险品摆放方式、形状差异较大等问题,导致检测难度较高。针对上述问题,本文在YOLOv4的基础上,结合空洞卷积对其网络结构进行改进,加入空洞空间金字塔池化(Atrous Space Pyramid Pooling,ASPP)模型,以此增大感受野,聚合多尺度上下文信息。然后,通过K-means聚类方法生成更适合X光安检危险品检测的初始候选框。其中,模型训练时采用余弦退火优化学习率,进一步加速模型收敛,提高模型检测精度。实验结果表明,本文提出的ASPP-YOLOv4检测算法在SIXRay数据集上的mAP达到85.23%。该方法能有效减少X光安检图像中危险品的误检率,提高小目标危险品的检测能力。

基于改进的IIE-SegNet的快速图像语义分割方法

针对IIE-SegNet计算复杂度高、计算量大等问题,本文提出一种基于IIE-SegNet的改进方法。编码结构中引入经ImageNet训练过的VGG16和多尺度空洞卷积空间金字塔池化来获得丰富的编码信息;解码结构中,设计全局加平均模块来解决IIE-SegNet计算量大的问题;研究Focal损失函数来解决正、负采样不平衡的问题。实验结果表明:与IIE-SegNet相比,本方法在PASCAL VOC 2012数据集上的语义分割速度更快,平均每次迭代快0.6 s左右,测试单张图像的时间平均减少了0.94 s;分割精度更高,MIoU提升了2.1%。在扩展的PASCAL VOC 2012(Exp-PASCAL VOC 2012)数据集上的语义分割速度更快,平均每次迭代快0.4 s左右,测试单张图像的时间平均减少了0.92 s;分割精度更高,MPA和MIoU分别提升了2.6%和2.8%,特别是对于小尺度目标分割边界更清晰,性能得到了很大的提升。

基于二维时频谱图与改进YOLOv5的电能质量扰动识别

随着新型电力系统中新能源渗透率逐渐升高,电网结构复杂性增加,PQD(电能质量扰动)呈现多样化和复杂化的趋势。为实现电能质量扰动的精准识别,提出一种基于二维时频谱图与改进YOLOv5的电能质量扰动图像识别的方法。首先,利用S变换将PQD数据映射成二维时频谱图,通过图像来表征时间、频率和幅值的扰动细节特征;然后,搭建引入ASPP(空洞空间卷积池化金字塔)结构和注意力机制的YO-LOv5训练网络,扩大特征图的感受野以充分提取扰动图像特征,进而以图像识别方法实现PQD分类识别;最后,利用仿真数据进行扰动识别准确率和鲁棒性的验证。结果表明,该方法的识别准确率较高,且图像识别法的引入有助于PQD识别结果的可视化。

KU-Net:改进U-Net的高分辨率遥感影像建筑物提取方法

针对遥感影像背景复杂导致的建筑物提取结果存在边界模糊、小目标漏检、地物误检等问题,提出一种基于改进U-Net的建筑物提取网络KU-Net(Keep border U-Net)。该网络在U-Net的基础上加入空洞空间金字塔池化和含注意力机制的横向连接模块,其中,空间空洞金字塔池化能够提升模型的感受野,横向连接模块对不同层级的跳跃连接特征进行融合,缓解特征丢失的情况,从而进一步提高精度。实验结果表明,该方法相比于其他对比方法,提取结果更为清晰准确,对边缘有较好的保持效果,定量结果更优。

基于改进DeepLabV3+的轻量化茶叶嫩芽采摘点识别模型

[目的/意义]名优茶的采摘是茶产业中至关重要的环节,识别和定位名优茶嫩芽采摘点是现代化采茶过程中的重要组成部分。传统神经网络方法存在着模型体量大、训练时间长,以及应对场景复杂等问题。本研究以湖南省溪清茶园为实际场景,提出一种新型深度学习算法解决名优茶采摘点的精确分割难题。[方法]对传统的DeepLabV3+算法进行轻量化改进。首先,针对其模型体量大、训练时间长的问题,使用MobilenetV2网络提取图像的初始特征,并按照网络结构划分深浅层特征;其次,将高效通道注意力网络(Efficient Channel Attention Network,ECANet)与空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling,ASPP)模块结合,得到ECA_ASPP模块,并将深层特征输入到ECA_ASPP模块中进行多尺度特征融合以减少无效信息,将经过处理后的深浅层特征相加,随后通过卷积和上采样的方式对特征信息进行还原,得到分割结果;最后,通过对识别结果进行处理以获得茶叶嫩芽采摘点。[结果和讨论]改进后的DeepLabV3+在茶叶嫩芽数据集上的平均交并比达到93.71%,平均像素准确率达到97.25%,模型参数量由原来以Xception为底层网络的54.714 M下降至5.818 M。[结论]本研究在茶叶嫩芽结构分割上相对于原版DeepLabV3+的检测速度更快、参数量更小,同时保证了较高的准确率,为智能采茶机器人的采摘提供了新的定位方法。

基于改进YOLOv5s的交通标识检测算法

针对交通标识在图像中占比小、检测精度低且周围环境复杂等问题,提出一种基于改进YOLOv5s的算法.首先,在主干网络部分添加注意力机制ECA(Efficient Channel Attention,高效通道注意力),增强网络的特征提取能力,有效解决了周围环境复杂的问题;其次,提出HASPP(Hybrid Atrous Spatial Pyramid Pooling,混合空洞空间金字塔池化),增强了网络结合上下文的能力;最后,修改网络中的Neck结构,使高层特征与底层特征有效融合,同时避免了跨卷积层造成的信息丢失.实验结果表明,改进后的算法在交通标识数据集上取得了94.4%的平均检测精度、74.1%的召回率以及94.0%的精确率,较原始算法分别提升了3.7、2.8、3.4个百分点.

基于轻量级Transformer的隧道裂缝分割

裂缝检测对保证隧道结构安全至关重要,及时发现隧道裂缝缺陷,有利于降低工程维修成本和保障行车安全。然而,传统卷积神经网络在隧道裂缝检测任务中主要侧重提高检测精度和算法复杂度,如何平衡裂缝检测的精度和实时性是当前研究的一个难点。针对这一问题,本文提出一种基于轻量级Transformer的裂缝分割方法 CrackViT。首先,采用卷积神经网络与Transformer混合的MobileViT网络构建裂缝特征提取网络,减少网络模型参数和计算量,并且有效提取裂缝图像全局信息和局部特征信息。然后,提出改进空洞空间金字塔池化解码器实现不同尺度的特征提取和信息融合,实现像素级概率分布。同时,裂缝图像存在细节信息缺失问题,引入高效通道注意力模块,增强对裂缝特征信息的提取能力。此外,针对裂缝与背景类别不平衡问题,设计了在线困难样本挖掘损失函数进行缓解。实验结果表明:在单个3050Ti GPU上,CrackViT算法最终在裂缝数据集上以63 FPS的速度获得了75.62%的IoU,模型参数量仅为2.43 M。CrackViT-L模型精度IoU为76.83%,模型参数量为3.56 M,模型推理速度达到61FPS。算法测试精度优于大多数主流模型,并且需要更少的模型参数。研究结果表明,CrackViT所预测的隧道裂缝分割图像边缘更加清晰和完整,保持推理速度的同时,能够有效检测裂缝,该算法有助于隧道裂缝检测实际应用。

面向嵌入式端的轻量级交通信号灯检测算法

针对现有交通信号灯检测算法计算量和模型大,嵌入式端部署难,且对远距离交通信号灯的检测难度大,漏检率高等问题,设计了一种面向嵌入式端的轻量级交通信号灯检测算法,针对轻量化和实时性要求,采用GhostNet网络Ghost模块和Ghost瓶颈层结构,减少了模型参数量,提升了检测速度;针对特征相似问题,采用加权双向特征金字塔网络结构,使得算法对目标更敏感;使用密集空洞空间金字塔池化,优化全局上下文信息的提取;针对小目标识别问题,通过多尺度检测的改进,增强对小目标的信息提取;通过知识蒸馏,提升模型学习能力,进而提高检测性能。实验结果表明,该检测算法对交通信号灯的识别精度达到了97.0%,召回率达到了99%,较YOLOv5s算法分别提高了2.7和3个百分点,模型大小减小到8.06 MB,是YOLOv5s的58%,识别速率从51帧每秒提升到56帧每秒,通过在嵌入式端的测试,改进后算法对远距离下的交通信号灯能够实时准确地识别。

基于CNN-Transformer结构的遥感影像变化检测

现代高分辨率遥感图像变化检测借助卷积神经网络(Convolutional Neural Network,CNN)取得了显著成果。然而,卷积操作的感受野限制导致在学习全局上下文和远程空间关系方面存在不足。虽然视觉Transformer能有效捕获远程特征的依赖性,但其对影像变化细节的处理不足,导致空间定位能力有限且计算效率低下。为解决上述问题,本文提出了一种基于空间空洞金字塔池化的跨层级联线性融合端到端编解码混合CNN-Transformer的变化检测模型,兼具视觉Transformer和CNN的优势。首先,利用孪生CNN网络提取图像特征,并借助空洞金字塔池化模块对特征进行精细处理,从而更精准地捕获图像的细节特征信息。其次,将提取的特征转化为视觉单词,并通过Transformer编码器进行建模,以获取丰富的上下文信息。这些信息随后被反馈至视觉空间,通过Transformer解码器对原始特征进行强化,提升特征的表达效果。接着,采用跨层级联的方式将CNN提取的特征与Transformer编解码的特征进行融合,利用上采样技术联系不同分辨率的特征图,实现位置信息与语义信息的融合。最后,通过差异增强模块生成包含丰富变化信息的差异特征图。在LEVIR、CDD、DSIFN和WHUCD 4个公开遥感数据集上的广泛实验验证了本文方法的有效性。与其他先进方法相比,本文模型的分类性能更出色,有效改善了变化检测中的欠分割、过分割及边缘粗糙等问题。