基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

基于改进DeepLabv3+网络的沥青道路裂缝检测方法

针对传统的语义分割技术对于沥青道路裂缝的检测存在检测精度低、误差大的问题,提出了一个基于改进DeepLabv3+网络的语义分割方法。该方法在编码器阶段,采用轻量级MobileNetv2取代DeepLabv3+的主干网络Xception,从而减少参数量;在解码器阶段,引入双注意力机制以进一步提高网络的分割精度;使用Dice Loss函数与原始交叉熵损失函数混合,以缓解样本中前景和背景不平衡问题。最后以道路实时检测的数据为对象进行了大量的实验,结果表明,该方法与原始DeepLabv3+相比,平均交并比(mIoU)、平均像素精度(mPA)分别提升了8.98%和17.39%。与其他主流语义分割模型相比,改进后的DeepLabv3+在沥青道路裂缝的检测上也取得了较好的效果。

预指导的多阶段特征融合的图像语义分割网络

针对目前语义分割对图像边缘和小物体不能进行精确识别,以及简单融合多阶段特征会造成信息冗余、混杂不清等问题,提出了一个预指导的多阶段特征融合的网络(pre-guidanced multi-stage feature fusion network,PGMFFNet),PGMFFNet采用编解码器结构,编码阶段利用预指导模块对各阶段信息进行指导,增强各阶段特征之间的联系,解决各阶段特征在后续融合过程中产生的语义混杂问题。在解码阶段,利用多路径金字塔上采样模块融合高级语义特征,然后使用改进的密集空洞空间金字塔池化模块对融合后的特征进一步扩大感受野,最后将高低层次的特征信息融合,使得对小物体的分割效果更优。PGMFFNet在CityScapes公开数据集上进行了验证,得到了78.38%的平均交并比(mean intersection over union,MIoU),分割效果较好。

融合位置注意力机制与轻量化STDC网络的非结构化场景语义分割

近年来,非结构化道路分割已成为计算机视觉领域的重要研究方向之一.现有的大多数方法适合结构化道路的分割并无法满足非结构化道路分割的准确性与实时性需求.为了解决上述问题,本文对STDC网络进行改进,引入残差连接来更好地融合多尺度语义信息,还提出一种嵌入位置注意力模块的空洞空间卷积池化金字塔(PAASPP)来增强网络对道路等特定区域的位置感知能力.本文在RUGD与RELLIS-3D两个数据集上进行实验,所提出方法的MIoU在两个数据集的测试集上分别达到了50.78%和49.96%.

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

基于分割和多级掩膜学习的遮挡人脸识别方法

现有的人脸识别方法无法有效消除遮挡造成的损坏特征的影响,随着网络层数加深,损坏特征与用于身份分类的有效特征变得难以分离,影响识别结果。针对上述问题,设计了一种基于分割和多级掩膜学习策略的遮挡人脸识别方法,模型由遮挡检测分割、特征提取、掩膜学习单元三大模块构成,无需依赖额外的遮挡检测器,且无论训练还是测试都只需要一次端到端的过程即可同时学习特征掩膜和深度抗遮挡特征。掩膜学习单元以不同尺寸的遮挡分割表示和不同阶段的人脸特征为输入,为特征提取的不同阶段生成对应的掩膜,通过掩膜运算在特征提取的各阶段有效消除遮挡造成的损坏特征的影响,最终构建特征金字塔融合各阶段特征进行身份分类。实验结果表明该方法可有效提高遮挡人脸识别的准确率,在经过遮挡处理的LFW数据集以及真实的口罩遮挡数据集MFR2、Mask_whn上的准确率分别达到了98.77%、96.70%、81.53%,与现有的主流方法相比分别提升了2.04、0.48、4.44个百分点。

交叉特征融合和RASPP驱动的场景分割方法

本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题,提出了一种交叉特征融合和RASPP驱动的场景分割方法.该方法以交叉特征融合的方式合并编码器输出的多尺度特征,在融合高层语义信息时使用复合卷积注意力模块进行处理,避免上采样操作造成的特征信息丢失以及引入噪声的影响,细化目标边缘分割效果.同时提出了深度可分离残差卷积,在此基础上设计并实现了结合残差的金字塔池化模块——RASPP,对交叉融合后的特征进行处理,获得不同尺度的上下文信息,增强特征语义表达.最后,将RASPP模块处理后的特征进行合并,提升分割效果.在Cityscapes和CamVid数据集上的实验结果表明,本文提出方法相比现有方法具有更好的表现,并且对场景中的目标边缘有更好的分割效果.

基于PointNet优化网络的铁路站台语义分割

铁路站台点云语义分割是对铁路侵界现象进行检测的关键环节。文中以新型激光扫描测量系统采集的具有三维空间信息的点云数据为基础,在获取初步分割结果的基础上,设计PointNet网络整体结构提取点云数据全局特征,采用多层次金字塔结构对网络进行局部特征提取优化,实现铁路站台点云数据语义分割。研究表明,所提方法对实验点云数据的分割准确率达到84.5%,在铁路工程应用中的点云总体分割精度达到75.34%,在铁路检测中实现了大范围多尺度点云数据的可靠语义分割,满足铁路侵界现象检测分析需求。

基于高级语义及注意力的肺结节分割模型

为了能够早些发现肺结节患者,进行有效的预防和治疗,便能够大大提升肺癌患者的生存率,针对医学CT图像肺结节分割时存在异质性,会导致分割精度降低,提出一种基于高级语义及注意力的肺结节分割模型。该模型使用VGG16作为主干网络搭建U-net模型;采用金字塔池化模块(PPM),在尽可能保留原信息的情况下,将深层信息进行加强提取,得到更加丰富的高级语义信息;同时利用CA注意力机制强化重要的特征,实现空间和通道方向上的信息整合;使用Focal Loss和Dice Loss函数解决肺结节分割中前背景不均衡和难区分的问题。实验结果显示,所提出的方法在IoU、F1分数指标上较U-net分割算法分别提高了1.33%、0.95%,有效地提升了分割精度,解决了与其他组织对比度低的问题。

基于改进高分辨率网络的多语义图像分割方法

针对室外复杂场景下图像分割难度较大的问题,提出一种基于HRNet的多语义图像分割模型(HR_DfeNet)。该模型通过引入通道注意力和空间注意力模块优化特征提取,通过改进金字塔池化模块设计ASPP_M模块形成高分辨率特征提取分支,并与多种注意力机制融合。在Cityscape数据集上,HR_DfeNet相较于传统分割模型表现出不同程度的分割优化效果。

结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络

高空间分辨率(高分)遥感影像中存在海量信息,因此对高分影像的语义分割研究十分重要。传统机器学习方法的语义分割精度和效率均不高,近年来,深度学习方法迅速发展,逐渐成为影像语义分割领域的常用方法,已有研究将SegNet、Deeplabv3+、U-Net等神经网络引入遥感影像语义分割,但效果有限。考虑高分影像的特性,对用于遥感影像语义分割的U-Net网络进行了改进。首先,在U-Net网络特征提取过程中使用通道交互空间组注意力模块(channel interaction and spatial group attention module,CISGAM),使得网络能够获取更多有效特征。其次,在编码过程中将普通卷积层变换为残差模块,并在U-Net的编码器和解码器之间用加入了CISGAM的注意力金字塔池化模块(attention pyramid pooling module,APPM)连接,以加强网络对多尺度特征的提取。最后,在0.3 m分辨率的UC Merced数据集和1 m分辨率的GID数据集上进行实验,与U-Net、Deeplabv3+等原始网络相比,在UC Merced数据集上的平均交并比(mean intersection over union,MIoU)分别提升了14.56%和8.72%,平均像素准确率(mean pixel accuracy,MPA)分别提升了12.71%和8.24%。在GID数据集的分割结果中,水体、建筑物等地物的综合分割精度大幅提升,在平均分割精度上,CISGAM和APPM较常用的CBAM和PPM有一定提升。实验结果表明,加入CISGAM和APPM的网络可行性与鲁棒性均较传统网络强,其较强的特征提取能力有利于提升高分辨率遥感影像语义分割的精度,为高分辨率遥感影像智能解译提供新方案。

改进的语义分割模型及其应用

训练语义分割网络模型需要较为繁琐的人工标注作为训练标签,同时语义分割模型在构建和运行过程中也存在超参数较难确定以及模型过于庞大等问题。为解决这类问题,提出了一种基于标注框生成热点图的标签生成方法,简化了语义分割训练标签的人工标注过程。以及在可微分神经网络结构搜索方法的基础上提出了一种对硬件要求更低的神经网络结构搜索方法,并基于此种方法改进了特征金字塔结构,构建了一个改进的语义分割模型,并在安全帽与口罩检测数据集上进行了试验。与U-Net、FPN等模型比较,新的模型在参数量、计算速度以及精确度上都更有优势。

方向感知金字塔聚合网络的道路中心线提取

道路中心线作为抽象类,无明确显性特征,进而造成模型无法准确提取道路中心线。针对该问题,文中将道路中心线提取建模为语义分割任务,并根据道路中心线的线性结构特点提出了一种方向感知金字塔聚合网络(Direction-aware Pyramidal Aggregation Network,DAPANet)。首先,针对道路中心线的空间分布特性及结构特点,设计了方向感知模块(Direction-aware Module,DAM),在主干网络(ResNet18)最后输出的4个层级上分别使用4个方向感知层提取道路中心线的方向特征。然后,进一步设计融合多向性特征的金字塔聚合模块(Pyramid Aggregation Module,PAM),融合4个层级提取到的结构特征,得到更具有鲁棒性的道路中心线特征。最后,在无人机平台下采集的真实数据上进行了实验,实验结果显示所提出的DAPANet取得了84.7%的mIoU和98.6%的Precision,道路中心线的IoU达到77.28%,性能优于其他先进的对比方法,证明了所提方法对提取道路中心线的有效性。

基于轻量级卷积神经网络的多视觉特征图像分割研究

研究基于轻量级卷积神经网络的多视觉特征图像分割方法,以适应资源受限环境并满足实时性需求。在Linknet网络基础上设计轻量级多视觉特征图像分割模型,以原始多视觉特征图像为编码器输入,经过初步特征提取后,多尺度特征提取模块利用不同尺度卷积核学习其颜色、纹理等特征,通道注意力模块采用压缩-激励块对不同尺度特征作重定向,利用引入深度可分离卷积的特征提取模块A学习更抽象的特征表示,解码器利用特征提取模块B、反卷积层和标准卷积层对编码器提取的特征表示作转换处理,生成包含语义信息的特征图。通过双向特征金字塔网络融合编解码器输出特征,利用Sigmoid函数获得多视觉特征图像分割结果。实验结果表明:该方法训练损失仅为0.08;可实现多视觉特征图像的精准分割,MIoU、F1-score指标分别为0.9128、0.9068;分割模型参数量、计算量、存储空间分别为6.14 MB、1.52 GMac、0.146 GB,满足轻量级要求。

多尺度非局部自注意力MRI脑肿瘤分割网络

针对U-Net模型在MRI脑肿瘤分割上存在的感受野受限和全局信息捕获不足问题,通过引入非局部自注意力机制与多尺度的金字塔卷积提出一种改进U-Net模型—PyCSAU-Net.该模型以三维U-Net作为基础网络,在第4层横向连接位置引入扩展的三维非局部注意力模块,通过改善网络因卷积核大小受限导致的长距离建模能力不足问题来提升脑肿瘤分割精度;此外,在网络下采样阶段将普通卷积替换为具有多尺度特点的三维金字塔卷积,在多级别和分辨率下来提取更具判别性的脑肿瘤深度特征.在公开的BraTS 2019和BraTS 2020验证集上在完全肿瘤、增强肿瘤和肿瘤核心分割上分别取得了0.904/0.901、0.781/0.774和0.825/0.824的分割精度,表明所提出PyCSAU-Net方法在脑肿瘤分割任务上的有效性和竞争力.

基于深度学习的田间玉米幼苗与杂草语义分割研究

为实现复杂田间背景下玉米幼苗和杂草的准确分割,提出了一种基于改进ResNet的语义分割网络模型.首先,对骨干网络进行调整,在保证感受野不变的情况下降低计算量,提高模型的分割精度;其次,引进空洞空间金字塔池化模块,增强模型对多尺度目标上下文信息和全局上下文信息的获取能力;最后,引入条带池化模块补充和完善上下文信息,增强全局语义信息表达.实验结果表明,该模型在自建数据上获得85.3%的平均交并比.对田间复杂环境下玉米幼苗与杂草具有良好的分割效果和泛化能力,研究结果为智能除草设备提供一定的参考.

基于非对称卷积的多车道线检测方法

针对车道检测的准确性和实时性之间不平衡的问题,构建一个基于Lanenet算法和图像增强技术的多车道线检测网络,旨在更全面地利用图像中的特征信息,提高检测精度和速度。使用多尺度Retinex算法对输入图像进行色彩增强、降噪等;设计采用一种双边多尺度融合网络实现浅层特征与深层特征之间的信息交互,获取上下文语义。提出一个新的非对称卷积金字塔模块,将非对称卷积融合到不同扩张率的空洞卷积层中,提高网络的特征提取能力,减少计算量。实验结果表明,该方法与现有的深度学习算法相比,能够在遮挡和阴影条件下更有效地检测车道线,具有更高的精度,更低的误检率和漏检率。

融合双注意力机制的多尺度胰腺分割方法

为解决CT图像中胰腺边界不规则导致分割精度不高的问题,提出一种融合双注意机制的多尺度U型网络模型。该模型由一个编码器及两个解码器组成,提高特征利用。针对模型中连续下采样导致特征空间信息损失的问题,提出一种金字塔注意力特征融合模块,引入通道和空间两个独立注意力机制,提供多尺度输入信息并行采样,提高边界提取性能,提升分割精度。实验结果表明,该方法在ISICDM 2018数据集上的平均Dice系数为85.35%,具有效性。

改进DeepLabV3+的遥感图像建筑物分割

针对DeepLabV3+进行遥感图像建筑物分割时存在小目标建筑物漏分、目标建筑物误分以及边界粘合的问题,提出一种改进DeepLabV3+的遥感图像建筑物分割方法。首先,在编码器阶段使用改进的密集空洞金字塔池化DenseASPP模块,获得更大的感受野和更密集的特征金字塔,并行加入条形池化模块,使主干网络有效利用长距离依赖关系。其次,在解码器阶段引入SE通道注意力模块,加强各通道间的关联性,以获取更丰富的边缘特征。最后,将SE模块优化后的特征与原特征进行融合,增强网络的分割性能。在WHU Building数据集上的实验结果表明,本方法的建筑物分割结果在交并比(Iou)和F1指数上分别达到了92.33%和95.54%。

基于卷积神经网络的路面裂缝分割设计与研究

裂缝是路面病害最主要的类型,准确的裂缝分割是国家进行公路预防养护管理的重要决策依据。针对背景复杂下现有模型路面裂缝分割准确度有待提高的问题,提出一种基于卷积神经网络的端到端裂缝分割模型,使用分层结构的ConvNeXt编码器提取多尺度特征,特征的最高层使用金字塔池化模块进一步获取全局先验特征,通过具有横向连接和自上而下的金字塔结构进行特征融合。针对裂缝和背景不平衡问题,使用平衡交叉熵损失函数提高模型的检测性能。此外,构建了一个包含2 876张裂缝图片的数据集UCrack,覆盖多种裂缝类型和广泛的背景范围,以提供丰富的特征供模型学习。实验表明,在UCrack测试数据集上模型的召回率和F1得分比其他表现最佳的模型提高了2.68%和6.89%;在CrackDataset数据集上的测试取得了85.68%的召回率和80.11%的F1得分,说明模型具有较好的泛化性能,可应对背景复杂的路面裂缝分割。