结合语义分割图的注意力机制文本生成图像

针对生成对抗网络生成图像存在结构不完整、内容不真实、质量差的问题,提出一种结合语义分割图的注意力机制文本到图像生成模型(SSA-GAN)。首先采用一种简单有效的深度融合模块,以全局句子向量作为输入条件,在生成图像的同时,充分融合文本信息。其次结合语义分割图像,提取其边缘轮廓特征,为模型提供额外的生成和约束条件。然后采用注意力机制为模型提供细粒度词级信息,丰富所生成图像的细节。最后使用多模态相似度计算模型计算细粒度的图像-文本匹配损失,更好地训练生成器。通过CUB-200和Oxford-102 Flowers数据集测试并验证模型,结果表明:所提模型(SSA-GAN)与StackGAN、AttnGAN、DF-GAN以及RAT-GAN等模型最终生成的图像质量相比,IS指标值最高分别提升了13.7%和43.2%,FID指标值最高分别降低了34.7%和74.9%,且具有更好的可视化效果,证明了所提方法的有效性。

基于域适应的图像语义分割综述

随着深度学习技术的迅速发展,语义分割算法在性能提升的同时依赖于大规模成对图像数据及其耗时耗力的像素级标注.人工制作的合成图像以规模大、易标注的特点,替代真实图像有效降低了训练成本.然而,合成图像与真实图像的域间差异性降低了分割网络的泛化能力.针对域间差异问题,研究者提出域适应语义分割(Domain Adaptive Semantic Segmentation,DASS)算法.该算法通过提取合成图像与真实图像的跨域共享知识,减小域间差异,提升分割网络在真实图像上的泛化能力.本文根据网络结构对主流DASS算法进行分类,分析了不同算法的性能对比结果,并提出未来研究方向.研究结果表明:早期的DASS算法利用生成对抗网络对齐源域和目标域的边缘分布,但网络结构复杂,并且只能实现两域的全局对齐,无法实现不同类别之间的精细对齐,性能较低;后续算法逐渐转向自训练网络结构,利用预训练的分割网络在目标域生成伪标签,为下一轮训练提供监督,结构简单,性能表现优于早期算法;随着Transformer网络的出现,其强大的特征提取能力进一步提升了DASS算法的准确性.

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.

基于光照感知和特征增强的可见光-热红外图像语义分割

在智能光电设备中,基于人工智能的可见光-热红外(Red Greed Blue-Thermal, RGB-T)图像语义分割任务可以广泛应用于自动驾驶、无人机航拍、视频监控等。图像的光照信息能在一定程度上反映场景中图像局部区域信息的可靠性,利用光照先验信息有助于进一步提高语义分割的性能。基于此,提出一种基于光照感知和特征增强的RGB-T图像语义分割模型,通过挖掘光照先验信息并结合注意力机制,引导网络在多模态图像特征融合过程中更加关注可靠信息的提取,同时抑制干扰信息的引入。实验在MFNet数据集上与最新的12种方法进行了比较,相比于性能第2的模型,mAcc提高了5.4%,mIoU提高了1.0%。所提网络模型能够获得更准确的分割结果,并通过定性定量实验验证所提模型及各个模块的有效性。

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。

基于双重聚合和自合并网络的小样本图像语义分割

小样本图像语义分割是一种非常具有挑战性的任务,它试图使用几个带标签的样本来分割新类对象。主流方法常会存在特征鉴别性不高和原型偏差等问题。为缓解这些问题,本文提出一种基于双重聚合和自合并网络的小样本图像语义分割方法,能够充分挖掘特征相似性并减小原型偏差。首先,提出一个特征-掩码双重聚合模块,在支持特征和查询特征之间构建覆盖所有空间位置的密集相似关系,为特征聚合和掩码聚合提供全局语义信息。具体来说,通过对特征相似矩阵进行特征和掩码双重聚合,可以为查询图像获取具有引导信息的增强特征和初始掩码。然后,提出自合并解码器,通过合并基于初始掩码的自原型和已知的支持原型来减小原型偏差,并通过融合增强特征与合并原型向解码器传递丰富的类别语义信息。最后,利用基类预测信息进一步优化来自解码器的预测结果。本文方法在数据集PASCAL-5i上的mIoU在1-shot和5-shot情况下分别取得了68.3%和71.5%,在数据集COCO-20i上的mIoU在1-shot和5-shot情况下分别取得了46.5%和51.4%,优于主流方法的分割性能,能够更准确地分割出新类的目标区域。

基于可学习图像滤波器的雾天驾驶场景图像语义分割

尽管基于深度学习的图像语义分割方法在传统的驾驶数据集上取得了很好的效果,但针对雾天条件下的低质量图像的语义分割仍然具有挑战性。针对此问题,提出了可学习图像滤波器LIF模块,旨在利用不同雾浓度下驾驶场景图像的内在特征,改进雾天驾驶条件下的图像语义分割。LIF模块由超参数预测模块HPM和图像滤波模块IFM组成,IFM中滤波器的超参数由HPM预测得到。以端到端的方式联合学习HPM和语义分割网络,确保了HPM可以学习适当的IFM参数,以弱监督的方式增强图像以进行分割。分别以DeepLabV3+、PSPNet和RefineNet作为基线模型,并在Cityscapes和Foggy Cityscapes的混合数据集上进行实验,基线模型加可学习的图像滤波器模块的MIoU分别为63.14%,60.45%和61.41%,相比基线模型的MIoU分别提升了3.03%,1.52%和1.69%,实验结果表明了该模型的有效性与通用性。

基于双交叉注意力Transformer网络的小样本图像语义分割

小样本图像语义分割只用少量样本就能分割出新类别。针对现有方法中语义信息挖掘不充分的问题,本文提出一种基于双交叉注意力网络的小样本图像语义分割方法。该方法采用Transformer结构,利用双交叉注意力模块同时从通道和空间维度上学习多尺度查询特征和支持特征的远程依赖性。首先,本文提出通道交叉注意力模块,并结合位置交叉注意力模块构成双交叉注意力模块。其中,通道交叉注意力模块用于学习查询和支持特征之间的通道语义相互关系,位置交叉注意力模块用来捕获查询和支持特征之间的远程上下文相关性。然后,通过多个双交叉注意力模块能够为查询图像提供包含丰富语义信息的多尺度交互特征。最后,本文引入辅助监督损失,并通过上采样和残差连接将多尺度交互特征连接至解码器以得到准确的新类分割结果。本文方法在数据集PASCAL-5i上的mIoU达到了69.9%(1-shot)和72.4%(5-shot),在数据集COCO-20i上的mIoU达到了48.9%(1-shot)和54.6%(5-shot)。与主流方法相比,本文方法的分割性能达到了最先进的水平。

基于EMA改进的图像语义分割算法

针对期望最大化注意(EMA)算法参数与图像的语义关联不足以及缺少对通道间信息关注的问题,本文提出一种双重注意力网络EMA+算法。该算法设计了2个模块:空间注意力模块和通道注意力模块。空间注意力模块以EMA算法为主体架构,在责任估计步骤采用特征图作为期望最大化(EM)算法的初始参数,增加参数与特征图语义上的关联。通道注意力模块使用高效通道注意力(ECA),通过使用一维卷积学习通道之间交互信息,避免由于降维操作导致的破坏通道与其权重之间的直接对应关系。EMA+通过融合空间注意力模块和通道注意力模块,显著提高了语义分割任务的性能。实验结果表明,EMA+在PASCAL VOC2012和一些更复杂的数据集上均取得了较EMANet等方法更优的交并比指标,有较好的泛化能力。

基于特征融合与自注意力机制的图像语义分割算法

提出了一种基于特征融合与自注意力机制的图像语义分割方法,设计了特征融合模块、自注意力模块、增强模块、全局空间信息融合模块和损失函数。特征融合模块融合多个图像的所有组件,通过自注意力机制来执行。自注意力模块从而有效地捕获远程上下文信息。增强模块旨在增强输入图像以获得更多样化的特征。全局空间信息注意模块相对于图像尺寸只有线性的复杂度,能够带来显著的提升效果。利用损失函数,对模型进行优化,将每个像素的分类结果优化到最接近真实值。实验结果表明,所提出的方法可以显著提高PASCAL VOC 2012数据集、COCO-Stuff 10K数据集和ISIC 2018数据集这3个数据集的性能,并在3个数据集上进行了验证,实验还通过对自注意力、推理速度和消融实验进行比较,验证了本文方法的优越性。

基于图像语义分割与结构保持约束的风机叶片拼接技术

以无人机对风机叶片的巡检拍摄为应用背景,开展了风机叶片图像的拼接方法研究,提出了一种先进行背景分割然后进行图像网格化拼接的处理方法。通过深度学习U-Net算法,进行图像中风机主体部分的提取,该处理能够有效处理多视角大视差、目标背景特征点分布不均导致的风机叶片拼接困难的问题;在图像网格优化的过程中,基于保护风叶全局线性度的策略设计能量函数,优化得到的网格顶点对风机边缘的直线特征进行了有效保护。实现了多幅风机叶片的自然拼接,拼接得到的图像视觉效果畸变小、连续真实。

基于轻量级改进网络的无人机航拍图像语义分割研究

目前图像语义分割深度学习算法多为通用任务型,这使其应用于无人机航拍图像语义分割时存在目标尺度多变以及物体边界分割不清晰等问题。同时,与无人机相关的应用需要使用尽可能轻量化的网络。有鉴于此,提出了一种轻量化语义分割网络Lite-SFNet。采用轻量化的STDC2网络作为骨干网络,设计了一种轻量化的空间金字塔池化模块。通过减少金字塔分支数和引入高效的有效通道注意力(Efficient Channel Attention,ECA)模块,降低了模型参数量和提高了模型特征提取能力,进而提高了网络对多尺度目标的识别能力。对语义流校准模块(Flow Alignment Module,FAM)进行了改进,构建轻量化的解码器提高了网络对物体边界分割能力。在Aeroscapes等航拍图像数据集进行了仿真实验。实验结果表明:与现有轻量级模型相比,所提方法以较少的浮点计算量和参数量实现了较高的精度。

基于候选区域生成的弱监督图像语义分割算法

针对现有弱监督语义分割方法依赖于初始响应以及分类任务,只关注区分目标对象区域,无法通过完整的区域来优化损失函数的问题。论文提出了一种基于候选区域生成的语义分割算法,用于图像级标注的弱监督图像语义分割。该算法首先在分类网络中引入混合数据增强方案,再通过制定相应的策略,对图像特征进行聚类,构建子类目标并生成子类标签,从而使得训练过程不仅仅依赖于可区分的对象区域。在PASCAL VOC 2012数据集上进行了全面的实验和分析,与其他弱监督语义分割算法相比,论文提出的算法表现出良好的性能:通过使用混合数据增强以及自监督的候选区域生成的方法,使原始图像产生更加完整的响应映射,将交并比(IoU)提高了2.1%,提高了最终分割网络的性能。

图像语义分割技术下园林要素识别与视觉感知关联性研究

园林环境的物理特性与公众视觉感知体验密切相关,深入分析园林构成要素对视觉感知的微观机制,是理解游客视觉感知体验的关键途径。研究以9座园林为案例,运用图像语义分割技术、语义差异分析(SD)等量化方法,探究16项感知指标与园林要素间的关联。研究发现,不同地区的园林在视觉感知体验上展现出独特的地域风格,尤其体现在自然与人工设计相融合的园林要素对视觉美感的显著提升作用。然而,园林内部的主路径规划与低层植被区域在视觉感知评估中得分较低,主要归因于其视觉特征的单一性和辨识度不足等。此研究通过量化分析,揭示了园林内部不同构成要素在视觉感知评价上的异质性效应,进一步深化对园林感知机制的理解。

基于改进的DeepLabv3+图像语义分割算法研究

目前主流图像语义分割网络往往存在误分割、分割不连续和模型复杂度高的问题,不能灵活高效地部署于实际场景中。针对这一现象,通过综合考虑网络的参数量、预测时间和准确度,设计出一种优化DeepLabv3+模型的图像语义分割网络。骨干网络改用轻量级EfficientNetv2网络提取特征,提高参数利用率;在空洞空间金字塔池化模块中使用混合条带池化模块代替全局平均池化,引入深度可分离膨胀卷积,减少参数量和提高学习多尺度信息的能力;使用注意力机制增强模型表征力,提取骨干网络多条浅层特征,丰富图像的几何细节信息。实验表明,本文算法可达到mIoU为81.19%,参数量为55.51×106,有效优化了分割精度和模型复杂度,同时也提高了模型泛化性。

基于自注意力机制的矿井次光照图像语义分割研究

引入图像语义分割技术,对矿井次光照环境中的目标物进行分割,将图像分成原始清晰图像和次光照图像两类,采用基于深度学习的图像增强方法对次光照条件下拍摄的图像增强细节后替换,再利用单应变换算法对数据集进行扩充,进而构建矿井巷道图像语义分割标准数据集。提出一种基于自注意力机制的轻量级编码—解码结构网络:以DeepLab V3+编码—解码网络为基础网络,在编码结构中,提取矿井图像深、浅层语义特征信息,将深层语义特征信息经由轻量级自注意力机制模块进行特征激活,而浅层语义特征信息直接送入解码器中,在解码结构中拼接深、浅层语义特征信息,恢复原始图像尺寸,输出分割结果。与传统算法就图像预测进行对比实验,结果表明:在网络复杂度方面,对于3通道512×512像素大小的图像,算法的网络理论计算量FLOPs仅48.80 G,参数量仅11.90 M;在网络分割精度方面,平均交并比76.50%,平均像素精度87.75%,领先其他主流网络;在速度方面,推理一张图像的速度能达到0.032 s,可满足轻量级网络的要求。

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。

基于深度学习语义分割模型的草地植被盖度估算对比研究

草地植被盖度是评估草地生态系统健康和管理效果的重要指标。草地植被盖度常用经验目测或传统图像分类方法获得,存在植被盖度估算主观性较强、精度不够、模型泛化能力不足等问题。本研究利用深度学习语义分割模型对草地植被图像进行分割,并基于分割结果估算草地植被盖度,在像素尺度比较3种深度学习语义分割模型(Unet++、DeepLabv3+、Segformer)和Canopeo模型以及经典机器学习模型随机森林(Random Forest)在草地植被分割任务上的性能,结果表明:①Unet++模型分割性能最优,其平均交并比(MIoU)达0.79,F1分数(F1-score)达0.87,明显优于其他模型;相比之下Random Forest模型的表现较差,其MIoU为0.47,F1-score为0.55。②在图像尺度草地植被盖度估算中,Unet++、DeepLabv3+和Segformer模型估算的草地植被盖度均与实测草地植被盖度较为一致,估算精度明显高于Canopeo模型和Random Forest模型,深度学习语义分割模型中Unet++模型估算的草地植被盖度精度最高,决定系数(R2)达0.98,均方根误差(RMSE)低于3.8%,说明深度学习语义分割模型能够较为准确地估算草地植被盖度。③由于Unet++模型具有比其他模型更优的草地植被分割性能,因此将Unet++模型作为最终的草地植被盖度估算模型,并应用于荒漠草原、典型草原和草甸草原3个实验样地,模型可快速准确地获取样地的草地植被盖度。研究显示,Unet++等深度学习语义分割模型在草地植被盖度估算中表现出较高的准确性和适用性,能为草地植被盖度估算提供高效可靠的工具。

图像语义分割方法在高分辨率遥感影像解译中的研究综述

快速获取遥感信息对图像语义分割方法在遥感影像解译应用发展具有重要的研究意义。随着卫星遥感影像记录的数据种类越来越多,特征信息越来越复杂,精确有效地提取遥感影像中的信息,成为图像语义分割方法解译遥感图像的关键。为了探索快速高效解译遥感影像的图像语义分割方法,对大量关于遥感影像的图像语义分割方法进行了总结。首先,综述了传统的图像语义分割方法,并将其划分为基于边缘检测的分割方法、基于区域的分割方法、基于阈值的分割方法和结合特定理论的分割方法,同时分析了传统图像语义分割方法的局限性。其次,详细阐述了基于深度学习的语义分割方法,并以每种方法的基本思想和技术特点作为划分标准,将其分为基于FCN的方法、基于编解码器的方法、基于空洞卷积的方法和基于注意力机制的方法四类,概述了每类方法中包含的子方法,并对比分析了这些方法的优缺点。然后,简单介绍了遥感图像语义分割常用数据集和性能评价指标,给出了经典网络模型在不同数据集上的实验结果,同时对不同模型的性能进行了评估。最后,分析了图像语义分割方法在高分辨率遥感图像解译上面临的挑战,并对未来的发展趋势进行了展望。