面向无人驾驶场景的实时语义分割算法研究

针对现有无人驾驶场景中分割精度与运行速度之间难以取得平衡的问题,提出一种新型的实时语义分割算法。首先,利用残差结构(Residual)构建出高效特征提取单元(EFEU)以更好地感知空间和语义信息;其次,采用了一种双边结构,其中空间分支结合池化操作保留浅层空间信息,上下文分支用来提供大的感受野,捕获深层上下文信息,两条分支在网络的不同阶段合并,以加强不同层次之间的信息传播。最后结合深度可分离卷积和通道重排操作构建上下文融合模块,将不同层次之间的信息进行融合,进一步提高模型的分割效果。在常用的数据集上进行实验,实验结果证明了所提方法的有效性。

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。

轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。

改进STDC-Seg的实时图像语义分割网络算法

针对目前自动驾驶等领域下语义分割算法实时性不足的问题,提出一种基于编码器—解码器结构的轻量级实时语义分割网络模型。首先,使用短期密集级联(STDC)网络作为骨干网络用以提取图像特征;然后,构建一种轻量级解码器,以减少解码器部分的计算开销;最后,为加强解码器阶段的特征表达,提出2种注意力融合模块对不同层次的特征进行加权融合。实验结果表明:该算法在Cityscapes测试集上实现了74.22%mIoU和154.7 fps的性能;与STDC-Seg网络相比,该算法减少了21.3%的参数量,平均交并比(mIoU)高出2.02个百分点。在实时性和准确性方面获得了很好的平衡。

基于红外热成像的夜间农田实时语义分割

农田环境实时语义分割是构成智能农机的视觉环境感知的重要环节,夜间农田语义分割可以使智能农机在夜间通过视觉感知农田环境进行全天候作业,而夜间无光环境下,可见光摄像头成像效果较差,将造成语义分割精度的下降。为保证夜间农田环境下红外图像语义分割的精度与实时性,该研究提出了一种适用于红外图像的红外实时双边语义分割网络(Infrared Real-time Bilateral Semantic Segmentation Network,IR-BiSeNet),根据红外图像分辨率低,细节模糊的特点该网络在实时双边语义分割网络(Bilateral Semantic Segmentation Net,BiSeNet)结构基础上进行改进,在其空间路径上,进一步融合红外图像低层特征,在该网络构架中的注意力提升模块、特征融合模块上使用全局最大池化层替换全局平均池化层以保留红外图像纹理细节信息。为验证提出方法的有效性,通过在夜间使用红外热成像采集的农田数据集上进行试验,数据集分割目标包括田地、行人、植物、障碍物、背景。经试验验证,提出方法在夜间农田红外数据集上达到了85.1%的平均交并比(Mean Intersection over Union,MIoU),同时达到40帧/s的处理速度,满足对夜间农田的实时语义分割。

一种面向城市场景的轻量级实时语义分割网络

在自动驾驶系统、无人机、机器人和视频监控等移动终端设备中,语义分割深度卷积神经网络的复杂程度也随着网络层数的增加而增加。虽然这能更好地提高网络的精度,但是在日常生活真实场景下,需要考虑网络的参数和运算速度,并同时确保较好的网络精度。基于上述需求,开发一种对移动设备内存和计算能力固定且相对较小的实时语义分割场景理解系统是有必要的。根据先前的实时语义分割模型的启发思想,设计了一种轻量化的基于注意力机制的实时语义分割模型ALRNet(Attention-Light-Realistic Net)。通过在城市场景的2个数据集Cityscapes和Camvid上进行实验并与其他模型进行比较,结果表明,所设计的网络模型能够在提升分割速度的同时,也同样保证了分割的精度。做到了分割精度与速度的平衡。

联合多连接特征编解码与小波池化的轻量级语义分割

语义分割是当前场景理解领域的基础技术之一。现存的语义分割网络通常结构复杂、参数量大、图像特征信息损失过多和计算效率低。针对以上问题,基于编-解码器框架和离散小波变换,设计了一个联合多连接特征编解码与小波池化的轻量级语义分割网络MLWP-Net(Multi-Link Wavelet-Pooled Network),在编码阶段利用多连接策略并结合深度可分离卷积、空洞卷积和通道压缩设计了轻量级特征提取瓶颈结构,并设计了低频混合小波池化操作替代传统的下采样操作,有效降低编码过程造成的信息丢失;在解码阶段,设计了多分支并行空洞卷积解码器以融合多级特征并行实现图像分辨率的恢复。实验结果表明,MLWP-Net仅以0.74 MB的参数量在数据集Cityscapes和CamVid上分别达到74.1%和68.2%mIoU的分割精度,验证了该算法的有效性。

改进特征融合的实时语义分割方法

针对实时语义分割任务中需要同时兼顾位置信息和语义信息的问题,提出一种改进特征融合的实时语义分割方法。该方法由卷积神经网络、轻量级注意力模块(light attention module,LAM)和双通道特征融合模块(bilateral feature fusion module,BFFM)组成。首先,使用卷积神经网络结合轻量级注意力模块快速提取图像的位置信息和语义信息。然后,使用双通道特征融合模块指导位置信息和语义信息的特征图融合。所提方法在CamVid上,平均交并比达到67.8%,分割速度可达到52.6帧/s。在Cityscapes上,平均交并比达到73.5%,分割速度可达到31.8帧/s。实验结果表明,提出的分割方法满足分割的准确性和实时性要求,能够适用于实时语义分割任务中。

基于特征上下文编码的实时语义分割网络

针对语义分割网络参数量过大导致分割速度慢的问题,文章设计了一种基于特征上下文编码的实时语义分割网络FCENet。FCENet首先利用卷积因式分解和通道混洗方法设计一种双分支的非对称瓶颈块,进行下采样过程中图像的空间特征信息编码,有效减少网络参数,提升网络的推理速度;然后将下采样得到的编码信息作为输入特征映射进行后处理,采用不同的卷积操作获取不同层级的特征上下文,通过引入通道注意力机制联结不同层级信息拓展网络的学习能力,提升网络的分割精度。在CityScapes数据集上的实验结果验证了FCENet不仅保持了较高的分割精度,同时具有较快的推理速度。

基于压缩提炼网络的实时语义分割方法

针对目前语义分割算法难以取得实时推理和高精度分割间平衡的问题,提出压缩提炼网络(SRNet)以提高推理的实时性和分割的准确性。首先,在压缩提炼(SR)单元中引入一维(1D)膨胀卷积和类瓶颈结构单元,从而极大地减少模型的计算量和参数量;其次,引入多尺度空间注意(SA)混合模块,从而高效地利用浅层特征的空间信息;最后,通过堆叠SR单元构成编码器,并采用两块SA单元在编码器的尾部构成解码器。实验仿真表明,SRNet在仅有30 MB参数量及8.8×10^(9)每秒浮点操作数(FLOPS)的情况下,仍可在Cityscapes数据集上获得68.3%的平均交并比(MIoU)。此外,所提模型在单块NVIDIATitanRTX卡上实现了12.6帧每秒(FPS)的前向推理速度(输入像素的大小为512×1024×3)。实验结果表明,所设计的轻量级模型SRNet很好地在准确分割和实时推理间取得平衡,适用于算力及功耗有限的场合。

加强空间信息引导的道路场景实时语义分割

针对实际道路场景不同类别位置和轮廓等细节部分相差较大,导致细节信息的丢失和小目标分割不准确等问题,提出一种加强空间信息引导的实时语义分割网络。该网络首先采用微调的轻量级分类卷积编码器,提取图像中不同层次的高级语义信息和浅层空间信息;其次,设计空间细节引导融合模块为编码器的深层与浅层的特征映射提供指导,使得融合过程中更加信任细节轮廓信息,增强空间感知能力,并抑制背景噪声影响;最后通过损失函数辅助监督训练和数据相关型上采样加强训练阶段的特征表示,进一步优化深度卷积网络,以弥补大幅度上采样造成的信息损失。在CamVid和Cityscapes数据集上进行实验验证,其分割精度分别为73.7%和75.3%,推理速度分别为158.0和126.5 fps。与其他实时语义分割算法相比,算法能更好地平衡精确度和实时性,在实际应用场景中也具有更好的鲁棒性。

全局双边网络的语义分割算法

语义分割任务是对图像中的物体按照类别进行像素级别的预测,其难点在于在保留足够空间信息的同时获取足够的上下文信息。为解决这一问题,文中提出了全局双边网络语义分割算法。该算法将大尺度卷积核融入BiSeNet网络中,在BiSeNet网络原有的空间路径和上下文路径两条分支的基础上增加全局路径分支,使网络能够捕获更多的上下文信息,同时提出将BiSeNet网络中的注意力优化模块和特征融合模块中的全局池化模块替换为全局卷积模块,进一步提高了网络获取上下文信息的能力,从而使预测结果更加准确。实验结果表明,该算法在Cityscapes数据集上将交并比(MIoU)指标提高了0.84%,获得了优于BiSeNet网络的表现。

基于双支网络协作的红外弱小目标检测

红外弱小目标检测在预警系统和导弹制导中具有重要的作用,一直是红外图像处理中颇受关注的研究方向。由于红外弱小目标具有信杂比低、尺寸小、形状结构不明显和纹理弱等特点,现有的通用目标检测和语义分割网络直接应用到红外弱小目标检测效果不佳,为此提出一种基于双支网络协作的红外弱小目标检测网络(DualNet)。将检测任务划分成两个子任务,即降低漏检和降低虚警,进而设计两个不同的网络架构分别处理,并利用加权融合损失函数将两支网络信息整合,使得DualNet能够有效地平衡漏检率和虚警率。在自建数据集上的实验结果表明:DualNet相较于通用性能较好的FCN、DeepLabv3、cGAN以及U-net语义分割网络模型具备更高的准确率和鲁棒性,其在F1-measure指标上提高了8%;在SIRST公开数据集上的检测性能也显著超过了基于深度学习的红外目标检测模型ACM和MDvsFA-cGAN,以及多个经典的非深度学习红外弱小目标检测方法。研究结果表明,所提出的方法能够有效提高红外弱小目标的检测精度。

基于区块自适应特征融合的图像实时语义分割

近年来结合深度学习的图像语义分割方法日益发展,并在机器人、自动驾驶等领域中得到应用.本文提出一种基于区块自适应特征融合(Block adaptive feature fusion,BAFF)的实时语义分割算法,该算法在轻量卷积网络架构上,对前后文特征进行分区块自适应加权融合,有效提高了实时语义分割精度.首先,分析卷积网络层间分割特征的感受野对分割结果的影响,并在跳跃连接结构(SkipNet)上提出一种特征分区块加权融合机制;然后,采用三维卷积进行层间特征整合,建立基于深度可分离的特征权重计算网络.最终,在自适应加权作用下实现区块特征融合.实验结果表明,本文算法能够在图像分割的快速性和准确性之间做到很好的平衡,在复杂场景分割上具有较好的鲁棒性.

基于注意力和多标签分类的图像实时语义分割

针对现阶段很多实时语义分割算法分割精度低,尤其对边界像素分割模糊的问题,提出一种基于跨级注意力机制和多标签分类的高精度实时语义分割算法.首先基于DeepLabv3进行优化,使其达到实时运算速度.然后在此网络基础上增加跨级注意力模块,使深层特征为浅层特征提供像素级注意力,以抑制浅层特征中不准确语义信息的输出;并在训练阶段引入多标签分类损失函数辅助监督训练.在Cityscapes数据集和CamVid数据集上的实验结果表明,该算法的分割精度分别为68.1%和74.1%,分割速度分别为42帧/s和89帧/s,在实时性与准确性之间达到较好的平衡,能够优化边缘分割,在复杂场景分割中具有较好的鲁棒性.

基于深度学习的无人机图像语义分割算法研究

已有关于无人机视觉的图像语义分割算法多数是对遥感图像进行分割,无法表现地面细节信息,导致无人机在低空飞行任务中的实时自主环境感知存在障碍。针对该问题,提出一种低空无人机实时图像语义分割方法。设计一种新型的超网络体系结构,在编码器的最后一层加入一个上下文头权重生成模块,在编码器编码结束前生成解码器中每个块的权重,以减少预测时网络的参数量和计算量,达到实时分割的效果。在解码器中,利用局部连接层机制设计一种动态分片卷积算法,在面对跨越多个分片的大型分割对象时充分考虑上下文语义信息,使解码器中每个卷积核的权重随输入特征图的空间位置而变化,同时利用动态权重针对性地分割不同物体,最大程度地提高网络的自适应性。在低空无人机视觉图像数据集上的实验结果表明,该方法对于建筑、道路、静态车等类别图像的平均交并比为66.3%,预测速度达到37.9帧/s,与MSD、ABCNet算法相比,其分割精度分别提升9.3和2.5个百分点。

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块(SPM)的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力(CCA)模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示:所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比(mIoU)。相较高效残差分解卷积网络(ERFNet),所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法(LRNNet)相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。

基于Transformer的红外小目标分割算法研究

红外小目标由于成像距离远,在其图像中仅为很少的几个像素点,因此无法有效获取目标的形状、纹理等特征,进而难以将其从复杂背景中提取出来。文中在分析红外小目标图像特点的基础上,将已在自然语言处理领域取得成功的Transformer模型引入到红外小目标检测领域,提出一个基于Transformer模型的红外小目标图像分割网络U-former。该网络采用U形的编码器-解码器结构,通过对图像像素点的线性叠加和切分,保留小目标细节特征;同时在编码器的不同层次中使用Transformer模型对图像全局特征进行分析,通过对背景信息的提取和抑制,实现小目标的分割提取。实验结果表明:U-former网络能够在复杂背景中分割提取出红外小目标,且相比已有的其他方法,所提方法可以获得更高的F-Measure值,在低虚警率下获得较高的目标检测率。