集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块(MRAM)和空间金字塔池化模块(ASPP)来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。

RGB-D双模态特征融合语义分割

针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构(AMBF)来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文(DA-context)模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码(RedNet)、注意力互补网络(ACNet)、高效场景分析网络(ESANet)等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比(MIoU)分别达到了47.9%和50.0%。

RGB-D双模态信息互补的语义分割网络

为了充分融合RGB和深度信息以进一步提高语义分割精度,引入注意力机制实现了RGB与深度2个模态特征的互补融合.基于编码器-解码器框架,提出了RGB-D双模态信息互补的语义分割网络,编码器采用双分支结构分别提取RGB图像和深度图像的特征,解码器采用逐层跳跃连接的结构渐进地融合不同粒度的语义信息实现逐像素语义分类.编码器对2个分支学习到的低层特征,利用RGB-D信息互补模块进行互补融合.RGB-D信息互补模块包括Depth-guided Attention Module(Depth-AM)和RGB-guided Attention Module(RGB-AM)2种注意力.其中,Depth-AM将深度信息补充给RGB特征,解决由于光照变化引起的RGB特征不准确问题;RGB-AM将RGB信息补充给深度特征,解决由于缺乏物体的纹理信息而导致的深度特征不准确问题.在采用相同结构backbone的条件下,RGB-D双模态信息互补的语义分割网络与RDF-Net相比,在SUNRGB-D数据集上的平均交并比,像素精度和平均精度分别提升1.8%,0.5%和0.7%;在NYUv2数据集上的平均交并比,像素精度和平均精度分别提升1.8%,1.3%和1.9%.

基于注意力感知和语义感知的RGB-D室内图像语义分割算法

近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的拼接或求和操作来融合RGB特征和深度特征,未能充分利用RGB特征与深度特征之间的互补信息.本文提出一种基于注意力感知和语义感知的网络模型ASNet(Attention-aware and Semantic-aware Network).通过引入注意力感知多模态融合模块和语义感知多模态融合模块,有效地融合多层次的RGB特征和深度特征.其中,在注意力感知多模态融合模块中,本文设计了一种跨模态注意力机制,RGB特征和深度特征利用互补信息相互指导和优化,从而提取富含空间位置信息的特征表示.另外,语义感知多模态融合模块通过整合语义相关的RGB特征通道和深度特征通道,建模多模态特征之间的语义依赖关系,提取更精确的语义特征表示.本文将这两个多模态融合模块整合到一个带有跳跃连接的双分支编码-解码网络模型中.同时,网络在训练时采用深层监督策略,在多个解码层上进行监督学习.在公开数据集上的实验结果表明,本文算法优于现有的RGB-D图像语义分割算法,在平均精度和平均交并比上分别比近期算法提高了1.9%和1.2%.

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块。其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络聚焦于信息含量更高的多模态特征域;金字塔融合模块利用四种不同金字塔尺度特征,融合局部与全局信息,提取场景语境,提升物体边缘和小尺度物体的分割精度。将这两个融合模块整合到一个包含三个分支的“编码器-解码器”网络中,实现“端到端”输出。该模型在SUN RGB-D和NYU Depth v2数据集上与多层残差特征融合网络(RDF-152)、注意力互补网络(ACNet)、空间信息引导卷积网络(SGNet)等先进方法进行实验对比。实验结果表明,与最好的表现方法RDF-152对比,APFNet的编码器网络层数从152层降低到50层的情况下,像素精度(PA)、平均像素精度(MPA)、平均交并比(MIoU)分别提升了0.4、1.1、3.2个百分点,并对枕头、照片等小尺度物体和木板、天花板等大尺度物体的语义分割质量分别有0.9~4.5和12.4~18个百分点的提升;故该模型在处理室内场景语义分割问题上具有一定的优势。

一种面向室内场景的语义分割网络

现有RGB-D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN-RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了0.9%、1.3%、1.7%,在镜子、书本、箱子等小物体的语义分割交并比指标提高了7.2%、9.6%、11.2%。验证了提出的模型在处理室内场景具更强的适用性。

基于多模态自适应卷积的RGB-D图像语义分割

随着深度传感器的出现,很多研究开始利用颜色和深度信息解决语义分割问题.现有方法未能充分利用颜色特征和深度特征的互补信息,并且通常利用固定权重的卷积核提取多尺度特征,易造成参数量冗余且无法进行在线自适应.为了解决上述问题,提出了一种基于多模态自适应卷积的RGB-D图像语义分割方法,通过引入轻量级的多模态自适应卷积生成模块,动态地生成多尺度自适应卷积核,将多模态特征的上下文互补信息嵌入卷积滤波器中,在卷积过程中充分利用了图像的内在信息,实现高效融合多模态颜色特征和深度特征.相比于传统的卷积方法和多尺度特征提取方法,文中方法有着更高的计算效率和更好的分割效果.在公开数据集SUNRGB-D和NYUDepthv2上的结果表明,文中方法的像素精准度、平均像素精度和交并比分别达到了82.5%,62.0%,50.6%和77.1%,64.2%,50.8%,均优于对比的RGB-D语义分割方法.