顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。

注意力引导多模态融合的RGB-D图像分割

为提高图像分割效率,提出注意力引导多模态交叉融合分割网络(ACFNet)。采用编码器-解码器结构,设计非对称双流特征提取网络,RGB和深度编码器分别以ResNet-101和ResNet-50为主干网络,并在RGB编码器中添加全局-局部特征提取模块(GL)。为有效融合RGB和深度特征,提出注意力引导多模态交叉融合模块(ACFM),在多阶段利用融合的增强特征表示。实验结果表明,ACFNet在室内场景分割数据集NYUD V2上的平均交并比(mIou)达到了51.5%,与先进的语义分割算法相比,显著提高了分割性能。