面向场景解析的空间结构化编码深度网络

为了研究有效的特征提取和精确的空间结构化学习对提升场景解析效果的作用,本文提高出基于全卷积神经网络空间结构化编码深度网络,网络内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法,算法能够比较准确地描述物体所处空间的物体分布以及物体间的空间位置关系。通过空间结构化编码深度网络,网络不仅能够提取包含多层形状信息的多维视觉特征,而且可以生成包含结构化信息的空间关系特征,从而得到更为准确表达图像语义信息的混合特征。实验结果表明:在SIFT FLOW和PASCAL VOC 2012标准数据集上,空间结构化编码深度网络较现有方法能够显著地提升场景解析的准确率。

面向RGB-D场景解析的三维空间结构化编码深度网络

有效的RGB-D图像特征提取和准确的3D空间结构化学习是提升RGB-D场景解析结果的关键。目前,全卷积神经网络(FCNN)具有强大的特征提取能力,但是,该网络无法充分地学习3D空间结构化信息。为此,提出了一种新颖的三维空间结构化编码深度网络,内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法。该算法能够比较准确地学习和描述物体所处3D空间的物体分布。通过该深度网络,不仅能够提取包含多层形状和深度信息的分层视觉特征(HVF)和分层深度特征(HDF),而且可以生成包含3D结构化信息的空间关系特征,进而得到融合上述3类特征的混合特征,从而能够更准确地表达RGB-D图像的语义信息。实验结果表明,在NYUDv2和SUNRGBD标准RGB-D数据集上,该深度网络较现有先进的场景解析方法能够显著提升RGB-D场景解析的结果。