三维补全关键技术研究综述

从部分观测信息中推断出完整三维形状与语义场景信息对自动驾驶、机器人视觉、元宇宙生态体系构建等而言是至关重要的,因此,主要围绕三维形状补全、三维场景补全和三维语义场景补全任务而展开的三维补全技术被广泛研究。本文围绕上述三维补全任务,对近年来的相关研究工作进行了系统性的分析和总结。首先,针对三维形状补全任务,对基于传统方法的形状补全和基于深度学习的形状补全这两个方面的研究进展进行了综述。其次,针对三维场景补全任务,对基于模型拟合的场景补全和基于生成式的场景补全方法这两个方面的研究进展进行了综述。再次,针对三维语义场景补全任务,深入分析了场景补全和语义分割两大任务之间的耦合特性,并根据输入数据的不同类型,对基于深度图的语义场景补全方法、基于深度图联合彩色图像的语义场景补全方法、以及基于点云的语义场景补全方法这三个方面的研究进展进行了综述。最后,对三维补全任务目前面临的主要问题及未来发展趋势进行了分析和展望,旨在为三维视觉中这一新兴领域的相关研究者提供一些有益的参考。

旋转不变的2D视图-3D点云自编码器

点云的无监督表征学习对于理解和分析点云至关重要,基于三维重建的自动编码器是无监督学习中的重要架构。针对现有的自编码器存在旋转干扰和特征学习能力不足的问题,本文提出一个旋转不变的2D视图-3D点云自编码器。首先,设计局部融合全局的旋转不变特征转换策略。对于局部表示,利用手工设计特征对输入点云进行转换,生成旋转不变的点云表征;对于全局表示,提出一个基于主成分分析(Principal Component Analysis,PCA)的对齐模块,将旋转点云对齐同一姿态下,在补充全局信息的同时排除旋转干扰。然后,在编码器设计局部和非局部特征提取模块,充分提取点云的局部空间特征和非局部上下文相关性,并建模不同层次特征之间的语义一致性。最后,提出一个基于PCA对齐的2D-3D重构的解码方法,重建对齐后的三维点云和二维视图,使编码器输出的点云表征集成来自3D点云和2D视图的丰富学习信号。实验结果表明:本算法在随机旋转的合成数据集ModelNet40和真实数据集ScanObjectNN上的识别精度分别为90.84%和89.02%,学习的点云表征在没有任何标签监督的情况下实现了良好的可辨别性,并且具有较好的旋转鲁棒性。