基于点云补全的三维目标检测

LiDAR技术的发展为自动驾驶提供了丰富的3D数据。然而,由于遮挡和某些反射材料的原因引起信号丢失,LiDAR点云实际上是不完整的2.5D数据,这对3D感知提出了根本性挑战。针对这一问题,提出对原始数据进行三维补全的方法。根据大多数物体形状对称且重复率高的特点,通过学习先验对象形状的方法估计点云中遮挡部分的完整形状。该方法首先识别被遮挡和信号缺失影响的区域,在这些区域中预测区域所包含对象形状的占用概率。针对物体间遮挡的情况,通过形状的占用概率和共享同类形状形态进行三维补全。对自身遮挡的物体,通过自身镜像进行恢复。最后通过点云目标检测网络进行学习。结果表明,通过该方法能有效地提高生成点云3D边框的mAP(mean Average Precision)。

基于深度学习的三维形状补全研究综述

三维形状补全是计算机图形学与计算机视觉的基础任务之一,具有广泛的应用背景。其目的旨在从部分缺失的形状数据中推断出完整的形状。针对现有基于深度学习的三维模型补全算法进行概述,根据描述符的形式不同,主要将其分为基于二维形状描述符的补全方法和基于三维形状描述符的补全方法两类。前者即将三维模型投影到二维空间中进行特征提取进而获得完整模型,包括基于二维图像和基于深度图的三维模型补全方法;后者即直接利用三维表示进行模型补全,按照对三维模型的表示方式不同,可进一步分为基于体素、基于点云和基于隐式的方法。同时,汇总了现有基于深度学习的三维模型补全算法所涉及的数据集与评价标准,并对该算法目前存在的问题进行分析和讨论,展望未来研究的新方向。

基于稳定性优化的三维装配补全方法

三维装配补全是一项重要的交互式装配任务,对于一个半成品装配体,机器人需要明确其缺失部件,从候选部件中挑选正确部件,计算准确的拼装位姿,最后将半成品补全.稳定性是椅子、桌子等实际装配体设计的首要原则,也是三维装配补全的重要目标,现有的装配补全工作多根据部件的几何关系来优化装配补全过程,没有考虑补全后装配体的稳定性,导致补全结果的正确率不高,难以满足机器人实际装配的需求.针对上述问题,提出一种基于稳定性优化的三维装配补全方法(Finishing the Incomplete 3D Assembly with Transformer,StableFiT),定义了一种装配体稳定性验证方法 .基于NVIDIA Isaac Sim仿真平台训练了一个装配体稳定性判别器,并基于稳定性判别器提供的稳定性反馈,优化了三维装配体的补全.在PartNet数据集上开展实验验证,结果表明StableFiT能够有效提升补全的装配体的正确性和稳定性.

视觉深度学习的三维重建方法综述

近年来,三维重建作为计算机视觉的重要任务之一,得到广泛的关注和深入的研究。重点分析近年来使用深度学习重建通用对象的三维形状的研究进展。以深度学习进行三维重建环节为脉络,根据三维重建过程中数据深度特征表示方法将三维重建研究分为体素、点云、曲面网格、隐式曲面四类。再根据输入二维图像的数目分为单视图三维重建和多视图三维重建两类,根据网络架构以及它们使用的训练机制进行具体细分,在讨论每个类别的研究进展的同时,分析每种训练方法的发展前景及优缺点。研究近年来在特定三维重建领域的新热点,例如动态人体三维重建和不完整几何数据的三维补全,对一些关键论文进行比较,总结了这些领域存在的问题。介绍现阶段的三维数据集的重点应用场景和参数。总结现阶段三维重建领域存在数据集缺失、模型训练复杂、缺少特定领域针对性识别等问题。对三维重建在未来的具体应用领域发展前景进行了例证分析,并对三维重建的研究方向进行了展望。