多特征像素级融合的遮挡物体6DoF姿态估计研究

为了解决目前机器人在物体被遮挡以及光照不足的环境下难以实现精准6DoF姿态估计的问题,提出了一个基于像素级特征融合的神经网络框架。该框架包含三个模块,分别为RGB特征提取网络模块、像素融合结构模块以及6D姿态回归网络模块。其中RGB特征提取网络主要用于分割目标物体并进行特征的提取;像素融合结构负责将RGB特征和三维多视角特征进行融合;最后一个模块将三维点云像素进行融合,并输出物体6D姿态结构。通过在YCB-Video数据集、LINEMOD数据集以及处理后的YCB-Occlusion数据集上的实验证明,所提出的像素级融合网络能在物体被遮挡以及物体点云数据丢失等情况下有效预测出物体的6D姿态,并且其计算效率在损失少量精确度的情况下比其他网络提高了上百倍,且具有较强的鲁棒性。

通过像素级XYZ坐标映射的实时6DoF姿态估计

为了解决在严重遮挡和存在无纹理物体情况下,从单一RGB图像中进行6DoF姿态估计的挑战,本文提出了一种通过像素级XYZ坐标映射的实时6DoF姿态估计方法。我们引入了联合的坐标–置信度损失函数来直接回归三维模型的空间坐标,以有效地处理无纹理物体和遮挡的杂乱场景。同时,我们还考虑了2D目标检测误差导致的问题,引入了一种动态缩放策略来提高算法的性能。实验表明,我们的方法在Occlusion LINEMOD和T-LESS数据集下的评估指标优于现有的基线方法。

面向目标6DoF姿态与尺寸估计的全卷积神经网络模型

针对6DoF姿态估计需要收集与标注大量数据训练神经网络提出一种小数据集下面向目标6DoF姿态与尺寸估计的全卷积神经网络模型以降低人工操作成本。首先采用注意力机制与特征金字塔相结合的方式通过区域建议网络提取感兴趣区域,将该区域输入并行融合全卷积网络获得掩膜图;其次通过增加跳跃连接丰富每个卷积后的特征信息,将其融合并通过分类获得预测标准化坐标空间图;最后将得到的掩膜图与标准化坐标空间图通过三维点云配准获得目标的6DoF姿态与尺寸。实验表明,该方法在小数据集下较PVN3D方法精度提升约2.6%,较GPVPose方法精度提升约1%。