基于混合通道注意力的类别级物体六自由度位姿估计

针对有光照变化、距离变化、背景杂乱、遮挡等干扰的场景下物体六自由度位姿估计精度低的问题,提出了一种结合多尺度特征融合和注意力机制的混合通道注意力模块(mixed channel attention,MCA)。在MCA基础上进一步构建了类别级物体六自由度位姿估计方法(MCA6D),其关键步骤包括物体的实例分割,特征提取与基于MCA的特征优化,基于先验形状的物体模型重建,及基于点云配准的位姿估计。本文方法在公共数据集CAMERA和REAL分别取得86.3%(5°2 cm)、73.4%(5°5 cm)和39.2%(5°2 cm)、43.3%(5°5 cm)的均值平均精度,领先于NOCS、SPD、SGPA等主流方法;同时实物实验表明本文方法在存在光照变化、距离变化、背景杂乱、遮挡等干扰的场景可准确估计物体六自由度位姿。

基于类别级先验重建的六维位姿估计方法

针对现有物体六维姿态估计方法难以泛化到真实场景、未知新物体的问题,文章提出了一种基于类别级先验重建的物体六维位姿估计方法,通过提取并融合输入物体与先验模板的三维特征,将先验模板由初始的局部坐标系变换到当前相机坐标系下,根据变换前后的点对匹配关系求得目标物体的六维位姿,通过这种方式能够使得模型更关注类别级共有信息、抑制对输入物体的特异性几何结构表征,对未知新物体具有更好的泛化能力。实验表明,当训练集仅包含合成数据时,该方法在真实数据上具有更好的性能。

基于深度三维模型表征的类别级六维位姿估计

类别级物体六维位姿估计在机器人操作、自动驾驶和增强现实等领域有着广泛的应用。相较于实例级任务,类别级六维位姿估计的难点主要在于类别先验特征基础上的类内差异。本文采用一种基于有向距离场(Signed Distance Field,SDF)的深度三维模型表征提取出类别级先验共享信息,同时依据输入深度图像的几何形状特征搜索最优的形状隐变量,两者结合重建出标准空间内的完整实例模型。通过学习深度点与标准化实例模型的点对匹配关系,即可求解出物体的六维位姿参数。实验证明本文提出的类别级六维位姿估计架构具有良好的性能和对类内新物体的泛化能力。

基于单目视觉的类别级六自由度位姿估计方法

目前,6D位姿估计技术主要针对实例级别的物体,而对网络预先没有获取精准CAD模型的实例,无法估计其6D位姿信息。针对这一问题,论文提出了一种类别级6D位姿估计的网络框架。首先,进行目标识别与掩膜分割,再通过逐像素预测目标的三维坐标,获取其标准化模型点云;其次,设计了一种单目深度估计网络,再通过三维重建得到实例对象的局部点云;最后,利用局部点云与标准化模型点云配准,计算得到类别级物体的6D位姿信息。实验表明:方法仅通过单张图像就能实现类别级6D位姿信息估计,平均精度达到89.2%。