基于三维关键点投票的物体位姿估计方法

针对单帧RGB-D图像进行物体六自由度位姿估计时,在物体遮挡、光线情况不良、低纹理情况下性能不佳的问题,本文设计了一种基于多网络特征融合(颜色特征提取网络和点云特征提取网络)的深度学习网络.首先,使用颜色特征提取网络提取RGB图像中的纹理特征,使用点云特征提取网络计算深度图中的点云特征,进行几何特征与纹理特征计算后,回归计算点云的关键点投票及实例语义信息.然后,通过投票聚类方式计算每个实例的所属类别和关键点位置.将RGB-D图像中的颜色信息与几何信息分别计算,由于后续操作需要充分考虑像素及点云的局部信息与全局信息,分别使用改进后的残差神经网络和RIPoint(residuals inverted point)网络提取数据特征.采用神经网络中的特征融合方法将颜色信息与几何信息充分提取,为后续模块提供更有效的点云特征.使用深度霍夫投票算法与均值偏移聚类算法计算实例的三维关键点坐标.最后,利用最小二乘拟合方法计算预测三维关键点的物体位姿参数.在LineMOD数据集和YCB-Video数据集上进行测试,实验结果表明:与六自由度物体位姿估计方法相比,本文模型预测的物体位姿准确率高于其他方法,平均准确率分别达到99.5%和96.9%.网络同时基本满足实时性要求,完成一帧RGB-D图像的多实例物体位姿估计时间需0.06 s.

基于混合通道注意力的类别级物体六自由度位姿估计

针对有光照变化、距离变化、背景杂乱、遮挡等干扰的场景下物体六自由度位姿估计精度低的问题,提出了一种结合多尺度特征融合和注意力机制的混合通道注意力模块(mixed channel attention,MCA)。在MCA基础上进一步构建了类别级物体六自由度位姿估计方法(MCA6D),其关键步骤包括物体的实例分割,特征提取与基于MCA的特征优化,基于先验形状的物体模型重建,及基于点云配准的位姿估计。本文方法在公共数据集CAMERA和REAL分别取得86.3%(5°2 cm)、73.4%(5°5 cm)和39.2%(5°2 cm)、43.3%(5°5 cm)的均值平均精度,领先于NOCS、SPD、SGPA等主流方法;同时实物实验表明本文方法在存在光照变化、距离变化、背景杂乱、遮挡等干扰的场景可准确估计物体六自由度位姿。

基于深度三维模型表征的类别级六维位姿估计

类别级物体六维位姿估计在机器人操作、自动驾驶和增强现实等领域有着广泛的应用。相较于实例级任务,类别级六维位姿估计的难点主要在于类别先验特征基础上的类内差异。本文采用一种基于有向距离场(Signed Distance Field,SDF)的深度三维模型表征提取出类别级先验共享信息,同时依据输入深度图像的几何形状特征搜索最优的形状隐变量,两者结合重建出标准空间内的完整实例模型。通过学习深度点与标准化实例模型的点对匹配关系,即可求解出物体的六维位姿参数。实验证明本文提出的类别级六维位姿估计架构具有良好的性能和对类内新物体的泛化能力。