基于碎片模型的弱纹理物体位姿估计

位姿估计已广泛应用于智能机器人,无人驾驶以及增强现实等多种应用场景,现有基于神经网路的点对匹配方法大多未能处理好前景遮挡,弱纹理以及对称。本文提出了一种基于碎片模型的弱纹理物体位姿估计方法,该方法利用现有的3D碎片模型从一幅RGB输入图像中估计出刚体物体的6D姿态;物体由紧凑表面碎片表示,能够系统地处理物体对称;使用编码器–解码器网络预测密集采样的像素和片段之间的对应关系;还提出了一种通用的数据合成方案,创建了高相似度的弱纹理物体数据集;最后,设计并改进了一种PNP-RANSAC算法稳健而有效地估计可能多个对象实例的姿态,并在3个弱纹理数据集上进行对比实验并验证了该方法的有效性。

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.