基于合成数据集的多目标识别与6-DoF位姿估计

多目标识别及六自由度(6-DoF)位姿估计是实现物料无序堆放状态下机器人自动分拣的关键。近年来,基于深度神经网络的方法在目标识别及位姿估计领域受到广泛关注,但此类方法依赖大量训练样本,而样本的采集及标注费时费力,限制了其实用性。其次,当成像条件差、目标相互遮挡时,现有位姿估计方法无法保证结果的可靠性,进而导致抓取失败。为此,文中提出了一种基于合成数据样本的目标识别、分割及位姿估计方法。首先,以目标对象的3维(3D)几何模型为基础,利用3D图形编程工具生成虚拟场景的多视角RGB-D合成图像,并对生成的RGB图像及深度图像分别进行风格迁移和噪声增强,从而提高合成数据的真实感,以适应真实场景的检测需要;接着,利用合成数据集训练YOLOv7-mask实例分割模型,运用真实数据进行测试,结果验证了该方法的有效性;然后,以分割结果为基础,基于ES6D目标位姿估计模型,提出了一种在线姿态评估方法,以自动滤除严重失真的估计结果;最后,采用基于主动视觉的位姿估计校正策略,引导机械臂运动到新的视角重新检测,以解决因遮挡而导致位姿估计偏差的问题。在自行搭建的6自由度工业机器人视觉分拣系统上进行了实验,结果表明,文中提出的方法能较好地适应复杂环境下工件的识别与6-DoF姿态估计要求。

热切割苹果采摘设备研究

针对人工采摘效率低、成本高、所需劳动力数量多等问题,文章设计一种热切割苹果采摘设备。设备主要由驱动模块、传感器模块、传动模块、末端执行器模块组成,并采用热切割方式进行切割,具有智能采摘的特点,并能提高效率,降低苹果采摘成本。