基于坐标注意力的杂乱环境中机器人推抓协同学习

为提升机器人在杂乱环境中推抓协同性能、增强网络感知物体位置和物体间的位置信息的能力,提出一种基于物体位置信息的推动与抓取协同网络来解决机器人在杂乱环境中的抓取问题。该网络使用2个全卷积网络分别从视觉观察中推断出抓取和推动操作的位置与方向。使用坐标注意力模块分别沿着二维空间的2个方向聚合特征,即在水平空间方向上捕获长距离依赖关系的同时在垂直空间方向上保持物体的位置信息。然后生成推动和抓取的位置特征的注意力图,以提升网络推断操作位置的准确性。提出物体分散度从全局角度衡量环境中物体间的分散程度,并设计基于物体分散度的推动奖励函数来提升推动动作的质量。在仿真实验中,该网络的抓取成功率和动作效率分别为75.1%和73.2%。在现实世界中,该网络的抓取成功率和动作效率分别为80.1%和76.2%。

深度强化学习的机械臂密集场景多物体抓取方法

机械臂在密集杂乱场景中抓取物体时容易碰撞,需要借助推动分离物体,以获取足够的抓取空间。目前已有的推抓协同方法样本效率和抓取成功率偏低,针对这些问题,提出了一种新的基于DDQN(double deep Q network)的深度强化学习方法能够高效地学习优秀的推抓协同策略,该方法包括可以筛选有效动作的掩码函数(mask function),协助机械臂探索更多有助于抓取的样本,促进模型进行高效率的学习。同时,利用推动前后工作空间内所有物体的平均相对距离的差值设计了推动奖励函数,能够更准确地评估候选推动作对物体密集程度的影响。通过该方法与VPG(visual pushing grasping)算法的实验结果进行分析,证明提出的方法在加快训练进程的同时,也提高了抓取的成功率,验证系统可以完整地迁移到现实场景中。