融合BlendMask的机械手臂抓取位姿估计模型

针对复杂场景抓取位姿估计速度慢、精度低的问题,基于BlendMask实例分割网络,结合实例分割与抓取位姿估计,设计了一种端到端的机械手臂抓取位姿估计深度模型GPNet。该模型首先依据图像2D信息,在BlendMask网络中增加抓取中心、抓取主方向估计分支,提升抓取位姿估计速度;其次采用霍夫投票获取抓取中心及主方向,提高了2D抓取位姿估计的精度与鲁棒性;然后采用椭圆筛选机制,有效地解决了由圆形物体任意性对抓取主方向估计的干扰;最后依据新的损失函数训练GPNet,并结合图像深度信息获得最终抓取位姿信息。以中国信息通信研究院工业互联网平台、工业和信息化部重点实验室抓取实验场景为对象进行抓取速度与精度验证,以9种物体为抓取目标,结果表明在平均每个场景6种抓取目标实例且有干扰物体遮挡的复杂场景下,所提模型位姿估计平均速度达到0.057 s,平均抓取成功率达到90.2%。

基于深度学习的机械臂抓取姿态估计实验设计

为高效准确估计出机械臂对未知物体抓取姿态,提出了一种基于深度学习的机械臂抓取姿态估计方法,并设计了相关实验。该方法将生成抓取卷积网络GGCNN与挤压激励(SE)网络模块相结合,提出基于注意力机制的生成抓取卷积网络SE-GGCNN模型,提高抓取姿态估计的准确率。在Cornell数据集和JACQUARD数据集上进行了比较性实验。结果表明,相比于基本的GGCNN模型,SE-GGCNN模型在保证实时性的同时,将IoU指标值由原先的76%提升至82%;对于数据集中未出现过的新对象具备很好的鲁棒性和自适应性;单张图片115 ms的检测用时表明所提出的方法适合实时应用,提升了未知物体抓取姿态估计的准确率。

基于PointNet++的机器人抓取姿态估计

为解决在无约束、部分遮挡的场景下对部分遮挡的物体生成可靠抓取姿态的问题,基于PointNet++网络改进了一种抓取姿态估计算法,该算法可直接从目标点云中生成二指夹具的抓取姿态。由于该算法降低了抓取姿态的维度,将抓取的7自由度问题转变成4自由度问题处理,从而简化学习的过程加快了学习速度。实验结果表明:该算法在无约束、部分遮挡的场景中,能够生成有效的抓取姿态,且较Contact-GraspNet算法成功抓取率提升了约12%,能够应用于家用机器人的抓取任务。

融合语义实例重建的抓取位姿估计方法

针对抓取任务中难以区分多个紧邻物体及高维位姿学习准确率差的问题,提出一种融合语义实例重建的抓取位姿估计方法。增加语义实例重建分支对前景完成隐式三维重建,并以投票方式预测每个前景点所属实例的中心坐标,以区分紧邻物体;提出一种高维位姿的降维学习方法,使用2个正交单位向量分解三维旋转矩阵,提升位姿学习准确率;搭建融合语义实例重建的抓取检测网络SIRGN,并在VGN仿真抓取数据集上完成训练。实验结果表明,SIRGN在拥挤(Packed)和堆叠(Pile)场景的抓取成功率分别达到了89.5%和78.1%,且在真实环境具有良好的适用性。

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法。该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN(feature pyramid networks)获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向坐标映射为抓取方向的分类任务,使用ROI Align进行感兴趣区域提取,评估抓取候选框,获取目标的最优抓取位姿。为验证算法有效性,基于康奈尔抓取数据集开展了抓取位姿估计实验,仿真抓取位姿估计准确度达到96.9%。基于Inter RealSense D415深度相机和UR5机械臂搭建了实物平台,在真实场景下对位姿随机摆放的多样性目标物体进行多次抓取实验,结果显示抓取目标检测成功率为95.8%,机器人抓取成功率为90.2%。

一种视/触觉融合的柔性物体抓取力估计方法

针对柔性物体操纵问题,提出了一种视/触觉融合的柔性物体抓取力估计方法——多感知局部增强Transformer(MSLET)。该方法利用模型学习每种传感器模态的低维特征,推断待抓取物体的物理特征,融合各模态的物理特征向量,用于预测抓取结果,并结合安全抓取物体的经验,推断最佳抓取力。首先,提出了用于提取视觉图像和触觉图像浅层特征的Feature-to-Patch模块,它利用2种图像的浅层特征提取图像块,进而得到它们的边缘特征,充分学习数据的特征信息,更好地推断物体的物理特征。其次,提出了用于增强局部特征的Local-Enhanced模块,对多头自注意力机制生成的图像块进行深度可分离卷积处理,以此增强局部性特征处理,促进空间维度上相邻标记之间的相关性,提高抓取结果的预测准确率。最后,对比实验表明,本文算法在保证运行效率的同时,将抓取准确率相较于当前最优模型提高了10.19%,证明该算法能够有效估计柔性物体抓取力。

一种基于双目视觉传感器的遮挡目标期望抓取点识别与定位方法

在不确定性较高的室内复杂场景中,机器人常需识别遮挡物体并对其抓取。遮挡问题会导致抓取点预估位置脱离目标,产生位置漂移。针对该问题,本文提出一种基于双目视觉的遮挡目标抓取点识别与定位策略。采用基于期望位置模型的方法估计,以特征检测进行遮挡目标识别,并进行轮廓还原;根据期望抓取点模型,采集目标的期望抓取位置,构建位置模型库。将待检测目标与模型库匹配,提取双目视野中未遮挡区域的期望抓取点。实验表明本方法在复杂环境下具有较高的鲁棒性,抗干扰能力强,对遮挡目标具有较高的定位精度。