基于空间信息聚合的遮挡目标抓取位姿检测

针对机器人依靠视觉抓取时对遮挡目标抓取位姿检测准确率低的问题,提出基于空间信息聚合的遮挡目标抓取位姿检测方法。遮挡导致目标在相机视野中的本征特征改变,影响目标位置信息与形状结构特征。首先,使用坐标卷积代替传统卷积的方式进行特征提取,在输入特征图后新增坐标通道来提升网络对位置信息感知能力;其次,设计空间信息聚合模块,其采用并行结构增大局部感受野并沿空间方向对通道进行编码获取多尺度空间信息,再通过非线性拟合方式将信息聚合,使模型更好理解目标结构和形状;最后,抓取位姿检测网络输出抓取的质量、角度和宽度,并计算最佳抓取位置以建立最优抓取矩形框。在Cornell Grasping数据集、自建遮挡数据集、Jacquard数据集验证,检测准确率分别达到98.9%,94.7%,96.0%,在实验平台对目标的100次真实抓取实验中,成功率为93%。所提方法在三个数据集上均取得了最高检测准确率,且在实际场景中检测效果更优。

基于实例分割的机械臂抓取位姿检测方法

为了实现机械臂对常见物体的高效抓取,提出一种将实例分割网络与抓取位姿检测(GPD)算法结合,并加入抓取位姿筛选的抓取位姿检测方法。通过YOLOv8s-Seg算法在RGB图像中分割出抓取目标物体,结合深度图像生成物体点云,使用GPD法检测点云得到候选抓取位姿,对候选抓取位姿进行评分,取分数最高的抓取位姿规划执行抓取。建立了基于机器人操作系统(ROS)的3D视觉机械臂抓取系统,并运用所提方法进行物体抓取实验。实验结果表明所提方法的抓取成功率较GPD法有显著提升。

基于YLG-CNN网络的目标识别与抓取位姿检测技术

针对现有的抓取位姿检测算法难以实现高精度按类抓取的问题,设计了一种基于深度和语义信息的抓取位姿检测网络YLG-CNN。首先,对抓取检测算法GG-CNN进行改进,在特征提取模块添加残差结构,以融合不同层次的特征,提升检测模型对深度信息的理解能力,在残差结构末端引入CBAM注意力机制,使宜于作为抓取中心的热力像素点获得更高的热力值,得到更为可靠的抓取位姿;其次,通过YOLOv5算法获取待抓取目标的类别,并将其映射到改进GG-CNN所输出的抓取热力图中,为每个抓取点赋予抓取对象的语义信息,实现按类抓取。最后,设计了一套基于机器人操作系统(ROS)的3D视觉智能抓取系统,通过真实抓取实验验证所提方法。实验结果表明,所提的残差注意力抓取网络可抓取精度达到78.2%,较次优算法GGCNN+CBAM提高6.8%,并且YLG-CNN分类抓取网络能够实现高精度的分类抓取,其平均抓取成功率达到78.3%,较于GG-CNN+YOLOv5算法提升了17.1%。

基于三维点云的机械臂抓取位姿检测方法

针对机械臂抓取检测中对物体抓取位姿检测精度低的问题,提出一种基于三维点云的机械臂抓取位姿检测方法。首先设计基于注意力机制的端到端抓取位姿检测网络SE-PointNetGPD(简称SEPN-GPD),其次针对pointnet网络在利用共享权重的多层感知器MLP处理3D点云数据时信息冗余的问题,引入通道注意力机制SENet模块,通过自适应地调整各个特征区域权重的方式,提升网络特征提取能力从而提高抓取位姿检测的准确性和可靠性,然后在YCB和BigBIRD公开数据集上进行验证。实验结果表明:SEPN-GPD抓取位姿检测方法的分类精度分别为86.2%和85.14%,且网络具有较好的模型泛化能力和较高的鲁棒性与稳定性,优于当前主流的PointNetGPD和GPD等抓取位姿检测方法。

面向机械臂的抓取位姿检测

针对结构化环境和单一已知目标的抓取方面,搭载末端夹持器机械臂抓取技术取得了显著进展。但当工作场景环境不明、工作目标形状各异时,机械臂容易受环境光照变化、物体遮挡的影响,为此,本文深入研究了机械臂抓取系统流程和抓取方法,设计了基于卷积神经网络自主检测机械臂抓取位姿的方法。

杂乱场景中多尺度注意力特征融合抓取检测网络

GSNet使用抓取度区分杂乱场景的可抓取区域,显著地提高了杂乱场景中机器人抓取位姿检测准确性,但是GSNet仅使用一个固定大小的圆柱体来确定抓取位姿参数,而忽略了不同大小尺度的特征对抓取位姿估计的影响.针对这一问题,本文提出了一个多尺度圆柱体注意力特征融合模块(Ms-CAFF),包含注意力融合模块和门控单元两个核心模块,替代了GSNet中原始的特征提取方法,使用注意力机制有效地融合4个不同大小圆柱体空间内部的几何特征,从而增强了网络对不同尺度几何特征的感知能力.在大规模杂乱场景抓取位姿检测数据集GraspNet-1Billion的实验结果表明,在引入模块后将网络生成抓取位姿的精度最多提高了10.30%和6.65%.同时本文将网络应用于实际实验,验证了方法在真实场景当中的有效性.

SGPD:复杂环境下的稳定抓取位姿检测

非结构化环境下,存在物体之间相互遮挡,物体类别、质量、形状信息无法精确获得等问题,给稳定抓取带来了巨大挑战。为此,本文提出了一种基于高斯聚类的稳定抓取位姿检测(SGPD)方法。该方法能够结合物体几何特性建立抓取点的采样分布函数,从而保证在物体中心处获得更多的采样点,解决现有抓取位姿检测方法中采样不合理导致抓取稳定性差的问题。并且,该方法利用卷积网络模型对候选位姿打分,得到抓取成功率最高的位姿并执行。此外,SGPD法使用迭代最近点配准方法对多帧点云进行融合,解决观测输入不完整导致候选位姿质量差的问题。综上,SGPD方法能够应对观测不全,物体类别、形状未知等挑战,并对新物体具有优异的泛化性。最后,本文在复杂场景下开展了针对未知物体的随机抓取实验,SGPD方法返回最优抓取位姿的概率为89.74%,抓取成功率为79.48%,优于现有研究中的随机采样方法。