轻量级卷积神经网络的机器人抓取检测研究

卷积神经网络在基于视觉的机器人抓取检测任务上取得了较好的检测效果,但是大多数方法都有太多的计算参数,不适合资源有限的系统。针对这个问题,基于SqueezeNet轻量级神经网络,结合DenseNet多旁路连接加强特征复用的思想,提出了轻量级抓取检测回归模型SqueezeNet-RM(SqueezeNet Regression Model),并使用SqueezeNet-RM从RGB-D图像中提取多模态特征,预测二指机器人夹持器的最佳抓取位姿。在标准的康奈尔抓取数据集上,提出的轻量级抓取检测网络与经典的抓取检测方法相比,在保证检测准确率不降低的情况下,模型占用更少的存储空间,表现出更快的检测速度和更高的泛化性能,所提出的模型占用的存储空间比AlexNet模型减少86.97%,平均检测速度快3倍,适用于FPGA(Field Programmable Gate Array)或者资源受限的移动机器人抓取检测系统。

基于深度学习的目标检测及机械臂抓取

针对非结构化环境中多目标抓取检测存在速度慢、效果差的问题,提出一种先目标检测后抓取检测的方法。在目标检测中,为了加快网络的运行速度,文中采用深度可分离卷积和坐标注意力机制对YOLOv5网络进行轻量化改进。在抓取任务中,设计了一种单阶段抓取位姿检测算法。首先,考虑到非结构化环境中存在的干扰,选用RGB-D图像作为抓取网络的输入数据,并选用GG-CNN作为主干网络;其次,为了加强抓取网络的特征提取能力,利用Inception-ResNet模块中不同大小卷积核的并联使用来拓宽网络感受野,同时无参三维注意力机制的融入使得网络更专注于抓取信息特征,抑制背景噪声信息;最后,使用抓取质量评估来对抓取框进行修正,并输出置信度和最高的抓取框。实验结果表明:轻量化的目标检测网络参数量为2776708,每秒帧数(frames per second,FPS)为102;改进后的抓取检测网络在公共Cornell数据集上,取得了96.57%的准确率,FPS为54.17。这说明2个网络能部署在机械臂上并较好地实现在多目标场景下的抓取任务,可以应用到实际工业生产中。

杂乱场景中多尺度注意力特征融合抓取检测网络

GSNet使用抓取度区分杂乱场景的可抓取区域,显著地提高了杂乱场景中机器人抓取位姿检测准确性,但是GSNet仅使用一个固定大小的圆柱体来确定抓取位姿参数,而忽略了不同大小尺度的特征对抓取位姿估计的影响.针对这一问题,本文提出了一个多尺度圆柱体注意力特征融合模块(Ms-CAFF),包含注意力融合模块和门控单元两个核心模块,替代了GSNet中原始的特征提取方法,使用注意力机制有效地融合4个不同大小圆柱体空间内部的几何特征,从而增强了网络对不同尺度几何特征的感知能力.在大规模杂乱场景抓取位姿检测数据集GraspNet-1Billion的实验结果表明,在引入模块后将网络生成抓取位姿的精度最多提高了10.30%和6.65%.同时本文将网络应用于实际实验,验证了方法在真实场景当中的有效性.

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法.建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN(基于区域的全卷积网络)模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度.在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体.