基于级联融合网络的密集型抓取位姿检测

针对机械臂在密集场景下对未知物体进行平面抓取时检测精度低、耗时长的问题,提出了一种新的抓取网络结构,称为级联融合抓取检测(Cascade Fusion Grasp Detection,CFGD)网络,用于预测密集场景下物体的抓取位姿。在提出的用于提取初始高分辨率特征的主干和几个块的基础上,引入几个级联阶段来生成CFGD网络中的多尺度特征。每个阶段包括1个用于特征提取的子主干和1个用于特征集成的极其轻量级的过渡块,该设计使得整个主干参数比例大,特征融合更深入、更有效。所提算法在康奈尔抓取数据集、提花抓取数据集和自定义数据集上在检测精度与速度上较现有算法有明显提升。在真实抓取场景下,单目标场景下的抓取成功率为98.6%,在密集场景下的抓取成功率为94.6%。试验结果表明,所提算法以较高的准确率预测和抓取了密集场景下的未知物体。

一种用于易损物体的机器人抓取姿态预测方法

复杂场景下机器人抓取“万物”是一个重要且具有挑战性的任务.针对使用刚性夹持器的机器人在直接使用六自由度抓取姿态预测方法抓取柔软和易碎物品过程中易被夹持器损坏问题,本文提出了一种用于易损物体的八自由度抓取姿态预测方法.通过直接处理场景点云数据,预测物体上抓取点的接近向量、面内旋转、夹持器宽度和物体种类,并根据夹持器内点云得到物体的八自由度抓取姿态,其姿态包含夹持器的旋转、平移、夹持器的宽度和作用力.然后,在公共数据集上验证算法的有效性,并搭建复杂场景进行机器人抓取实验.实验结果表明,该方法在保证抓取成功率的前提下,降低了被抓取物体的损坏率,扩展了基于视觉的机器人抓握物品种类.

结合实例分割与抓取筛选的堆叠目标抓取方法

为了在种类多样、位姿随机、背景散乱的堆叠场景下得到机器人抓取目标物体的最优次序与抓取位姿,本文提出一种结合实例分割与抓取筛选的堆叠目标抓取方法,包含抓取次序推理与抓取位姿检测两部分.抓取次序推理部分,首先设计基于自注意力与边界细化的实例分割网络,利用自注意力模块提升特征提取能力,并通过边界细化模块提高堆叠场景下物体边界的分割精度;其次提出一种抓取筛选方法,运用判断物体间完整掩码是否重叠与优先抓取分数排序的策略,筛选出目标最上层未被遮挡的物体为待抓取目标,以减少机器人多余抓取动作.抓取位姿检测部分,为适应不同尺度物体的检测,设计融合多尺度密集残差模块的抓取位姿检测网络,以保留物体的多尺度特征,从而适应不同尺度物体的检测.实验结果表明,本方法能够有效推理出堆叠场景下的抓取次序,并准确检测出物体的位姿,以实现目标的抓取.

融合BlendMask的机械手臂抓取位姿估计模型

针对复杂场景抓取位姿估计速度慢、精度低的问题,基于BlendMask实例分割网络,结合实例分割与抓取位姿估计,设计了一种端到端的机械手臂抓取位姿估计深度模型GPNet。该模型首先依据图像2D信息,在BlendMask网络中增加抓取中心、抓取主方向估计分支,提升抓取位姿估计速度;其次采用霍夫投票获取抓取中心及主方向,提高了2D抓取位姿估计的精度与鲁棒性;然后采用椭圆筛选机制,有效地解决了由圆形物体任意性对抓取主方向估计的干扰;最后依据新的损失函数训练GPNet,并结合图像深度信息获得最终抓取位姿信息。以中国信息通信研究院工业互联网平台、工业和信息化部重点实验室抓取实验场景为对象进行抓取速度与精度验证,以9种物体为抓取目标,结果表明在平均每个场景6种抓取目标实例且有干扰物体遮挡的复杂场景下,所提模型位姿估计平均速度达到0.057 s,平均抓取成功率达到90.2%。

基于点云的机器人抓取检测方法研究

针对非结构化场景中机器人的抓取任务提出一种抓取位姿检测方法,首先对目标点云进行均匀采样得到初始抓取点,并通过PCA方法建立各抓取点的局部坐标系。然后,根据二指夹持器参数确定抓取位姿,使用位姿搜索策略扩充候选抓取位姿。接着,将每个候选抓取位姿对应的夹持器闭合区域的点云送入PointNet构建的抓取质量评估网络进行评估,筛选候选抓取位姿,得到较高质量的抓取位姿。最后,在ros平台上搭建机器人抓取仿真平台并进行实验验证。证明提出的方法可以在目标点云上生成抓取位姿,并可以稳定地完成处理单个或多个随机放置的未知物体的抓取任务。

基于YLG-CNN网络的目标识别与抓取位姿检测技术

针对现有的抓取位姿检测算法难以实现高精度按类抓取的问题,设计了一种基于深度和语义信息的抓取位姿检测网络YLG-CNN。首先,对抓取检测算法GG-CNN进行改进,在特征提取模块添加残差结构,以融合不同层次的特征,提升检测模型对深度信息的理解能力,在残差结构末端引入CBAM注意力机制,使宜于作为抓取中心的热力像素点获得更高的热力值,得到更为可靠的抓取位姿;其次,通过YOLOv5算法获取待抓取目标的类别,并将其映射到改进GG-CNN所输出的抓取热力图中,为每个抓取点赋予抓取对象的语义信息,实现按类抓取。最后,设计了一套基于机器人操作系统(ROS)的3D视觉智能抓取系统,通过真实抓取实验验证所提方法。实验结果表明,所提的残差注意力抓取网络可抓取精度达到78.2%,较次优算法GGCNN+CBAM提高6.8%,并且YLG-CNN分类抓取网络能够实现高精度的分类抓取,其平均抓取成功率达到78.3%,较于GG-CNN+YOLOv5算法提升了17.1%。

杂乱场景中多尺度注意力特征融合抓取检测网络

GSNet使用抓取度区分杂乱场景的可抓取区域,显著地提高了杂乱场景中机器人抓取位姿检测准确性,但是GSNet仅使用一个固定大小的圆柱体来确定抓取位姿参数,而忽略了不同大小尺度的特征对抓取位姿估计的影响.针对这一问题,本文提出了一个多尺度圆柱体注意力特征融合模块(Ms-CAFF),包含注意力融合模块和门控单元两个核心模块,替代了GSNet中原始的特征提取方法,使用注意力机制有效地融合4个不同大小圆柱体空间内部的几何特征,从而增强了网络对不同尺度几何特征的感知能力.在大规模杂乱场景抓取位姿检测数据集GraspNet-1Billion的实验结果表明,在引入模块后将网络生成抓取位姿的精度最多提高了10.30%和6.65%.同时本文将网络应用于实际实验,验证了方法在真实场景当中的有效性.

面向抓取检测的位姿估计数据集自动采集标注系统

机器人抓取在物流分拣、自动装配和医疗手术等领域中具有广泛的应用.抓取检测是机器人抓取中的重要步骤之一,随着三维传感器的成本逐渐降低,抓取检测任务中越来越多地使用深度相机采集彩色图像和深度图像对(RGB-D),并采用基于位姿估计的方法实现机器人抓取.然而,目前已经公开的基于RGB-D图像的位姿估计数据集,大多需要借助价格昂贵的三维激光扫描仪获得目标物体的三维模型,而且标注过程依赖人工操作,费时费力,不利于大规模数据集的制作.为此,本文设计并实现了一个面向位姿估计的数据集自动采集标注系统.该系统无需使用三维激光扫描仪,只通过采集、分析由深度相机获得的RGB-D图像序列即可重建出目标物体的三维模型,并自动标注目标物体的位姿信息,生成二维图像中的分割掩码.实验中,使用该系统制作了包含84个物体、8400张RGB-D图像的位姿估计数据集,并将自动标注数据与手动标注数据进行了对比,发现两者分割掩码重合率可以达到98%,并且自动标注的位姿信息能够使模型点云与场景点云的对齐率达到100%,充分说明了所提系统自动标注结果的准确性与可靠性.

基于深度学习的机械臂抓取姿态估计实验设计

为高效准确估计出机械臂对未知物体抓取姿态,提出了一种基于深度学习的机械臂抓取姿态估计方法,并设计了相关实验。该方法将生成抓取卷积网络GGCNN与挤压激励(SE)网络模块相结合,提出基于注意力机制的生成抓取卷积网络SE-GGCNN模型,提高抓取姿态估计的准确率。在Cornell数据集和JACQUARD数据集上进行了比较性实验。结果表明,相比于基本的GGCNN模型,SE-GGCNN模型在保证实时性的同时,将IoU指标值由原先的76%提升至82%;对于数据集中未出现过的新对象具备很好的鲁棒性和自适应性;单张图片115 ms的检测用时表明所提出的方法适合实时应用,提升了未知物体抓取姿态估计的准确率。

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。

输电线巡检机器人自主抓线的控制

针对一种双臂巡检机器人越障过程中脱线手臂的自主抓线问题,提出了一种自主抓线控制方法。首先,基于输电导线纹理特征和积分投影方法估计导线的位姿(偏距、偏角)。然后,基于输电导线的位姿偏差设计自主抓线的仿人智能控制器,利用偏角、偏距和线宽的估计值并结合机器人的倾角信息对机器人进行自主抓线控制。实验表明,该方法能在不同光照和背景下有效估计输电导线的位姿,可靠控制脱线手臂自动落线。

机器人无序分拣技术研究

目的 介绍机器人无序分拣技术最新进展和研究成果,为复杂场景下的机器人自动化应用提供研究思路和技术支撑。方法 从机器人无序分拣过程中的3个关键技术任务展开论述,具体包括散乱目标的检测与识别、目标的空间姿态估计与无序分拣的抓取决策,并对各个任务中涉及的方法进行分析总结。结论 机器人无序分拣技术目前面临的主要挑战在于处理复杂环境下散乱堆叠物体的视觉感知、位姿估计和抓取决策。具体的分拣系统应当考虑实际的场景环境,结合任务需求进行设计,以求达到机器人尽可能替代人力劳动的目的。

基于多传感器的机器人夹取系统研究

为解决由于内置传感器较单一导致的机器人抓取动作不灵活、作业精度低等问题,提出一种基于多传感器的机器人夹取系统。首先采用扩展卡尔曼滤波算法融合机器人内置传感器所测量的位置、速度和角度等信息,实现机器人自身位姿检测。在此前提下,利用外置传感器完成对目标物的自动识别与定位。为增强信息的可靠性和系统的分辨能力,并根据输出信号对机器人夹取动作进行运动学建模,设定夹取系统的硬件、软件环境及传输电路后完成系统设计全过程。实验结果证明:所提方法设计的机器人系统能够实现对夹取目标的精确对准,运动特性明显提高,作业误差有效减小。

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法。该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN(feature pyramid networks)获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向坐标映射为抓取方向的分类任务,使用ROI Align进行感兴趣区域提取,评估抓取候选框,获取目标的最优抓取位姿。为验证算法有效性,基于康奈尔抓取数据集开展了抓取位姿估计实验,仿真抓取位姿估计准确度达到96.9%。基于Inter RealSense D415深度相机和UR5机械臂搭建了实物平台,在真实场景下对位姿随机摆放的多样性目标物体进行多次抓取实验,结果显示抓取目标检测成功率为95.8%,机器人抓取成功率为90.2%。

并联机器人串类水果抓取模型及抓取位姿计算

针对随机放置串类水果图像中主果梗和非主果梗间特征区别不明显、平面轮廓法获取的机器人抓取位姿信息较少的问题,该文构建了并联机器人串类水果三维抓取模型,并提出一种基于主果梗骨架和三维抓取模型的4-R(2-SS)并联机器人随机放置串类水果抓取位姿计算方法,以获取较高精度、包含较多信息的抓取位姿,进一步提高机器人对串类水果的抓取成功率。采用果粒和果梗区域的轮廓间距构建用于提取串类水果果梗轮廓的形态学图像分割法,并基于多维特征向量和高斯混合模型聚类算法提取主果梗;根据主果梗三维位姿和机器人夹持机构特征构建4种基于主果梗骨架的随机放置串类水果三维抓取模型,获取夹持机构的空间位置、绕Z轴的旋转角度以及手指开口宽度的抓取位姿信息。将提出的抓取位姿计算方法应用于课题组研制的4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统进行试验验证。试验结果表明,相对于基于平面轮廓的抓取位姿获取方法,基于该文方法的有分支主果梗和无分支主果梗串类水果的抓取成功率分别提高14和12个百分点,平均抓取成功率提高13个百分点。该文提出的抓取位姿计算方法可有效提高4-R(2-SS)并联机器人机器视觉系统对随机放置串类水果抓取位姿的获取精度,有助于进一步实现串类水果的准确快速自动分拣。

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。

基于深度学习的视觉检测及抓取方法

针对现有机器人抓取系统对硬件设备要求高、难以适应不同物体及抓取过程产生较大有害扭矩等问题,提出一种基于深度学习的视觉检测及抓取方法。采用通道注意力机制对YOLO-V3进行改进,增强网络对图像特征提取的能力,提升复杂环境中目标检测的效果,平均识别率较改进前增加0.32%。针对目前姿态估计角度存在离散性的问题,提出一种基于视觉几何组-16(VGG-16)主干网络嵌入最小面积外接矩形(MABR)算法,进行抓取位姿估计和角度优化。改进后的抓取角度与目标实际角度平均误差小于2.47°,大大降低两指机械手在抓取过程中对物体所额外施加的有害扭矩。利用UR5机械臂、气动两指机械手、Realsense D435相机及ATI-Mini45六维力传感器等设备搭建了一套视觉抓取系统,实验表明:所提方法可以有效地对不同物体进行抓取分类操作、对硬件的要求较低、并且将有害扭矩降低约75%,从而减小对物体的损害,具有很好的应用前景。

基于双目视觉与工业机器人的大型工件自动上下料系统

针对大型工件在工业生产中难以实现多环节的操作与装配自动化的难题,提出并实现一种基于双目视觉与工业机器人的大型工件自动上下料系统。该系统包含离线标定与示教、在线位姿检测与抓取两个主要过程。其中,离线过程主要包含双目视觉系统标定、工业机器人的手眼标定以及抓取和放置示教;在线过程包括基于双目视觉的金属料框、塑料托盘和大型工件6自由度位姿测量,以及工件与托盘的抓取和放置操作。实验结果表明,所提出的大型工件自动上下料系统既能实现高精度的位姿测量和抓取,又能实现整个系统的长时间稳定运行。

融合语义实例重建的抓取位姿估计方法

针对抓取任务中难以区分多个紧邻物体及高维位姿学习准确率差的问题,提出一种融合语义实例重建的抓取位姿估计方法。增加语义实例重建分支对前景完成隐式三维重建,并以投票方式预测每个前景点所属实例的中心坐标,以区分紧邻物体;提出一种高维位姿的降维学习方法,使用2个正交单位向量分解三维旋转矩阵,提升位姿学习准确率;搭建融合语义实例重建的抓取检测网络SIRGN,并在VGN仿真抓取数据集上完成训练。实验结果表明,SIRGN在拥挤(Packed)和堆叠(Pile)场景的抓取成功率分别达到了89.5%和78.1%,且在真实环境具有良好的适用性。

基于点云深度学习的散乱堆叠轴承圈位姿检测

为解决工业应用中散乱堆叠轴承圈的难识别、分割与抓取问题,提出一种分层递进随机下采样算法对采集的点云模型进行下采样操作,并结合提出的基于RGB阈值自动标注算法完成数据集的制作,利用PointNet++网络预测并分割出可抓取轴承圈上表面,进而使用RANSAC算法精确分割出待抓取轴承圈上表面,最后采用防干涉的抓取点选取策略完成待抓取轴承圈的位姿检测。实际场景下三组抓取实验得到的成功率均在98%以上,验证了其有效性。