采用辅助学习的物体六自由度位姿估计

为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明:所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。

基于混合通道注意力的类别级物体六自由度位姿估计

针对有光照变化、距离变化、背景杂乱、遮挡等干扰的场景下物体六自由度位姿估计精度低的问题,提出了一种结合多尺度特征融合和注意力机制的混合通道注意力模块(mixed channel attention,MCA)。在MCA基础上进一步构建了类别级物体六自由度位姿估计方法(MCA6D),其关键步骤包括物体的实例分割,特征提取与基于MCA的特征优化,基于先验形状的物体模型重建,及基于点云配准的位姿估计。本文方法在公共数据集CAMERA和REAL分别取得86.3%(5°2 cm)、73.4%(5°5 cm)和39.2%(5°2 cm)、43.3%(5°5 cm)的均值平均精度,领先于NOCS、SPD、SGPA等主流方法;同时实物实验表明本文方法在存在光照变化、距离变化、背景杂乱、遮挡等干扰的场景可准确估计物体六自由度位姿。

基于三维关键点投票的物体位姿估计方法

针对单帧RGB-D图像进行物体六自由度位姿估计时,在物体遮挡、光线情况不良、低纹理情况下性能不佳的问题,本文设计了一种基于多网络特征融合(颜色特征提取网络和点云特征提取网络)的深度学习网络.首先,使用颜色特征提取网络提取RGB图像中的纹理特征,使用点云特征提取网络计算深度图中的点云特征,进行几何特征与纹理特征计算后,回归计算点云的关键点投票及实例语义信息.然后,通过投票聚类方式计算每个实例的所属类别和关键点位置.将RGB-D图像中的颜色信息与几何信息分别计算,由于后续操作需要充分考虑像素及点云的局部信息与全局信息,分别使用改进后的残差神经网络和RIPoint(residuals inverted point)网络提取数据特征.采用神经网络中的特征融合方法将颜色信息与几何信息充分提取,为后续模块提供更有效的点云特征.使用深度霍夫投票算法与均值偏移聚类算法计算实例的三维关键点坐标.最后,利用最小二乘拟合方法计算预测三维关键点的物体位姿参数.在LineMOD数据集和YCB-Video数据集上进行测试,实验结果表明:与六自由度物体位姿估计方法相比,本文模型预测的物体位姿准确率高于其他方法,平均准确率分别达到99.5%和96.9%.网络同时基本满足实时性要求,完成一帧RGB-D图像的多实例物体位姿估计时间需0.06 s.

多层特征融合与混合注意力的物体位姿估计

在工业机器人抓取过程中,针对物体无纹理、存在遮挡、场景杂乱的情况下的6D位姿精确估计问题,提出一种多层特征融合与混合空间通道注意力的物体6D位姿估计算法。设计了一种垂直连接的双向特征融合金字塔网络,实现多层特征融合,提升对目标关键点的检测性能。嵌入混合空间通道注意力机制,聚焦空间和通道两个维度上的特征信息,增强模型的局部表征能力。在LineMod数据集及Occlusion LineMod遮挡数据集上的实验结果表明所提出算法的优越性及有效性,且能够有效处理背景杂乱及遮挡问题。

基于单目视觉的类别级六自由度位姿估计方法

目前,6D位姿估计技术主要针对实例级别的物体,而对网络预先没有获取精准CAD模型的实例,无法估计其6D位姿信息。针对这一问题,论文提出了一种类别级6D位姿估计的网络框架。首先,进行目标识别与掩膜分割,再通过逐像素预测目标的三维坐标,获取其标准化模型点云;其次,设计了一种单目深度估计网络,再通过三维重建得到实例对象的局部点云;最后,利用局部点云与标准化模型点云配准,计算得到类别级物体的6D位姿信息。实验表明:方法仅通过单张图像就能实现类别级6D位姿信息估计,平均精度达到89.2%。

一种基于点云实例分割的六维位姿估计方法

提出了一种基于SoftGroup实例分割模型和PCA主成分分析算法来估计物体位姿的方法。在工业自动化领域,通常会为诸如机器人、机械臂配备视觉系统并利用二维图像估算目标物体位置,但当目标物体出现堆叠、遮挡等复杂场景时,对二维图形的识别精度往往有所下降。为准确、高效地获取物体位置,充分利用三维点云数据的高分辨率、高精度的优势:首先将深度相机采集到的RGB-D图像转为点云图,接着利用SoftGroup模型分割出点云图中的目标对象,最后用PCA算法得到目标的六维位姿。在自制工件数据集上进行验证,结果表明对三种工件识别的平均AP高达97.5%,单张点云图识别用时仅0.73 ms,证明所提出的方法具有高效性和实时性,为诸如机器人定位、机械臂自主抓取场景带来了全新的视角和解决方案,具有显著的工程应用潜力。

基于压电陶瓷的并联六自由度平台的位姿控制模型与验证

针对传统电机驱动的小型Stewart平台无法达到纳米级定位的问题,设计了一种基于压电陶瓷的并联六自由度平台。该平台采用球副连接、对称分布及单层结构的设计,起到提升小型Stewart平台的定位精度的目的。通过分析并联六自由度平台定位原理,构建了6个自由度的位姿控制模型。通过仿真软件进行有限元分析,同时,在实体样机上进行实验分析,验证位姿控制模型的正确性。分析结果显示:并联六自由度平台沿X、Y和Z方向的行程均为-13.48~13.99μm,沿U、V方向的行程均为-616.59~639.17μrad,沿W方向的行程为-406.02~391.68μrad。目标位移与实验结果的最大误差为3.71%,验证了位姿控制模型的正确性。

TOF激光相机六自由度位姿变换估计

相对位姿估计是机器人视觉领域的研究热点。通过两帧数据来估计相机的六自由度位姿变换。充分挖掘TOF相机优势,提出了多个有效算法,用以保证估计精度。采用迭代最近点(ICP)算法估计位姿变换,为了克服ICP算法迭代发散问题,利用尺度不变特征点对估计初始值。为了提取有效特征点,根据统计学原理尺度化灰度图像,提高图像对比度。为了提高相机的测量精度,根据曝光时间越长,测量精度越高的原理,提出了融合多帧数据算法,使得融合后的数据帧中每个像素值均是在最长合理曝光时间下采集得到。同时提出了度量两个六自由度位姿变换差异的算法,并首次利用其跟踪ICP迭代过程。实验证明提出的算法可以有效估计相机六自由度位姿变换。

基于关键点特征融合的六自由度位姿估计方法

针对单张RGB-D图像进行六自由度目标位姿估计难以充分利用颜色信息与深度信息的问题,提出了一种基于多种网络(金字塔池化网络和PointNet++网络结合特征融合网络)构成的深度学习网络框架.方法用于估计在高度杂乱场景下一组已知对象的六自由度位姿.首先对RGB图像进行语义识别,将每一个已知类别的对象掩膜应用到深度图中,按照掩膜的边界框完成对彩色图与深度图进行语义分割;其次,在获取到的点云数据中采用FPS算法获取关键点,映射到彩色图像与深度图像中进行关键点特征提取,将RGB-D图像中的颜色信息与深度信息视为异构数据,考虑关键点需要充分融合局部信息与全局信息,分别采用了金子塔池化网络(pyramid scene parsing network,PSPNet)和PointNet++网络提取颜色信息与深度信息;采用一种新型的关键点特征融合方法,深度融合提取到颜色信息与几何信息的局部及全局特征,并嵌入到选定的特征点中;使用多层感知机(multilayer perceptron,MLP)输出每一个像素点的六自由度位姿和置信度,利用每一个像素点的置信度,让网络自主选择最优的估计结果;最后,利用一种端到端的迭代位姿求精网络,进一步提高六自由度位姿估计的准确度.网络在公开的数据集LineMOD和YCB-Video上进行测试,实验结果表明和现有同类型的六自由度位姿估计方法相比,本文所提出的模型预测的六自由度准确度优于现有的同类型方法,在采用相同的评价标准下,平均准确度分别达到了97.2%和95.1%,分别提升了2.9%和3.9%.网络同时满足实时性要求,完成每一帧图像的六自由度位姿预测仅需0.06 s.

DMANet:针对空间非合作目标位姿估计的密集多尺度注意力网络

利用单目相机对空间非合作目标进行准确的姿态估计对于空间碎片清除、自主交会和其他在轨服务至关重要。然而,单目姿态估计方法缺乏深度信息,导致尺度不确定性问题,大大降低了其精度和实时性。本文首先提出了一种多尺度注意块(Multi-scale attention block, MAB),从输入图像中提取复杂的高维语义特征。其次,基于MAB模块,提出了空间非合作目标6自由度位姿估计的密集多尺度注意网络(Dense multi-scale attention network, DMANet),该网络由平面位置估计、深度位置估计和姿态估计3个分支组成,通过引入基于欧拉角的软分类方法,将位姿回归问题表述为经典分类问题。此外,设计了空间非合作目标模型,并利用Coppeliasim构建了姿态估计数据集。最后,与其他最先进的方法相比,在SPEED+、URSO数据集和本文数据集上全面评估了所提出的方法。实验结果表明,该方法具有较好的姿态估计精度。

基于立体视觉六自由度大载荷实验平台的位姿检测

提出利用双目视觉系统检测六自由度大载荷实验平台的位姿。首先,采用时空联合的分割算法提取运动目标并由运动目标上不共线三点描述当前时刻运动平台的位姿;然后,根据运动平台负载大、惯性大的特点,对相邻时刻的位姿变化加入补偿,以此估计平台下一时刻的位姿。实验结果表明,该算法在较小的允许误差范围内能够较好地跟踪运动平台,准确地估计下一时刻的位姿。

可移动六自由度并联机构的位姿参数辨识及误差分析

针对可移动的空间六自由度并联机构的位姿辨识问题,通过测量多种位姿状态下运动平台上任意一个测量点的绝对坐标,构建运动学方程组并进行优化求解,实现了未知方位的并联机构位姿参数辨识以及测量点在动系中的坐标辨识,再根据测量点的目标位置,求解出各驱动杆的调整量,从而实现并联机构位姿的运动控制。采用Trust-Region Dogleg优化算法实现了冗余方程的求解,并且通过实验进行了验证。仿真和实验表明,对测量点坐标的辨识精度高于对并联机构自身位置的辨识精度。当并联机构自身运动误差不大于0.02 mm时,运用此方法并联机构在绝对坐标系中的定位误差能够控制在0.3 mm以内。

Stewart六自由度并联机构位姿分辨率分析方法

位姿分辨率是Stewart六自由度并联机构的核心指标,是实现空间相机次镜精密位姿调整的关键。为研制高分辨率六自由度并联机构,提出基于支链增量同比缩放及支链分辨率量化的位姿分辨率分析方法,通过计算目标位姿支链增量并同比例缩小、量化得到最小支链增量、杆长,进而正解,在设计阶段求得六个单自由度最小运动增量即位姿分辨率。应用VC++编写了分析软件,设计了某高分辨率空间相机次镜六自由度并联机构。实测结果表明:位姿分辨率分析结果与实测值基本一致,该分析方法具有较强的工程指导价值。

六自由度振动平台的位姿解算与路谱模拟分析

在自主设计的六自由度振动平台上,通过模拟车辆的实际运行来检测车辆座椅的减振性能,路谱模拟实验和仿真结果分析表明,该六自由振动平台能够应用于车辆座椅性能的检测。计算了振动平台各姿态的欧拉角,分析其在任意时刻的旋转矩阵,并推导出振动平台位姿的反解方程,并用此方法进行车辆路谱的模拟。在此基础之上,对旋转矩阵算法进一步优化,并借助PROE仿真软件分析了两种旋转矩阵算法的误差,仿真结果显示:优化后的算法使振动平台上3个测点的最大误差均值由2.3μm缩小到0.709μm。

基于三维点云的物体6D位姿估计方法

物体6D位姿估计近年来在计算机视觉及其他领域有着广泛的应用。为了掌握目前基于三维点云的物体6D位姿估计方法研究现状和趋势,对传统和基于深度学习的物体6D位姿估计的有代表性的方法进行汇总和分析。从基于三维模板、基于对应关系、基于投票三个种类的方法入手,详细介绍物体6D位姿估计方法的实现方式和优缺点,同时对其他最新的位姿估计方法作简要介绍。通过对基于三维点云输入的物体6D位姿估计方法的使用场景的总结,剖析了现存的问题,也提出了对未来发展方向的展望。

基于类别级先验重建的六维位姿估计方法

针对现有物体六维姿态估计方法难以泛化到真实场景、未知新物体的问题,文章提出了一种基于类别级先验重建的物体六维位姿估计方法,通过提取并融合输入物体与先验模板的三维特征,将先验模板由初始的局部坐标系变换到当前相机坐标系下,根据变换前后的点对匹配关系求得目标物体的六维位姿,通过这种方式能够使得模型更关注类别级共有信息、抑制对输入物体的特异性几何结构表征,对未知新物体具有更好的泛化能力。实验表明,当训练集仅包含合成数据时,该方法在真实数据上具有更好的性能。

六自由度3-RRRS并联机器人机构位姿正逆解

提出一种六自由度 3RRRS并联机器人机构 ,建立了位姿正逆解的解析表达式 ,其中位姿正解有 4组 ,位姿逆解有 8组 .

带连杆六自由度并联机器人位姿反解方法研究

六自由度并联机器人的位置反解是构建机器人姿态闭环控制的关键技术。将缸体固定,由轻量化连杆传递运动可降低液压缸运动的惯性力和铰接处摩擦力。传统的运动学反解办法不适用于带连杆的并联机器人。通过建立连杆局部坐标系的方法求取变换矩阵,进而求得带连杆六自由度并联机器人的位置反解方法。并利用ADAMS搭建虚拟样机模型检验算法的准确性。

基于立体视觉的六自由度平台位姿检测基础研究

位姿是六自由度平台的一项重要性能指标 ,其全方位、全行程的动态精确检测 ,对于六自由度平台的精确控制及广泛应用具有十分重要的意义。介绍六自由度平台 ,提出并着重讨论采用立体视觉对六自由度平台位姿进行检测的原理及具体步骤。实验结果表明 ,对于六自由度平台位姿的检测 ,立体视觉是一种可靠、快速、简单、可行的方法。

基于单目视觉的工件位姿六自由度测量方法研究

为了满足单目视觉系统对被测工件位姿参数的稳定且快速的测量,提出了一种基于单目视觉的工件位姿六自由度的测量方法。将计算机图像学与计算机视觉有机结合,利用QT编程软件结合Open GL库绘制仿真图像,并加入不同光照,以一定的视角生成二维视图模板,再使用计算机视觉开源库Open CV将二维视图模板与实时图像对比、匹配,以确定工件的初始位姿。最后,使用迭代优化算法,对二维视图模板点云与图像处理获得的边缘点云进行迭代优化,以获得精确度更高的位姿信息。