基于三维关键点投票的物体位姿估计方法

针对单帧RGB-D图像进行物体六自由度位姿估计时,在物体遮挡、光线情况不良、低纹理情况下性能不佳的问题,本文设计了一种基于多网络特征融合(颜色特征提取网络和点云特征提取网络)的深度学习网络.首先,使用颜色特征提取网络提取RGB图像中的纹理特征,使用点云特征提取网络计算深度图中的点云特征,进行几何特征与纹理特征计算后,回归计算点云的关键点投票及实例语义信息.然后,通过投票聚类方式计算每个实例的所属类别和关键点位置.将RGB-D图像中的颜色信息与几何信息分别计算,由于后续操作需要充分考虑像素及点云的局部信息与全局信息,分别使用改进后的残差神经网络和RIPoint(residuals inverted point)网络提取数据特征.采用神经网络中的特征融合方法将颜色信息与几何信息充分提取,为后续模块提供更有效的点云特征.使用深度霍夫投票算法与均值偏移聚类算法计算实例的三维关键点坐标.最后,利用最小二乘拟合方法计算预测三维关键点的物体位姿参数.在LineMOD数据集和YCB-Video数据集上进行测试,实验结果表明:与六自由度物体位姿估计方法相比,本文模型预测的物体位姿准确率高于其他方法,平均准确率分别达到99.5%和96.9%.网络同时基本满足实时性要求,完成一帧RGB-D图像的多实例物体位姿估计时间需0.06 s.

基于四元数的单目视觉物体位姿测量方法

对基于点特征的单目视觉定位算法进行了研究,设计了一种5点平面靶标,在五个特征点的基础上提出了一种基于四元数的单摄像机位姿测量方法。建立了四元数空间变换矩阵,然后再根据特征点在世界坐标系下的坐标值以及特征点在CCD成像面上的坐标值,在空间投射的基础上利用最小二乘法求解出靶标的四元数空间变换矩阵,从而求得靶标的空间位姿。通过实验对该单目视觉定位方法进行验证,实验结果表明:测量模型平移定位精度达到了,旋转定位精度达到了。

机器视觉在物体位姿检测中的应用

随着科技的不断地进步和发展,高科技产物逐渐广泛应用到人们的生活中.而高科技产物的出现也代表着我国科技的发达水平.我们在发展技术的同时也要注重多项技术的重新组合,从而最大程度的发挥每个单项技术的作用.其中机器视觉技术与检测物体位姿技术的结合最为出色.因此本文就如何在检测物体位姿时采用机器视觉技术的问题展开讨论,以下为本次讨论的主要内容.

机器视觉在物体位姿检测中的应用

论文旨在对物体位姿检测过程中应用机器视觉的实际效果进行分析。在进行实际验证过程中使用工业相机,从两个方位对目标图片进行全面采集,在相机进行标定的过程中,选择的方法是张正友的以2D平面靶标为基础的标定方法。并且在对目标区域进行测定的过程中,采用了目标图像,减去背景图像并与形态学运算进行结合的方法来实现初步定位。

基于混合通道注意力的类别级物体六自由度位姿估计

针对有光照变化、距离变化、背景杂乱、遮挡等干扰的场景下物体六自由度位姿估计精度低的问题,提出了一种结合多尺度特征融合和注意力机制的混合通道注意力模块(mixed channel attention,MCA)。在MCA基础上进一步构建了类别级物体六自由度位姿估计方法(MCA6D),其关键步骤包括物体的实例分割,特征提取与基于MCA的特征优化,基于先验形状的物体模型重建,及基于点云配准的位姿估计。本文方法在公共数据集CAMERA和REAL分别取得86.3%(5°2 cm)、73.4%(5°5 cm)和39.2%(5°2 cm)、43.3%(5°5 cm)的均值平均精度,领先于NOCS、SPD、SGPA等主流方法;同时实物实验表明本文方法在存在光照变化、距离变化、背景杂乱、遮挡等干扰的场景可准确估计物体六自由度位姿。

面向机器人抓取的物体三维位置与姿态识别

在物体抓取领域中,提供所需操作物体位姿信息,是机器视觉相关领域研究的首要目的。考虑到日常生活中存在无纹理的物体,如何实现对此类物体位姿信息获取,通常需要提取物体的某一特征信息,实现机器人获取物体位姿信息;本文利用物体颜色作为特征,将相机采集到的物体点云信息进行处理,将RGB图像转化为HSV空间显示,采取物体质心作为抓取点,使得机器人获取物体位姿信息;通过采用Eye-to-hand系统,搭建实验所需的Panda机器人手眼系统, 完成对目标物体“抓取”和“放下”的指定工作。

单目视觉位姿测量方法及数字仿真

对基于点特征的单目视觉定位算法进行研究,提出了一种基于5点透视投影数学模型的单目视觉位姿测量算法,该算法使用不共面定位特征点,根据5个特征点在摄像机坐标系与世界坐标系下相对位置关系相同来计算5个特征点在摄像机坐标系下的坐标,进而求出物体的转动角度.同时还构建了一套基于OpenGL图形引擎的数字仿真系统,完成了物体位姿的仿真计算,实现对算法定位精度的评价,仿真实验结果表明,在理想状况下,该算法的定位精度达到了±0.01°,为单目视觉物体位姿测量提供了一种具有较高精度的方法.

单目视觉三维运动位姿测量方法研究

针对基于点特征的单目视觉位姿测量,研究了一种基于不共面5个编码特征点的单目视觉解算算法,利用大靶面高分辨率相机采集运动物体姿态图像,利用目标物体上编码特征点间的几何约束关系,通过正交迭代解算算法完成目标物体的位姿测量。实验结果表明:位移测量不确定度优于0.5mm,姿态测量不确定度优于0.05°,可满足航空航天领域试验测量要求。

利用RGB图像和DNN进行物体6DOf位姿推算

提出一种基于RGB图片信息进行物体位姿推算的方法。方法利用二维图像分割得到的二值mask图像,并在此基础上进行物体的位姿推算,实现实时准确的物体6Dof位姿信息输出。目前传统上基于RGB-D图像推算物体的6Dof位姿精度较高,但RGB-D双目摄像头往往功耗和体积较大且成本高,而利用RGB图像来进行位姿推算无论在工业还是移动设备上更为实用。针对深度神经网络训练需要大量数据且数据集获取困难的问题,利用blender软件实现了一套物体6Dof位姿训练数据集生成的方法。通用实验表明,所提方法的推算的位姿精度相对较高,位姿推算用时约为0.1s,具有良好的准确性、实时性,且有效解决了计算量问题。

基于深度三维模型表征的类别级六维位姿估计

类别级物体六维位姿估计在机器人操作、自动驾驶和增强现实等领域有着广泛的应用。相较于实例级任务,类别级六维位姿估计的难点主要在于类别先验特征基础上的类内差异。本文采用一种基于有向距离场(Signed Distance Field,SDF)的深度三维模型表征提取出类别级先验共享信息,同时依据输入深度图像的几何形状特征搜索最优的形状隐变量,两者结合重建出标准空间内的完整实例模型。通过学习深度点与标准化实例模型的点对匹配关系,即可求解出物体的六维位姿参数。实验证明本文提出的类别级六维位姿估计架构具有良好的性能和对类内新物体的泛化能力。

基于单目视觉的多种群粒子群机械臂路径规划算法

针对复杂静态背景下具有多约束条件的机械臂路径规划问题,提出一种新的基于单目视觉的多种群粒子群算法。首先,使用图像差分算法消除背景,再利用轮廓包围法找出目标物体区域,然后使用模型位姿估计法求出目标物体位置。其次,提出一种多种群粒子群算法,根据目标物体位置演化出机械臂最优角度。该算法将精英种群与子种群组成多种群粒子群,使用预选择与交互机制使算法跳出局部最优。仿真结果表明,与实际坐标对比,使用背景消除法后求出的物体位置坐标误差较小。将多种群粒子群优化算法与现有的一流演化算法对比,结果表明对不同位置的物体,该算法获得的路径平均自适应度与均方误差(MSE)最小。