基于改进的SURF算法的机械臂识别定位及抓取研究

针对采用传统SURF算法对机械臂工作区域内的目标进行识别时出现的运行速度较慢、匹配准确度较低等问题,提出一种基于改进的SURF算法的机械臂识别定位及抓取方法。首先,利用传统SURF算法提取目标的尺度不变性特征点;随后,通过rBRIEF描述子与低方差过滤分别对提取特征实施描述及降维,再进行基于Hamming距离的2-NN特征点交叉匹配,并采用RANSAC算法剔除错误匹配对;最后,结合双目立体视觉三维重建获取目标的空间三维坐标,并将机械臂逆运动学求解得到的各个关节驱动角输入控制系统,驱使舵机带动机械臂末端执行器完成对目标的抓取作业。实验结果表明,采用改进的SURF算法,较SIFT、传统SURF算法提高了目标特征点的识别速度与匹配准确度,有效提升了机械臂抓取的实时性及精准性。

一种基于立体靶标定位的三维重建方法

针对线激光传感器在特征信息匮乏引起的数据拼接误差较大的问题,提出了一种基于立体靶标定位的线激光数据拼接方法。通过双目立体视觉的空间几何约束构建靶标点库,实现立体靶标坐标系与线激光坐标系的位置标定;通过Canny边缘检测、亚像素边缘提取、椭圆拟合等算法对圆形特征点进行识别定位;将采集的局部标志点与靶标点库进行同源点匹配,解算线激光传感器的实时位姿;采用坐标系转换将线激光初始坐标与全局坐标系进行统一,实现点云的三维重建。实验结果表明:靶标标定的平均绝对误差为0.078 mm,测量的标准件拟合平均偏差为0.127 mm,与三坐标测量机(CMM)对比,该方法的测量平均偏差为0.165 mm,与机器人定位拼接和深度相机测量结果对比,搭建的测量系统的平均测量误差和标准偏差较小,可以满足对复杂曲面的多角度实时扫描需求。

一种基于双目立体视觉的虚拟轨道列车路径识别方法

为了克服单目视觉的局限性和提高虚拟轨道列车的路径感知能力,文章提出一种基于双目立体视觉的虚拟轨道列车路径识别方法。针对虚拟轨道列车车道块明显、外形完整、形状独特等特点,提出了基于Mask R-CNN的车道检测模型。同时,针对通用的双目匹配算法计算量大和对重复物体匹配较难的缺点,提出了融合多目标跟踪的双目匹配算法。该方法通过左右相机各自检测车道块,进行多目标跟踪来分配ID,对左右图像中的各车道块实现有序、定向的双目匹配,并重建出车辆坐标系下路径的三维坐标,有效提升了车辆系统路径感知能力,为其循迹控制、自主定位、相对位姿估计等提供了更加直接准确的输入信息。试验结果表明,本文方法对路径的三维重建具有较高的准确性,并且在不同路况场景下具有较强的适应性。

基于Stereo RCNN的锚引导3D目标检测算法

针对当前基于锚的双目3D目标检测算法存在的锚点数量选取较多,从而影响在线计算速度的问题,提出了一种基于Stereo RCNN的锚引导3D目标检测算法FGAS RCNN。在第1阶段中,输入左右图像分别生成相应的概率图以生成稀疏锚点及稀疏锚框,再通过将左右锚作为一个整体生成2D预选框。第2阶段的关键点生成网络利用稀疏锚点信息生成关键点热图,并结合立体回归器融合生成3D预选框。针对原始图像在卷积后会出现像素级信息丢失的问题,通过Mask Branch生成的实例分割掩模结合实例级视差估计进行像素级优化。实验表明,在没有任何深度和位置先验信息输入的情况下,此方法依旧可以在减少计算量的同时保持较高的召回率。具体来说,此方法在以0.7为阈值的3D目标检测上平均精度为44.07%。相比于Stereo RCNN,本文方法在平均精度上提高了4.5%。与此同时,此方法的整体运行时间较Stereo RCNN缩短了0.09 s。

基于检定场的移动背包扫描测量系统精度评定

移动背包扫描测量系统长期使用后对系统测量精度和可靠性产生影响,系统检校和精度评定在国内尚无规范标准。针对此问题,本文研究了移动背包扫描测量系统的性能指标和关键技术,并基于北京市标准长度基线场,构建了移动背包三维扫描测量系统检校与精度评定空间位置基准,提出了系统综合检校和精度评定方法。以徕卡移动背包扫描系统为研究对象,在北京市标准长度基线场检校基柱周边有序错落布设25个自制立体反射靶标,建立反射靶标特征点三维坐标标准值,比对靶标特征点扫描测量值与标准值,评估分析系统测量精度。试验结果表明,系统平面点位精度优于3 cm,高程精度优于2 cm,为移动背包扫描测量系统精度评定和可靠性应用提供了可靠依据。

基于立体视觉匹配的采摘机器人目标定位方法

为了解决采摘机器人目标定位偏差大的缺陷,提出基于立体视觉匹配的采摘机器人目标定位方法。引入立体视觉模型获取目标图像,采用线性平滑滤波模板消除目标图像的噪声;应用Bouguet算法立体校正左、右图像对;应用Sobel算子检测采摘目标边缘,确定目标的采摘中心点,通过立体匹配确定左、右图像中采摘目标的对应关系,完成采摘中心点的正确匹配,实现采摘机器人目标精准定位。测试结果显示,应用提出方法获得的采摘中心点匹配精度更高,采摘机器人目标定位误差最小值为1.0%,降低了目标定位偏差,应用性能较佳。

基于双目视觉的带电作业机器人的目标识别与定位方法研究

高空带电作业机器人对目标物的精细化作业,需要合适的视觉辅助系统判断机械臂或爪具的位置与距离。提出一种将基于双目立体视觉的带电作业机器人目标识别与定位方法。通过对传统的Census算法进行改进,用窗口均值像素代替中心像素,用自适应窗口代替固定窗口,并与差的绝对和(SAD)算法加权融合,得到一种改进的SAD-Census立体匹配融合算法。利用该算法进行像素匹配运算,得出视差图;在YOLO框架下训练输电线螺栓数据集,获得螺栓深度距离并精准识别。螺栓定位实验结果表明,该方法在近距离定位时能达到1.2%的定位精度,最小相对误差为0.5%,能够为带电作业机器人提供实时准确的环境感知信息,提高了带电作业机器人作业的稳定性。

在轨服务航天器的制导、导航与控制关键技术

在轨服务航天器的制导、导航与控制是保障任务完成的核心关键,根据其典型核心任务流程,梳理出了翻滚目标超近立体视觉测量、翻滚目标姿轨耦合逼近路径规划与控制、非合作目标柔顺捕获控制、组合体稳定控制四项关键技术。提出了基于深度学习的目标典型部位精细感知、基于虚拟域逆动力学的优化轨迹、间接估计辅助的图像视觉伺服控制、基于位置控制内环的阻抗控制等方法,实现了组合体航天器精确导航、制导与控制,利用气浮平台、六自由度运动模拟器进行了地面试验验证,组合体三轴控制精度为0.2°。最后对在轨服务航天器未来发展进行了展望,以期为该方向的后续研究提供参考。

基于双目立体视觉的平面工件识别和定位研究

以机械加工零件中常见的带孔平面工件为研究对象,采用透视可变形模板匹配的识别方法,Blob分析与Hough检测边缘相结合的定位方法。对于如何得到图像对中工件圆特征中心的同名点像素坐标,提出了一种新思路:首先在模板图像上绘制ROI轮廓,将工件的局部特征分割成单独的区域,这种分块化缩小图像定义域的方式,可以加快识别速度,接着在左右图像中投影变换出搜索区域,然后采用上述的定位算法得到圆心坐标,最后对目标点进行三维重建。通过对工件厚度测量的实验结果表明,Z轴重建精度为±0.108 mm,在视觉测量领域具有较好的应用前景。

基于DIC双圆交比的结构光标定方法

针对结构光立体视觉的内部和外部参数计算中存在散焦态特征图案识别误差大的问题,提出基于DIC双圆交比的参数优化方法。为提取高精度的特征图案,设计面向结构光立体视觉参数优化的双圆特征图案。针对特征图案亚像素边缘提取,对基于Zernike矩的亚像素边缘提取算法进行优化研究,针对失焦产生的图像模糊问题,提出高精度、高效率的亚像素边缘检测算法。此外,利用双圆的交比不变性约束特性,获取采集图案的精确圆心,以及系统的初步标定参数。利用数字图像相关算法获取正视角下标定图案,圆心数据的线性约束获取圆心的精确位置,由此计算精确的系统标定参数。实验结果表明,该标定方法精度更高,稳定性更好。

基于单目视觉的姿态自动测量方法

提出一种将EPnP算法和SoftPOSIT算法融合的单目视觉姿态自动测量方法.首先,利用EPnP算法计算得到立体靶标的位姿参数,并将该位姿参数作为SoftPOSIT算法的迭代初始值带入.其次,将SoftPOSIT算法计算位姿的的迭代过程与立体靶标结合,实现姿态的自动测量,并仿真验证了拓扑确定位姿的有效性.最后,为了验证姿态测量结果的精度,以高精度二维转台为基准,将立体靶标安装在二维转台中,通过控制转台转动角度得到靶标姿态的测量数据.实验结果表明,当转台转动角度在[-20°,20°]时,靶标姿态角α的测量结果标准差为0.20°,姿态角β的测量结果标准差为0.27°.

非合作航天器的相对位姿测量

为了解决在轨维护和轨道垃圾清除中非合作目标的识别问题,提出了基于立体视觉的位姿(位置和姿态)测量方法。采用中值滤波器对原始图像进行平滑,去除星空背景干扰和其它噪声;将Canny边沿检测器用于对平滑后的图像进行检测,得到包含边沿信息的二值图像。然后,对该二值图像进行Hough变换,提取待识别对象的直线特征,并计算直线间的交点。最后,对所提取的左、右相机图像的点特征进行3D重构,得到各点在世界坐标系中的坐标,并据此建立目标坐标系,求出其相对于世界坐标系的位置和姿态。仿真结果表明,对于较远距离(>2.5m),位置测量精度优于40mm,而近距离内(<2.0m)优于10mm,相对姿态精度优于2°,基本满足对非合作目标进行跟踪、接近、绕飞等位姿测量要求。

针对机器人位姿测量立体标靶的单目视觉标定方法

工业机器人末端位姿测量对机器人装配和机器人标定等工作具有重要价值。针对机器人位姿测量中常用标靶受环境光干扰较大、机器人运动空间有限等缺点设计了一款亮度可调、响应迅速的六面体立体标靶,并提出一种基于单目视觉的立体标靶标定方法。通过初始图像对的选择,解决单目视觉中本质矩阵分解得到的平移向量不精确的问题,并采用光束平差法对初始图像场景进行优化;向场景中添加新图像并使用光束平差法对场景进行全局优化,提高特征点重建精度;以精度为5μm的平面标定板上的特征点作为真实点,解决单目视觉重建场景缺乏尺度因子的问题。实验表明:特征点三维重建的平均误差小于0.035 mm,能够有效进行立体标靶的标定;使用该标靶计算的机器人位姿信息,将机器的位置精度提高了37%。

构建虚拟立体靶标的大视场高精度视觉标定

为了提高立体视觉系统在大视场下的测量精度,基于误差溯源思想提出了一种构建虚拟立体靶标的大视场高精度视觉系统标定方法,克服了大尺寸高精度标定物难以制造等问题。对影响立体视觉系统测量精度的主要因素进行分析,列出视觉测量系统的误差溯源链,解析了大视场视觉系统精度瓶颈的原因。借助激光跟踪仪,运用非线性最小二乘单位四元数算法求解坐标系刚体变换,获取大范围高精度的空间点阵,构建虚拟靶标。在相机畸变模型中考虑了三阶径向畸变和二阶切向畸变参数,并使用Levenberg-Marquardt迭代算法进行标定参数求解,进一步提高系统精度。实验构建了一套测量空间约为4m×3m×2m的双目立体视觉系统,通过对某型号高精度直线导轨进行点距测量,在测量距离3m处,152组不同长度的横向距离测量的误差算术均值为-0.003mm,误差标准差为0.08mm。测量精度相较于传统的平面标定法有较大提升。

主动光立体标靶检测及其在工业机器人位姿测量中的应用

基于工业机器人位姿视觉测量方法提出了用主动光立体标靶进行机器人末端位姿测量的方法。以主动红外光代替反光标志点,以主动光图案特征代替亮度特征作为表达位置信息的形式,设计了六面体主动光标靶。通过合理设置特征面图案,使立体标靶特征面提供蕴含空间几何约束的信息,并在此基础上设计了特征面识别算法。在室内环境、室外环境、混合光环境等实验条件下,该算法可实现对主动标靶健壮的识别和定位。在高精度四轴移动平台上的测量误差评价实验表明：运用该标靶的立体视觉系统在0.5~3m工作范围内平均位置误差为0.0857mm,平均姿态误差为0.1086°,满足机器人位姿测量的要求。最后在YASKAWA的Motoman-MH80六轴机械臂上进行了机器人末端位姿的测量实验,验证了该方法的可行性和高效性。

一种非合作目标相对位置和姿态确定方法

针对非合作目标中的从星若无法获得主星的动态信息时,就无法自主进行相对位置和姿态确定的问题,提出了一种采用陀螺、立体视觉系统和加速度计的相对状态确定方法。首先分别建立相对姿态方程、主星动力学方程和相对位置方程等系统的数学模型。然后根据这些方程组成的状态方程和立体视觉系统的测量模型设计了卡尔曼滤波器。该滤波器使得从星根据加速度计、陀螺和立体视觉系统的输出,在仅获得主星的外观特征和一些静态参数的情况下,能够自主进行相对位置和姿态的确定。最后,数值仿真结果表明,在相同仿真条件下,与使用主星陀螺信息的相对状态确定算法相比,该算法能够自主进行相对状态的确定,且位置和姿态稳态误差分别为0.05m和2°。

基于双目云台相机的目标跟踪系统建模与仿真

对双目云台相机目标跟踪系统的各个环节建立数学模型。采用扩展Kalman滤波(Extended Kalman Filter,EKF)作为定位跟踪算法,利用双目云台相机在水平方向、垂直方向转动角及其相对位置估计出目标实时位置;针对云台相机建模过程中相机外部参数随云台旋转发生变化的问题,提出一种云台相机实时标定方法;利用云台相机模型将目标估计位置投影到相机图像平面,提取出目标的图像特征作为视觉伺服系统的反馈信息控制云台旋转跟踪目标轨迹。在Matlab/Simulink环境下搭建仿真模型,仿真结果证实了方案的可行性和有效性,为视觉伺服控制器进一步设计提供了仿真平台。

火星探测出舱机构的识别定位与坡度测量

为实现火星探测两器分离过程中出舱机构的坡度测量,提出一种基于立体视觉技术的出舱机构识别定位与坡度测量方法。首先,采用特征匹配的方法对场景中的出舱机构进行识别定位。针对巡视器导航相机成像视角变化以及出舱机构倾角变化导致图像产生几何形变,火星表面光照因素的影响以及巡视器硬件的计算能力,并结合出舱机构自身特点,提出一种区域特征与Blob特征相融合的识别定位方法。采用加速鲁棒性特征(SURF)算法检测图像中的局部不变特征,并用最大稳定极值区域(MSER)算法检测图像最稳定极值区域,两种特征相融合之后构造SURF描述算子并进行特征匹配。同时,采用M估计抽样一致性(MSAC)算法计算对应点变换矩阵,实现出舱机构在场景中的初步定位。然后,通过对出舱机构上人工标志的精确定位以及三维重建,并采用主成分分析法进行平面拟合,实现出舱机构的坡度测量。试验结果表明,该方法对成像视角变化以及光照变化具有鲁棒性,提取的有效特征数以及计算时间均优于尺度不变特征变换(SIFT)算法,基本满足火星探测中出舱机构坡度测量要求。

结构光三维传感器测量网相关技术

针对大尺寸复杂物体的全自动、高精度、大数据密度、真彩色三维成像与测量,基于条纹结构光三维传感器,阐述了多节点三维传感器测量网络相关技术。涉及单三维传感器的条纹分析和相位重建、系统标定和三维重建两大关键技术点分析,多节点三维传感器测量网络的构建与优化、多节点三维传感器测量网络的标定、测量三维深度数据与纹理数据的匹配与融合等相关技术。并给出了部分实验原型机及实验结果。