基于视觉的相机位姿估计方法综述

相机位姿估计是通过估计相机的位置坐标和环绕三个坐标轴的角度偏转,来描述其相对于给定场景的方向和位置,是自动驾驶、机器人技术等任务的重要组成部分。为帮助研究人员在相机位姿估计领域的研究,对相机位姿估计的研究现状和最新进展进行梳理。首先介绍了相机位姿估计的基本原理、评价指标和相关数据集;然后从场景关系搭建和相机姿态解算两个关键技术出发,对两阶段模型结构方法和单通道模型结构方法进行阐述总结,分别从核心算法和利用的场景信息不同上进行分类归纳分析,并对室内室外公开数据集上的表现作对比;最后阐述了该领域当前面对的挑战和未来的发展趋势。

水稻行线检测和导航信息提取方法——基于相机位姿

为了避免除草机器人在自动驾驶除草过程中碾压和损伤水稻苗,针对单目相机行线检测结果难以提取正确的导航信息导致无法保证除草机器人行驶在正确路径上的问题,提出了基于相机位姿的水稻行线检测和导航信息提取方法。在所规定的坐标系下,利用相机位姿建立像素坐标系与世界坐标系对应坐标的映射关系,根据映射关系对图像进行透视变换并选择感兴趣区域;对感兴趣区域进行图像预处理,采用滑窗法进行水稻行识别;根据坐标映射关系,将水稻行识别结果转换为世界坐标系下的导航信息。试验结果表明:本算法可以实现水稻行线检测与导航信息的提取,同时对于行线弯曲、断行、行线连通等典型情况也适用。在Nvidia Jetson TX2平台上,处理1幅图像并提取导航信息的平均用时约为0.5s,水稻行线识别准确率为97%,成功识别所提取导航线的平均误差为39.0909mm,可以满足除草机器人行线跟踪的实时性与准确性要求。

相机位姿求解的复用镜像约束法

针对参照物不在视场范围内的问题,提出一种复用镜像约束求解相机位姿的方法。具体步骤为:①依据相机位姿求解方法得到镜像相机位姿;②根据平面镜反射对称性构建单张图像镜像相机与相机位姿间线性约束关系;③复用镜像相机姿态,建立多张图像之间约束关系,在获得3张图像情况下,可得18个线性约束条件,提高相机位姿求解精度。试验结果表明:旋转矩阵和平移向量均误差分别为0.009°和1.866 mm,较对比方法,旋转矩阵均误差平均降低0.009°,平移向量均误差平均降低2.292 mm,且具有较强适应性。在真实试验中,平均重投影误差为0.492像素,优于对比方法,能够准确求解参照物不在视场范围内的相机位姿。

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法:根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。

基于弱随机相机位姿图像的三维场景恢复

随着深度学习的快速发展,基于多视图的三维场景恢复研究和应用越来越广泛。许多研究者关注通过优化深度学习网络提高三维场景恢复效果,深度学习使用的训练数据集的相机位姿分布具有规范度高的内在特点。然而在实际应用中,普通用户拍摄目标场景时,相机位姿分布具有较大的随机性,难以保证获取到和训练数据集质量等同或接近的目标场景图像数据,从而影响恢复效果。为了缓解这一问题,该文提出了基于弱随机相机位姿图像的三维场景恢复方法,通过给用户提供目标场景拍摄建议,降低所获取目标场景图像相机位姿分布的随机性,提高场景的三维恢复效果。首先,用户在目标场景拍摄指导下,获得同一场景下不同视角的二维图像数据,然后通过SFM(Structure From Motion)恢复场景的三维稀疏点云和相机位姿,最后在MVS(Multi-View Stereo)网络模型中进行三维点云的稠密重建。实验结果表明,相比拍摄建议前,该方法有效降低了所获取目标场景图像相机位姿分布的随机性,三维场景恢复成功率提高了52.95%。

基于相机位姿估计的局部放电源可视化标注方法研究

局部放电源的准确、快速定位对科学分析电磁干扰成因,开展电磁干扰预警与防护等具有重要意义.本文将场景图像信息与电磁辐射信息相融合,提出了一种基于P3P(pespective-3-point)相机位姿估计的局部放电源可视化标注方法.该方法在获取局部放电源空间三维坐标的基础上,结合场景图像信息可对其进行可视化标注,有利于直观、快速实现局部放电源的排查与定位.通过模拟测试和交叠率计算,对比分析了局部放电源定位误差、相机位姿参数估计误差以及相机重投影误差等对标注结果准确性的影响,并以高压放电形成的瞬态电磁辐射为研究对象,开展了试验测试与验证.研究结果表明:对处于2个不同位置的高压放电源进行可视化标注,利用半径为10 cm的圆形标注框计算得到的交叠率分别为0.67和0.72,标注结果对高压放电所在区域的指向性好,实现了对放电源的可视化标注.

产品表面质量视觉检测中的相机位姿自动校准

为解决产品表面质量视觉检测中因图像几何特征不足而导致的相机位姿无法校准问题,提出了一种基于图像灰度分布的相机位姿自动校准方法.首先将相机安装于机械臂末端,标定出机械臂末端坐标系与相机坐标系间的转换关系;然后采集相机处于不同位姿下的产品表面图像,在图像感兴趣区域内建立极坐标系,并根据图像灰度与极角之间的分布关系计算出灰度分布轴线的位置,以引导机械臂带动相机作姿态调整;最后再根据图像清晰度评价值控制机械臂沿相机光轴方向平移至正焦位置,最终实现相机位姿校准.以汽车涡轮壳零件为被测对象进行了相机位姿校准试验,图像中感兴趣区域两侧的灰度差值由119降低至4,图像清晰度评价值达到极大值150.90,相机经位姿校准后采集到了准确、清晰的零件表面图像.

二值加权正交迭代相机位姿估计算法

在相机位姿估计算法的实际应用中,由于2D像点与3D参考点的错误匹配,参考点中往往含有异常值。针对现有算法抗异常值能力较弱的问题,提出了一种基于正交迭代的二值加权算法。该算法在正交迭代算法的基础上,引入包含两个阈值的加权系统来衡量参考点的可靠性。选取重投影误差的四分位数中的最大值作为阈值之一,另外引入一个与重投影误差和焦距相关的阈值来加速异常值比例较低时的收敛速度。最终选取两阈值的最大值对目标函数进行二值加权,降低了异常值对估计结果的影响。实验表明,该方法提升了正交迭代算法的抗异常值能力,具有较强的鲁棒性。

基于四元数最少特征点的相机位姿估计

为解决相机位姿估计的问题,提出了一种基于四元数最少特征点的相机位姿估计算法。在相机拍摄的二维图像中检测并匹配特征点,根据特征点坐标与约束条件建立多项式系统,通过求解对应的矩阵方程来求解多项式系统。用四元数表示相机的旋转,避免了求解中相机旋转与平移相互纠缠的问题,当2个摄像机视图之间的平移为零时能够很好地进行位姿求解。求解中结合5点算法对求解原理进行了详细推导,并进行抗噪声测试。测试中随着匹配的特征点数增加,算法平均估计误差范围不超过2%。利用KITTI数据集测试算法的实用性,并与其他几种方法进行结果比较。结果显示,相同条件下算法将估计精度提高了24. 5%以上,体现出良好的估计精度。

基于二维码的相机位姿求解

针对视觉机器人定位问题,提出基于二维码的相机位姿求解方法,以实现视觉机器人的精准定位.利用开源计算机视觉库(open source computer vision library,OpenCV),首先对二维码的标准位置和相机进行标定;其次对图像进行预处理,得到二维码准确的边缘轮廓;然后利用循环遍历和最大距离算法求解特征点,对于像素过低导致的边缘失真采用“像素突变”算法进行优化;最后利用特征点通过坐标变换求解出相机位姿.在实际场景中对该方法进行测试,试验结果表明算法的旋转轴误差为±0.18 m,旋转角误差为±2°,平移量总误差为±0.02 m,可以有效地对视觉机器人进行精准定位.

融合二维图像和三维点云的相机位姿估计

为了准确地在特定三维真实环境中,通过单目相机获取的RGB图像来估计相机的六自由度位姿,本文结合已知的二维图像及三维点云信息,提出了基于稠密场景回归的多阶段相机位姿估计方法。首先,将深度图像信息与传统运动结构恢复(Structure From Motion,SFM)算法相结合,构建单目相机位姿估计数据集;其次,本文首次将深度图像检索引入2D-3D匹配点的构建当中,通过所提的位姿优化函数对位姿解算加以优化,提出多阶段相机位姿估计方法;最后为提升位姿估计的性能,将ResNet网络结构用于图像的稠密场景坐标回归,使得所提方法的位姿估计精度大幅度提升。实验结果表明:对于给定的位姿误差阈值5 cm/5°,在公开数据集7scenes下的位姿估计准确率均值为82.7%,在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比,本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。

基于两个共面圆的无匹配相机位姿计算

近年来,相机定位吸引了学术界和工业界的强烈兴趣,其中基于平面标记的方法简单易行.但是,一旦标记与图像之间匹配错误,计算出的相机位姿就会出现错误,导致跟踪不稳定.本文设计了两个分离平面圆的相机定位新标记,基于该圆形图像,直接表达相机位姿参数.该方法不需要在多个点之间进行匹配,解析轻量.此外,由于所使用的图像特征是边缘,该方法可鲁棒对抗快速相机运动和图像模糊.设计的标记在自然场景中也很常见,因此所提出的方法可以广泛使用.实验与该类相关方法对比表明,本文方法取得了相当高的精度与稳定性.

基于测量误差不确定性加权的快速相机位姿估计算法

在相机位姿估计任务中,参考点位置的测量容易受测量仪器或者所处环境影响,出现一定程度的测量误差,其中误差较大的点对最终求解精度的影响很大,被称为野值点。文章针对现有算法抗野值点能力较弱的问题,提出一种基于测量误差不确定性加权的快速相机位姿估计算法。该算法以经典的正交迭代算法为基础,引入M估计方法,对目标函数根据参考点的测量误差赋予相应大小的权值,最大程度地将野值点的影响排除,并引入Kronecker积对计算过程进行优化,减少了迭代过程中的冗余计算,提高运算速度。仿真实验结果表明,改进后的算法提升了原算法的抗野值点能力,且计算速度更快。

基于单张图像的相机位姿预测算法研究

本文提出了一种可以通过单张图像进行相机位置和姿态预测的算法。本文首先将拍摄到的彩色图像进行标准化和随机裁剪,以消除特征维度不匹配的现象,并实现数据增强;然后将预处理过的数据送入提出的定位网络进行训练,通过编码器将数据编码提取高维特征,再经过解码器和跳跃连接恢复空间信息;最后通过预测器预测出对应的相机位姿。我们通过在公开数据集上对本文算法进行测试,发现预测出的相机位姿精度有较大提高。

相机位姿估计的加速正交迭代算法

面对需要实时计算的相机位姿估计问题,针对经典的广泛应用的正交迭代算法,提出了一种加速正交迭代算法。其关键思想是将每一次迭代过程规整化,从而提炼出每一次迭代的重复计算,若将此重复计算在迭代开始前提前计算,则可以大幅度的减少迭代过程中的计算量,使得每一次迭代的计算复杂度从O(n)降低为O(1)。因此,可以在更短的时间内迭代更多的次数,从而获得更高的精度。进行了对比实验,结果显示本加速算法计算精度更高,速度更快。并通过实验提出了选择稳健n点透视(RPn P)计算初值,再使用加速正交迭代算法进行迭代运算的方法,在控制点不多的情况下,是一种精度接近最大似然估计,计算速度最快的算法。

基于直线段对应的相机位姿估计直接最小二乘法

为了实现高精度的基于直线段对应的相机位姿估计,提出一种直接最小二乘法。通过提出并利用一种直线段之间的距离测度,将原问题转化为最小化一个姿态旋转矩阵的二次目标函数,该距离测度综合考虑了线段的端点距离、中点距离、夹角和线段的长度,通过旋转矩阵的CGR参数表达获得一个修正的目标函数,此修正目标函数的最优解条件组成了一个三元三次方程组,利用代数多项式方法在不需要迭代的情况下直接求解这个方程组,从而得到了旋转矩阵的全局最优解。该算法的计算复杂度为O(n)。仿真和真实实验验证了该方法的有效性和高精度。

改进场景坐标回归网络的室内相机重定位方法

传统相机重定位依赖手工特征,场景的变化会影响其后续特征匹配,导致算法总体性能下降。然而,基于深度学习场景坐标回归的相机重定位方法在室内场景下有着较好的表现。针对复杂场景下定位精度低以及在特征提取过程中空间信息丢失的问题,在场景坐标回归方法的基础上,提出一种基于深度过参化卷积与细粒度信息的相机定位方法。该方法在特征提取网络中,引入深度过参化卷积层取代传统的卷积层,使提取的特征更具有鲁棒性;在特征提取网络之后,增加细粒度信息,加强特征提取,解决特征提取带来的空间信息丢失问题;通过全连接层输出场景坐标,建立二维图像像素和三维场景坐标之间的关系,然后使用多点透视随机抽样一致性算法得到相机位姿。实验结果表明,改进后的方法与同类型算法相比有明显的提升,该方法能够将平均角度精度提高20.00%,对相机重定位有显著效果,验证了该方法在一定程度上能够克服视觉特征对相机重定位的影响。

基于改进人工鱼群算法和自适应模糊PID的云台相机位姿控制

巡检机器人的云台相机位姿控制对设备巡检和获取故障区域图像至关重要。针对综合管廊巡检机器人的巡检需求,提出了一种基于改进人工鱼群算法和自适应模糊PID的云台相机位姿控制方法。在人工鱼群算法优化的中后期,借鉴遗传算法思想增强寻优能力。基于改进的人工鱼群算法优化云台相机位姿PID控制参数初值,设计了相机位姿变换的约束区域,通过自适应模糊PID实现相机位姿在线实时控制,并与常规PID和自适应模糊PID控制算法进行对比分析。实验结果表明,基于改进人工鱼群算法和自适应模糊PID的云台相机位姿控制具有良好的实用性和鲁棒性。

相机位姿估计的加权正交迭代算法

在相机位姿估计的实际应用中,参考点的坐标数据不可避免地包含了测量误差,其量值大小通常不会完全一致,如果不区别测量误差直接进行相机位姿估计,将可能导致估计结果与真值相差甚远。为此,在广泛应用的正交迭代算法基础上,提出了相机位姿估计的加权正交迭代算法,该方法以加权共线误差为目标函数,根据像面重投影误差确定权重系数取值,优化相机位姿估计结果,具有精度高、稳健性好等优点,且满足全局收敛条件。数值仿真实验与风洞迎角实验的结果表明,本文算法更加有效,能够抑制不同程度测量误差对相机位姿估计结果的影响,所得结果明显优于正交迭代算法,具有较强的工程实用价值。

利用旋转双目立体相机的桩体倾斜度测量方法

桩体倾斜度监测在沉桩作业中至关重要,现有方法普遍存在安置过程复杂、工作耗时长等典型问题。针对以上问题,以双目立体设备研制为基础,提出了一种基于双目立体视觉的桩体倾斜度测量方法。首先,该方法通过旋转码盘与相机的高精度标定实现利用码盘旋转角度读数来高效计算相机在任意旋转角度的位姿信息。其次,在双目影像同步采集以及高频倾斜角度测量条件下,设计了一种新的利用提取桩体边线几何的方法来拟合桩体中心轴线方向向量,从而快速计算柱体的倾斜度。实验结果表明,该方法可准确计算相机相对位姿以及柱体倾斜度,倾斜度测量精度可达到优于0.1°,且单次自动测量效率优于10 s,相较于常用的全站仪测量方法,其效率可提高6倍以上,能够满足连续高效且高精度的桩体倾斜度测量需求。