面向大规模三维重建的快速鲁棒集束调整算法

集束调整是运动推断结构的核心,针对现有算法在大规模场景下易受外点影响,空间占用率过高和效率较低问题,提出一种快速鲁棒的集束调整(fast and robust bundle adjustment,FRBA)算法.首先,为了避免外点(outliers)的影响,采用Cauchy损失降低外点的权重,提高算法精度.其次,充分利用运动推断结构中三维点与摄像机之间的稀疏性对大规模集束调整进行稀疏分解,降低内存空间的使用.最后,根据稀疏分解后矩阵的固有特性,采用快速矩阵分解法求解正态方程的解.在合成数据集、BAL数据集和真实图像数据集上对FRBA算法进行测试,并与现有经典算法进行比较.实验结果表明无论在时间效率还是精度上,FRBA算法均处于领先位置.

一种准线性集束调整方法

针对现有集束调整方法收敛速度慢的缺点,本文提出了一种准线性集束调整方法。该方法将求代数距离最小值代替求几何距离最小值,然后交替地将投影矩阵和射影空间点两个量中的一个保持不变,线性地求取另一个量。该方法的优点是所有的图像都平等地看待,并从理论上证明了该方法能够收敛到全局最小值。实验结果表明,本文提出的集束调整方法具有收敛速度快、运算量小等优点。

基于分段式序列图片集的运动恢复结构

多视图运动恢复结构(Structure from Motion,SFM)是三维重建中相机姿态估计的一种最常用的方法。传统SFM采用增量方式处理图片,算法的时间复杂度是O(n4),当图片数量较多时,重建时间很长。此外,由于图片噪声影响,漂移误差将随着图片数量增加不断累加,影响最终的重建质量。添加集束调整(Bundle Adjustment,BA)可以优化重建结果,但是需要花费更长的时间。在现有增量式算法的基础上,提出基于分段式序列图片集的方法,将序列图片集按照相似度划分为小集合,对每个小集合进行并行计算,减少误差累积量和重建时间,最后再用BA进行全局优化。实验结果表明,该方法能在保持一定精度的前提下,有效减少重建时间。

基于约束优化的多传感器车载定位方法

基于多传感器融合定位平台,采用误差互补的卡尔曼滤波或误差优化方法是解决室内外无缝定位的主流手段。但是,在缺乏先验地图的城市峡谷和山区等遮蔽、半遮蔽环境,应急救援车载定位系统仍然面临频繁失效问题。基于此,提出了一种基于约束优化的多传感器车载室内外定位方法,设计联合GNSS/IMU/激光雷达的多源融合定位系统,在状态更新模型的基础上,分析了车辆连续起伏过程受力方程约束低成本MEMS高程震荡,设计引入RTK解析状态监测评估约束GNSS可用性,提出联合各传感器误差约束构建集束调整优化方程;分别进行室内、城市和山区场景的实时车载定位测试。实验结果表明,该方法可实现亚米级室内定位和车道级室外定位。

基于数码相机的农田景物三维重建

为提出一种基于图像的农田景物三维重建方法。首先,从图像文件中提取包含相机焦距等参数的EXIF信息,用以计算相机内参矩阵。根据两幅对应图像的匹配关系,求解本征矩阵并对其SVD分解获得相机外参矩阵,合并相机内外参数构成投影矩阵;其次,以SIFT匹配点的视差作为搜索范围初始限制条件,按像素邻域的SSD值匹配两幅图像中的像素,获得致密的视差图并以三维点云形式重建田块景观;最后,使用"集束调整"算法对最初三维重建结果求精,并将二维图像像素RGB值映射到三维点云上,获得最终结果。从重建效果看,方法真实再现性好、重建过程简洁、具有较高的自动化程度。

基于多帧序列运动估计的实时立体视觉定位

同时优化运动和结构的集束调整方法存在对初始值依赖太大,收敛速度慢,收敛发散等数值稳定性低的缺点。本文提出了一种新的用于立体视觉定位的多帧序列运动估计方法,该方法收敛速度快,能收敛到全局最小,可大大减少积累误差。立体视觉定位仿真实验和户外智能车真实实验表明:基于多帧运动估计的实时立体视觉定位算法在计算精度、运行时间、抗噪声、对初始参数的稳定性方面都优于基于集束调整的实时立体视觉定位算法。

一种点线特征融合的双目同时定位与地图构建方法

基于特征点的视觉同时定位与构图方法依赖于图像质量以及可提取的特征点数量,且稀疏的特征点不能直观表达环境的结构信息。为此,提出一种将图像的点特征和线段特征融合的双目同时定位与构图方法。算法前端提取图像的点特征和线段特征,进行特征跟踪并完成相机位姿求解,从跟踪线程中分离出特征提取线程,进一步提升了前端线程的帧率。后端采用集束调整对局部地图进行优化,利用基于词袋模型的闭环检测以抑制系统的累积误差。最后结合点线特征共同构建环境地图。在公开数据集上进行了实验,与当前主流算法相比,提出的算法在保证定位精度的同时能够获得更丰富的环境地图,具备较好的鲁棒性与实时性。

面向局部弱纹理环境的多双目视觉SLAM

在局部弱纹理环境下,使用特征法视觉SLAM的移动机器人存在定位丢失的问题。为此,提出了一种基于多个双目相机紧耦合的视觉SLAM算法。该视觉SLAM算法通过将多个双目相机的测量信息融合在一个统一的最小二乘方程中,完成对周围环境的建模和对自身的定位。在该多双目视觉SLAM中,即使一个双目相机观测到弱纹理场景,依靠其他相机的观测信息,依然可以鲁棒地完成定位和建图的工作。实验结果表明,多双目视觉SLAM有效地解决了局部弱纹理环境下的移动机器人定位丢失问题。

基于EXIF信息的可变内参数序列图像的三维重构

基于图像中数码相机嵌入的元数据信息,提出了一种可变内参数的序列图像重构算法,首先从序列中选择两幅图像建立初始结构,然后依次将其他图像加入当前重构结果,进一步通过集束调整来最小化序列中所有图像重投影误差,得到精确的三维重构结果,避免了复杂繁琐的自标定过程。实验结果验证了算法的有效性。

融合信赖域的SLAM后端优化算法

针对即时定位与地图构建(SLAM)系统如何在有限的计算资源下发挥出更优秀的实时性能这一问题,提出了一种融合信赖域的改进优化方法。该方法能够从正规方程矩阵的稀疏性中受益,针对大规模最小二乘求解问题,通过优化求解步骤,能够大量减小求解过程计算量,显著提升求解速度,加速后端优化进程;同时,使用并行运算加速信息矩阵拼接过程,在不损失精度的前提下,提升SLAM系统的实时性能。实验结果表明,经过该方案优化的集束调整更加适合大规模的SLAM问题,优化后的系统迭代求解速度提升了近30.12%,实时性能表现更佳。

一种基于平面追踪的多相机标定法

Google Jump,Jaunt和Lytro Immerge等多相机系统的广泛应用带来了对于可靠高效标定方法的需求。目前最好的标定方案一般至少需要邻近的相机能够拍摄到同一片区域或是一个已知结构的场景。基于让标定更加便捷的目的,我们采用一种不依赖于这些约束的新的多相机标定方法,它是机器人学中标定单对目标的手眼标定法的一种扩展。通过场景中未知具体参数的平面结构和基于平面的SfM方法来估算相机姿态,并使用集束调整来进一步优化参数,从而摆脱对特定标定图样的依赖。该方法在多个实验中展现出较好的准确性、鲁棒性和高效性。

面向大尺度场景的单目同时定位与地图构建

基于单目相机的同时定位与地图构建方法容易随着场景不断扩大而造成累积误差.尤其对于大尺度场景,误差累积往往非常明显,导致循环回路无法有效闭合.虽然集束调整技术能通过闭合循环回路来有效地消除误差累积,然而对于大尺度场景,传统的集束调整方法由于存在内存和效率两方面的瓶颈,在实时的同时定位与地图构建上进行应用时会受到很大限制.本文基于我们之前的离线运动推断结构方面的研究工作研制了一个新的面向大尺度场景的单目同时定位与地图构建系统,将其中的一些关键技术进行改进和替换,使之适用于实时的同时定位与地图构建.具体来说,提出了一种新的基于非连续帧特征匹配的在线回路检测方法,能自动检测循环回路并高效匹配不同子序列上的相同特征点,并采用基于分段的集束调整方法进行高效的回路闭合,可以在有限的内存空间下进行高效的全局优化,消除误差累积.实验中分别在我们自己拍摄的数据集和KITTI数据集上定性和定量地对比了两个目前最好的单目同时定位与地图构建系统,验证了所提方法的有效性.