自动驾驶中图像与点云融合方法研究综述

在自动驾驶领域,不同类型传感器的优势互补可以为自动驾驶系统提供准确、可靠的环境感知,且基于视觉的感知系统可以利用低成本获得高性能。聚焦于自动驾驶系统中使用最多的摄像头与激光雷达组合,在对现有图像与点云融合文献研究的基础上,首先回顾了近年来使用传统算法对图像与点云进行融合的方法;其次围绕目标检测、多目标跟踪以及语义分割等使用融合方法处理任务的主题,对图像与点云融合方法进行综述,分析对比了各类方法的特点以及不同模型的性能,并指出其优势与不足;最后指出了自动驾驶中图像与点云融合所面临的挑战,并对未来研究方向进行了展望。

基于激光反射率的点云与图像自动融合

提出一个基于激光反射率的点云图像自动融合算法,数字图像与点云反射率图像特征点匹配,得到数字图像特征点像点坐标和相应物点物方空间坐标对,采用直接线性变换算法(DLT)建立点云数据反投影至二维图像点的投影模型,实现点云图像自动融合,得到目标表面的全面信息,包括物体表面三维坐标和纹理信息。自动地实现点云图像融合,无需人工参与,提高效率和准确率,同时结合实验验证该算法的可行性。

多模态融合的三维语义分割算法研究

如何高效提取稠密感知的图像特征信息以及真实三维感知的点云特征信息并充分利用其各自优势进行信息互补是提升三维目标识别的关键。本文提出了一种图像和点云融合的多模态框架用于三维语义分割任务。图像与点云特征提取分支相互独立,设计深度估计融合网络用于图像分支,将稠密感知的图像语义信息与真值显式监督的深度特征信息有效融合,对点云的无序及稀疏性进行补偿。并改进体素特征提取方法,减少点云体素化带来的信息损失。图像、点云分支提取多尺度特征后通过动态特征融合模块提升网络对关键特征的提取能力,更有效的获取全局特征。同时本文提出点级的多模态融合数据增强策略,提升样本多样性的同时有效缓解样本不均衡问题。在Pandaset公开数据集上进行对比实验,本文的多模态融合框架展现出更优的性能和更强的鲁棒性,尤其在小样本小目标上性能提升更为明显。

点-线特征联合的全景图像位姿解算方法

目前,全景图像位置和姿态参数的解算多基于点特征,而场景中普遍存在的线特征尚未得到充分利用。本文提出一种点-线特征联合的全景图像位姿解算方法,不仅可用于点特征缺失场景中全景图像位姿参数的解算,而且在点特征充足的场景中可提高位姿解算的精度和稳健性。该方法中的线特征使用线上的任意两点表示,不要求全景图像和三维场景同名线上的选点具有对应关系,因而易于选取,具有极大的实用性。首先,使用直接线性变换构建点-线特征联合的全景图像位姿解算模型,并针对水平线和垂直线获取简化后的模型;然后,利用仿真道路场景,从特征点和线的不同组合方式及大姿态角两方面分析该模型的适用性,并通过人工引入不同类型及量级的点-线误差分析该模型的容差性;最后,将本文方法应用于全景图像与激光点云的融合,从理论和实践两方面证明点-线特征联合的位姿解算方法在精度、稳健性和容差性方面优于单纯的点特征解算方法。

三维点云与可见光图像融合方法及可视化

鉴于三维点云缺少颜色信息和光学图像缺少空间信息,提出一种基于激光雷达与相机自动标定的融合方法,融合后的数据兼有点云的空间信息和光学图像的颜色纹理信息.首先利用平面标定板对激光雷达和光学相机进行分步式自动标定,其次通过共线方程建立坐标关系,将光学图像的颜色纹理信息赋予点云进行融合并进行可视化.实验结果表明:所提方法在提高自动化程度的同时也在一定程度上提高了融合精度;与基于人工匹配的标定融合方法相比,所提方法的精度提升了 51.7%;与基于梯形棋盘格标定板的标定融合方法相比,所提方法的精度提升了 36.4%.从多角度观测可视化结果,所提方法都能从颜色和空间效果方面更好地还原真实场景.

融合语义和激光点云空间可见性特征的3D行人检测

车载激光雷达为智能驾驶汽车提供精确的周围空间几何信息而成为车载主流传感器。为克服单传感器对目标检测的局限性,对激光点云的几何特征、空间可见性特征和图像语义信息在合理设计的网络框架中进行融合,进一步提升3D行人检测精度。首先采用高效的三维空间光线投射算法形成空间可见性特征编码;其次融合图像语义类别信息,增强点云特征;最后定量和定性分析各附加信息和相关超参数对检测结果的影响。实验结果表明:相比单帧点云,结合历史前10帧点云后3D行人检测精度提升32.63个百分点;进一步融合图像语义和点云空间可见性信息,相比基准方法,所提方法的检测精度提升2.42个百分点,且超过部分主流方法,更加适用于交通场景的3D行人检测。

三维激光扫描装置设计与数据处理

三维激光扫描仪克服了传统的单点测量方式,可以方便地对实物进行复制建立立体模型。笔者简单介绍了三维激光扫描仪构造及其实现的原理,利用自行购买的激光雷达、相机和电控平台等部件搭建三维激光扫描平台,利用串口通讯实现对激光雷达、相机和电控平台等硬件控制,进一步完成三维激光扫描点云生成及图像获取,并对生成的点云进行了精度校正,最后基于特征点拼接多幅扫描图像并成功地实现了扫描点云和图像的匹配融合,其中点云精度和图像融合效果较好。