自动驾驶中图像与点云融合方法研究综述

在自动驾驶领域,不同类型传感器的优势互补可以为自动驾驶系统提供准确、可靠的环境感知,且基于视觉的感知系统可以利用低成本获得高性能。聚焦于自动驾驶系统中使用最多的摄像头与激光雷达组合,在对现有图像与点云融合文献研究的基础上,首先回顾了近年来使用传统算法对图像与点云进行融合的方法;其次围绕目标检测、多目标跟踪以及语义分割等使用融合方法处理任务的主题,对图像与点云融合方法进行综述,分析对比了各类方法的特点以及不同模型的性能,并指出其优势与不足;最后指出了自动驾驶中图像与点云融合所面临的挑战,并对未来研究方向进行了展望。

融合语义和激光点云空间可见性特征的3D行人检测

车载激光雷达为智能驾驶汽车提供精确的周围空间几何信息而成为车载主流传感器。为克服单传感器对目标检测的局限性,对激光点云的几何特征、空间可见性特征和图像语义信息在合理设计的网络框架中进行融合,进一步提升3D行人检测精度。首先采用高效的三维空间光线投射算法形成空间可见性特征编码;其次融合图像语义类别信息,增强点云特征;最后定量和定性分析各附加信息和相关超参数对检测结果的影响。实验结果表明:相比单帧点云,结合历史前10帧点云后3D行人检测精度提升32.63个百分点;进一步融合图像语义和点云空间可见性信息,相比基准方法,所提方法的检测精度提升2.42个百分点,且超过部分主流方法,更加适用于交通场景的3D行人检测。