LiDar点云指导下特征分布趋同与语义关联的3D目标检测

针对现有基于伪点云的3D目标检测算法精度远低于基于真实激光雷达(Light Detection and ranging,LiDar)点云的3D目标检测,本文研究伪点云重构,并提出适合伪点云的3D目标检测网络.考虑到由图像深度转换得到的伪点云稠密且随深度增大逐渐稀疏,本文提出深度相关伪点云稀疏化方法,在减少后续计算量的同时保留中远距离更多的有效伪点云,实现伪点云重构.本文提出LiDar点云指导下特征分布趋同与语义关联的3D目标检测网络,在网络训练时引入LiDar点云分支来指导伪点云目标特征的生成,使生成的伪点云特征分布趋同于LiDar点云特征分布,从而降低数据源不一致造成的检测性能损失;针对RPN(Region Proposal Network)网络获取的3D候选框内的伪点云间语义关联不足的问题,设计注意力感知模块,在伪点云特征表示中通过注意力机制嵌入点间的语义关联关系,提升3D目标检测精度.在KITTI 3D目标检测数据集上的实验结果表明:现有的3D目标检测网络采用重构后的伪点云,检测精度提升了2.61%;提出的特征分布趋同与语义关联的3D目标检测网络,将基于伪点云的3D目标检测精度再提升0.57%,相比其他优秀的3D目标检测方法在检测精度上也有提升.

基于多分支特征融合的车载激光雷达3D目标检测算法

该文基于多分支特征融合的3D目标检测算法将无序的点云划分为规则的体素,利用体素特征编码模块和卷积神经网络学习体素特征,再将稀疏的3D数据压缩为稠密的二维鸟瞰图,最后通过2D骨干网络的粗糙分支和精细分支对多尺度鸟瞰图特征进行深度融合。该文实现了对多尺度特征的语义信息、纹理信息和上下文信息的聚合,得到了更加精确的原始空间位置信息、物体分类、位置回归和朝向预测,在KITTI数据集上取得优异的平均精度,并在保持一定帧率的同时具有较强的稳健性。

基于点云图卷积神经网络的3D目标检测

随着激光雷达传感器的快速发展,目标检测算法从传统的2D检测快速转向3D检测。然而,激光雷达产生的点云是不规则和非结构化的数据,传统的卷积神经网络无法对其进行处理。基于此提出了一种新颖的图卷积神经网络,能够更好地利用数据的几何关系和拓扑结构直接从点云中学习特征以进行3D目标检测。首先将原始激光雷达点云数据进行下采样,再进行固定半径邻域图的构建,随后设计了一个新型的图卷积神经网络对点云进行编码来预测图中每个顶点所属对象的类别和形状。为提升检测准确度,网络中加入了一种校准机制来减少特征在不同维度变化时引入的平移误差,此外还引入了注意力机制,以使用权重来进一步强化输出的顶点特征。在KITTI数据集上进行实验,实验结果表明,此方法能够有效对3D目标进行检测。对比其他多种检测算法,此方法在检测准确度上具有一定的优势。

3D激光雷达测量调炮精度的检测方法与精度分析

火炮武器装备调炮精度直接影响武器系统射击精度。基于3D激光雷达工作原理,结合火炮武器装备调炮工作过程,将3D激光雷达扫描测量空间点三维坐标的测量原理应用于火炮调炮精度检测,提出一种针对火炮调炮精度的检测方法。通过测量模型搭建,使用3D激光雷达扫描火炮身管(或火箭炮定向管)上能代表其轴线方向上的两个工具球,测量得到代表火炮身管轴线方向的两个工具球球心的三维坐标,进而解算出调炮后火炮身管轴线的方向角度和高低角度变化量;并开展测量精度分析和实验验证。该测量方法不仅具有测量精度高、测量简便的特点,还可以提高测量的自动化程度。

基于3D LiDAR SLAM的定位与制图方法研究

针对GNSS在室内环境中无法准确定位的问题,本文采用3D LiDAR SLAM算法实现在上述环境中的高精度定位,同时构建高质量三维点云地图。本文主要针对传感器数据预处理、LiDAR SLAM前端匹配、LiDAR SLAM后端优化、三维点云地图构建4个部分进行系统的研究。通过搭建实验平台并设计真实场景下的定位与建图实验,验证3D LiDAR SLAM算法的有效性。实验结果表明,在复杂的室内场景中,3D LiDAR SLAM的定位精度可到达分米级,建图精度可达到厘米级。

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。

自动驾驶中基于深度学习的3D目标检测方法综述

随着激光雷达传感器和深度学习技术的快速发展,针对自动驾驶3D目标检测算法的研究呈现爆发式增长。为了探究3D目标检测技术的发展和演变,对该领域中基于深度学习的3D检测算法进行了综述。根据车载传感器的不同,将当前基于深度学习的自动驾驶3D目标检测算法分为基于相机RGB图像、基于激光雷达点云、基于RGB图像–激光雷达点云融合的3D目标检测3种类型。在此基础上,分析了各类算法的技术原理及其发展历程,并根据平均检测精度(mAP)指标,对比了它们的性能差异与模型优缺点。最后,总结和展望了当前自动驾驶3D目标检测中仍然面临的技术挑战及未来发展趋势。

基于双融合框架的多模态3D目标检测算法

相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计体素级和网格级的双融合框架,有效缓解融合时不同模态数据之间的语义差异;提出ABFF(Adaptive Bird-eye-view Features Fusion)模块,增强算法对小目标特征感知能力;通过体素级全局融合信息指导网格级局部融合,提出基于Transformer的多模态网格特征编码器,充分提取3D检测场景中更丰富的上下文信息,并提升算法运行效率.在KITTI标准数据集上的实验结果表明,提出的3D目标检测算法平均检测精度达78.79%,具有更好的3D目标检测性能.

基于激光雷达的无人驾驶3D多目标跟踪

无人驾驶汽车行驶是连续时空的三维运动,汽车周围的目标不可能突然消失或者出现,因此,对于感知层而言,稳定可靠的多目标跟踪(Multi-object tracking,MOT)意义重大.针对传统的目标关联和固定生存周期(Birth and death memory,BDM)管理的不足,提出基于边界交并比(Border intersection over union,BIoU)度量的目标关联和自适应生存周期管理策略.BIoU综合了欧氏距离和交并比(Intersection over union,IoU)的优点,提高了目标关联的精度.自适应生存周期管理将目标轨迹置信度与生存周期相联系,显著减少了目标丢失和误检.在KITTI多目标跟踪数据集上的实验验证了该方法的有效性.

3D LiDAR感知的植物行信息提取方法与试验

【目的】针对林间或冠层下等卫星信号严重遮挡的区域,提出一种面向农业机器人导航环境感知的低成本3D激光雷达(LiDAR)点云信息处理与植物行估计方法。【方法】利用直通滤波器滤除感兴趣区域外的目标无关点;提出均值漂移聚类、扫描区域自适应的方法分割每棵植物主干,垂直投影主干点云估算中心点;利用最小二乘法拟合主干中心,估计植物行。分别在开阔地的仿真果园与水杉树林进行模拟试验与田间试验,以植物行向量与正东方夹角为指标,计算本研究提出的方法识别的植物行信息与GNSS卫星天线定位测得的植物行真值间的角度误差。【结果】采用提出的3D LiDAR点云信息处理与植物行估计方法,模拟试验和田间试验对植物行识别误差平均值分别为0.79°和1.48°,最小值分别为0.12°和0.88°,最大值分别为1.49°和2.33°。【结论】车载3D LiDAR能够有效估计水杉树植物行。该研究丰富了作物识别思路与方法,为无卫星信号覆盖区域的农业机器人无图导航提供了理论依据。

KPP3D:基于关键点信息融合的3D目标检测模型

为了融合图像信息以提高单激光雷达传感器模型的3D目标检测准确率,使融合感知模型在提升检测精度的同时减少运行时间,提出了基于关键点信息融合的3D目标检测模型KPP3D。KPP3D使用轻量级关键点生成模块取代不可求导的采样过程,使整个模型可以进行端到端的训练从而生成任务相关的关键点。针对引入该模块产生的高采样重复率问题,提出了一种基于伯努利分布熵演变来的采样损失函数降低重复率并聚焦关键点的注意力分布。在自动驾驶数据集KITTI的实验表明,融合图像信息到点云能提升3D目标检测准确率且使用512个关键点的KPP3D模型能减少38%时间消耗。此外,实验验证了新提出的损失函数能使关键点的不重复率达到98%以上,从而减少了关键点的冗余。

3D无人化智能加介系统在选煤厂的应用

针对传统重介选煤加介系统存在加介不及时、加介周期长、配介精度低、介质损耗高、劳动强度大、自动化程度低等问题,对配介加介系统功能任务流程进行解析,设计了重介选煤3D无人化智能加介系统。详细阐述了该系统中3D激光雷达智能定位、行车运动控制、电磁吸盘定量取介、合介桶自动加介、人员闯入报警等关键技术,介绍了智能配介系统和自动加介系统集成控制方法,实现了从浓介制备到合介加介的自动化控制,有效减轻了工人劳动强度,减少现场操控安全风险,精准控制密度,降低了介质损耗,为选煤厂智能分选打下了坚实的基础。

基于多层激光雷达的3D虚拟环境感知系统

为了提高不同距离、不同视觉角度环境感知准确度,提出基于多层激光雷达的3D虚拟环境感知系统。系统硬件方面,将高性能计算机作为此次设计系统核心,设计系统硬件结构。软件方面,选择HDL-32E32线激光雷达,变换激光雷达点云数据点坐标系,获取3D虚拟环境点云数据,设计数据点提取和聚类算法,提取、聚类数据点,采用最小二乘法,多层拟合数据点,提取3D虚拟环境信息;将3D虚拟环境分为不同的感知层次,设计单层次环境感知策略,实现3D虚拟环境感知。依据真实街道环境,建立3D虚拟街道环境,设计实验方法,环境感知结果:此次设计系统感知不同距离、不同视觉角度环境范围小,3D虚拟环境感知精度最高可达99.32%,3D虚拟环境感知误差最低仅为3.56%。

联合LiDAR、高光谱数据及3D-CNN方法的树种分类

【目的】探究三维卷积神经网络(3D-CNN)在高光谱数据支持的树种分类中的有效网络构建方式,以提高树种分类精度。【方法】以美国加利福尼亚州内华达山脉南部为研究区,LiDAR数据获取的森林冠层高(CHM)进行单木分割并以此为补充建立样本,改进一种结构更简单、分类精度更高且无需对高光谱数据进行预处理的3D-CNN网络结构用于森林树种识别。【结果】相较于常规机器学习分类方法【支持向量机(SVM),随机森林(RF)】、传统二维卷积神经网络模型(2D-CNN)及最新多光谱分辨率三维卷积神经网络(MSR 3D-CNN)模型,本研究提出的3D-CNN模型对树种总体分类精度为99.79%,平均交并比(MIoU)为99.53%。与SVM和RF分类结果相比,本研究构建的3D-CNN模型总体分类精度提高5%左右,且具有对树种边界提取更加准确、椒盐现象更少发生的特点;与2D-CNN相比,总体分类精度提高10%左右,MIoU提高7%左右;与MSR 3D-CNN相比,总体精度相差不大,但在训练和测试过程中,本模型耗时远远小于MSR 3D-CNN模型。【结论】本研究改进的3D-CNN模型结构能够高效对原始高光谱影像进行树种分类并制图,可有效提高树种分类的精度。

激光距离选通三维成像技术研究进展(特邀)

随着人工智能时代的到来,同时获得反映目标辐射特性和纹理特征的高分辨率强度图像以及反映目标和所处场景的三维空间信息的稠密点云数据/三维图像的激光相机雷达技术已成为激光雷达的发展趋势。传统的摄像机与激光雷达复合的技术方案存在异源数据融合问题,尤其是在雾雨雪天气条件下以及水下等传输链路中存在严重散射的情况时难以有效工作。激光距离选通三维成像技术利用单一门控成像器件可同时获得高质量二维强度图像和高分辨率三维图像,其二维图像中的像素和三维图像中的体素一一对应,并继承了激光距离选通成像透散射成像的技术优势,具有实现高性能激光相机雷达的技术潜力。论文系统综述了步进延时扫描、增益调制、距离能量相关等激光距离选通三维成像技术的研究进展,介绍了该类技术的国内外典型应用情况,最后分析了该领域所面临的挑战及进一步发展方向和应用前景。

点云空间与反射强度融合的非结构化道路可行驶区域检测

可行驶区域检测旨在检测和提取智能车辆在道路上可行进的区域,目前主流的检测方法主要基于三维激光雷达的空间特征实现,难以处理路面边缘无清晰空间特征的非结构化道路.为此,本文提出了一种基于点云空间和反射强度融合的非结构化道路可行驶区域检测方法.首先,通过融合反射强度因子改进了基于空间特征的柱坐标系检测模型;然后,使用强度和降维空间检测对检测精度较低的环形检测模型进行优化,并将其与柱坐标系检测模型联合使用以提高方法检测准确率;最后,在自录实际道路数据集上进行对比实验.实验结果表明本文方法显著提高了非结构化道路可行驶区域检测的成功率与精确率,在结构化道路上也具有良好效果.

基于3D激光雷达城市道路边界鲁棒检测算法

对点云预处理,并采用点云映射的方式快速分割出地面,同时消除路内障碍物以降低数据量;将分割出的地面数据组织成无向图,结合道路边界的多种局部特征和全局连续性特征提取边界点;根据道路边界点的测量模型修正提取的边界点,并采用二次多项式拟合修正后的边界点;采用多种策略对道路边界进行更新以使相邻两帧检测的道路边界保持平滑.实验证明,在道路边界不规则、存在路内障碍物遮挡边界的情况下,采用该方法得到的道路边界检测结果依然具有较高的鲁棒性和准确性.

融合体素图注意力的三维目标检测算法

目前基于点云的三维目标检测方法未能充分利用点云局部几何特征,导致对点云稀疏的目标检测效果不佳。为此,本文提出基于原始点云体素图注意力的两阶段三维目标检测算法(voxel graph attention region-CNN,VGT-RCNN)。通过多尺度体素特征插值计算网格中心点特征;在多尺度非空体素特征上构造局部图;通过图注意力机制对体素特征进行加权平均,充分提取并利用目标的局部几何特征完成检测。该算法主要针对当前二阶段算法在进行特征聚合时对不同体素特征的重要性考虑不足进行改进,引入可学习的权重矩阵,动态学习体素特性的权重,提高局部特征表达能力。本文在流行的KITTI自动驾驶数据集上进行了充分测试,取得了具有竞争力的检测效果,尤其是在对点云稀疏的汽车目标检测上,准确率有较大提高。本文还对检测效果进行了可视化分析。

激光3D成像系统主被动探测技术的研究进展

随着探测器件技术的进步,新概念的主/被动3D成像技术将主被动探测技术优势有机结合起来,能同时获得目标更加丰富的图像信息(如距离像、强度像、距离-角度像等),从而为正确识别和跟踪目标提供更多的决策信息,大大提高了目标识别概率和可靠性。本文首先介绍了激光3D成像系统的发展现状,重点介绍了林肯实验室研制的Gen-III系统和美国航空航天局的自主精确着陆和危险的检测避免技术项目的 3D闪光激光雷达系统,接着结合HgCdTe雪崩光电二极管(APD)器件的特点介绍了下一代激光3D成像系统主被动探测技术的发展。最后对激光3D成像系统主被动探测技术的未来应用前景进行了展望。

基于球面角点特征的鱼眼相机与激光雷达联合标定方法

针对鱼眼相机和激光雷达的联合标定问题,提出一种基于球面角点特征的鱼眼相机与激光雷达联合标定方法。首先利用静电斥力物理模型得到了均匀分布在球面上的点集,并以这些点集为生长点对球面进行Voronoi划分,得到了均匀的球面像素,实现了鱼眼相机图像在球面上的均匀重采样;之后在球面上提取了鱼眼相机图像的角点特征,有效地避免了图像畸变带来的角点提取困难的问题;最后利用17组标定数据在球面上实现了鱼眼相机和激光雷达联合标定,在鱼眼图像上的重投影误差小于2个像素,并通过数据融合实验复现了真实场景中的彩色三维效果。