基于深度与实例分割融合的单目3D目标检测方法

针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供更准确的物体边界;其次,引入动态卷积,并利用DMAF模块得到的融合特征引导动态卷积核的生成,以处理不同尺度的物体;再次,在损失函数中引入2D-3D边界框一致性损失函数,调整预测的3D边界框与对应的2D检测框高度一致,以提高实例分割和3D目标检测任务的效果;最后,通过消融实验验证该方法的有效性,并在KITTI测试集上对该方法进行验证。实验结果表明,与仅使用深度估计图和实例分割掩码的方法相比,在中等难度下对车辆类别检测的平均精度提高了6.36个百分点,且3D目标检测和鸟瞰图目标检测任务的效果均优于D4LCN(Depth-guided Dynamic-Depthwise-Dilated Local Convolutional Network)、M3D-RPN(Monocular 3D Region Proposal Network)等对比方法。

基于Contextual Transformer的自动驾驶单目3D目标检测

针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构以提取特征。设计多尺度空间感知模块(MSP),通过尺度空间响应操作改善浅层特征的丢失情况,嵌入沿水平和竖直两个空间方向的坐标注意力机制(CA),使用softmax函数生成各尺度的重要性软权重。在偏移损失中采用Huber损失函数代替L1损失函数。实验结果表明:在KITTI自动驾驶数据集上,相较于RTM3D算法,该算法在简单、中等、困难三个难度级别下,AP3D分别提升了4.84、3.82、5.36个百分点,APBEV分别提升了4.75、6.26、3.56个百分点。

多关键点约束与深度估计辅助的单目3D目标检测算法

当前主流的单目相机3D目标检测网络采用关键点检测范式,存在关键点预测与深度估计不准确的问题,限制了单目3D检测器的性能表现.本文提出一种多关键点约束与深度估计辅助的单目3D目标检测算法Mono-Aux,利用3D检测框的角点投影点、上表面与下表面中心投影点作为3D框中心投影点的补充,通过多关键点约束提升关键点预测精度;提出一种LiDAR-Free解耦深度估计方法,在不引入激光点云数据的同时通过几何关系推导引入额外的深度估计辅助监督信号,提升深度估计的准确性.多关键点约束与深度估计辅助仅在训练阶段使用,推理阶段不引入额外的计算成本.在KITTI3D目标检测验证集和测试集上的结果显示,相较于MonoDLE基线网络,提出的MonoAux算法在目标检测精度上分别提高3.87%和4.64%,与其他SOTA方法相比,本文方法也具有显著的性能优势,甚至优于部分使用额外数据的方法.

LiDar点云指导下特征分布趋同与语义关联的3D目标检测

针对现有基于伪点云的3D目标检测算法精度远低于基于真实激光雷达(Light Detection and ranging,LiDar)点云的3D目标检测,本文研究伪点云重构,并提出适合伪点云的3D目标检测网络.考虑到由图像深度转换得到的伪点云稠密且随深度增大逐渐稀疏,本文提出深度相关伪点云稀疏化方法,在减少后续计算量的同时保留中远距离更多的有效伪点云,实现伪点云重构.本文提出LiDar点云指导下特征分布趋同与语义关联的3D目标检测网络,在网络训练时引入LiDar点云分支来指导伪点云目标特征的生成,使生成的伪点云特征分布趋同于LiDar点云特征分布,从而降低数据源不一致造成的检测性能损失;针对RPN(Region Proposal Network)网络获取的3D候选框内的伪点云间语义关联不足的问题,设计注意力感知模块,在伪点云特征表示中通过注意力机制嵌入点间的语义关联关系,提升3D目标检测精度.在KITTI 3D目标检测数据集上的实验结果表明:现有的3D目标检测网络采用重构后的伪点云,检测精度提升了2.61%;提出的特征分布趋同与语义关联的3D目标检测网络,将基于伪点云的3D目标检测精度再提升0.57%,相比其他优秀的3D目标检测方法在检测精度上也有提升.

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.

基于点云稀疏空间特征聚合激励的单阶段3D目标检测模型

针对目前基于点云的3D目标检测中单阶段体素法存在感受野固定、特征尺度单一,导致模型对点云特征学习不够充分、模型检测效果存在瓶颈等问题,提出了一种可端对端训练的基于体素的单阶段3D目标检测模型.首先,利用多尺度稀疏空间特征聚合模块,聚合点云在不同稀疏空间尺度上的特征,使特征充分保留点云的空间信息;然后,对特征进行分层激励,通过多尺度感受野对特征进行分层学习,强化特征的表达能力,降低噪声信息对检测结果的影响;最后,将特征输入检测头进行候选框的分类和回归.在公开的自动驾驶数据集KITTI上与主流单阶段3D目标检测模型进行了对比实验,包含对3类目标共9个的难度等级目标的检测.所提模型在其中5个等级中的平均准确率有明显提升,尤其对点云稀疏的目标,表现出较好的检测效果.实验结果表明,所提模型能够充分提取点云空间信息并有效地学习点云多尺度特征.

基于多分支特征融合的车载激光雷达3D目标检测算法

该文基于多分支特征融合的3D目标检测算法将无序的点云划分为规则的体素,利用体素特征编码模块和卷积神经网络学习体素特征,再将稀疏的3D数据压缩为稠密的二维鸟瞰图,最后通过2D骨干网络的粗糙分支和精细分支对多尺度鸟瞰图特征进行深度融合。该文实现了对多尺度特征的语义信息、纹理信息和上下文信息的聚合,得到了更加精确的原始空间位置信息、物体分类、位置回归和朝向预测,在KITTI数据集上取得优异的平均精度,并在保持一定帧率的同时具有较强的稳健性。

基于深度学习的自动驾驶场景3D目标检测方法

针对传统PV-RCNN在点云上采样效率低下和采样精度存在偏差等问题,提出了一种基于PV-RCNN改进的3D目标检测方法。更改关键点采样策略,使得有限的关键点可以更加地聚集在proposal区域范围内,更多的编码有效前景点特征来用于后面的proposal refinement,有效产生更具有代表性的关键点。用局部特征聚合的VectorPool聚合模块取代体素集抽象和ROI网格池化模块中的集合抽象,更高效的针对稀疏和不规则点云数据进行编码。在KITTI数据集上对算法验证,结果表明:行人鸟瞰图检测,困难级别检测精度提升较为显著,达到了10.46%,整体帧率提升为33.74%,文中的方法拥有更好的检测性能。

基于改进Centerfusion的自动驾驶3D目标检测模型

针对自动驾驶路面上目标漏检和错检的问题,提出一种基于改进Centerfusion的自动驾驶3D目标检测模型。该模型通过将相机信息和雷达特征融合,构成多通道特征数据输入,从而增强目标检测网络的鲁棒性,减少漏检问题;为了能够得到更加准确丰富的3D目标检测信息,引入了改进的注意力机制,用于增强视锥网格中的雷达点云和视觉信息融合;使用改进的损失函数优化边框预测的准确度。在Nuscenes数据集上进行模型验证和对比,实验结果表明,相较于传统的Centerfusion模型,提出的模型平均检测精度均值(mean Average Precision,mAP)提高了1.3%,Nuscenes检测分数(Nuscenes Detection Scores,NDS)提高了1.2%。

基于高深约束与边缘融合的单目3D目标检测

单目3D目标检测旨在通过单目图像完成3D目标检测,现有的单目3D目标检测算法大多基于经典的2D目标检测算法。针对单目3D目标检测算法中通过直接回归的实例深度估计不准,导致检测精度较差的问题,提出了一种基于高深约束与边缘特征融合的单目3D目标检测算法。在实例深度估计方法上采用几何投影关系下的实例3D高度与2D高度计算高深约束,将实例深度的预测转化为对目标的2D高度以及3D高度的预测;针对单目图像存在图像边缘截断目标,采用基于深度可分离卷积的边缘融合模块来加强对边缘目标的特征提取;对于图像中目标的远近造成的目标多尺度问题,设计了基于空洞卷积的多尺度混合注意力模块,增强了对最高层特征图的多尺度特征提取。实验结果表明,所提方法在KITTI数据集上的汽车类别检测精度相比基准模型提升了7.11%,优于当前的方法。

采用混合融合方式的改进MV3D目标检测模型研究

针对3D目标检测精度低、在复杂工况下检测效果差的问题,利用图像和点云数据作为输入,引入深度补全增加点云前视图特征,并对MV3D目标检测模型进行改进,提出混合融合方式,将全局信息较多的图片特征拼接到融合完成后的点云特征中,最后再进行融合。文中所提出的混合融合方案兼顾了深度融合的特征又增加了全局的特征信息,利用DETR模块对原模型的非极大值抑制操作进行优化,使得模型轻量化。最后在KITTI数据集上对文中模型进行了实验分析,结果表明,所提出的模型可以实现复杂工况下的3D目标检测,且在精度上与原模型相比,在三种不同检测难度的工况下平均提升了7.19%。

HetGNN-3D:基于异构图神经网络的3D目标检测优化模型

3D感知是自动驾驶场景的核心问题,传感器融合可以综合利用激光雷达和摄像机的优点以达到更高的3D目标检测准确率.传感器融合涉及点云到图像对准问题,预先对传感器标定可以得到点到图像位置的投影关系,然而这种对准方式受传感器相对位置偏移与采集时间偏移影响而在干扰下对模型产生负面影响.针对该问题,本文把场景中实体在各个传感器下的不同表达作为不同对象,以对象为节点建立包含两类节点与三类边的异构图描述该场景,并提出了基于该异构图的3D目标检测优化模型HetGNN-3D.该模型通过图结构捕获对象间潜在联系并找到点云对象节点与图像对象节点间对应关系,从而减弱干扰带来的影响.HetGNN-3D包含图初始化、消息传递、图读出三大模块.图初始化模块使用基于点云的3D目标检测模型的输出和基于图像的2D目标检测模型的输出建立对象级异构图.消息传递模块针对异构图特性分类聚合与更新消息.图读出包含用于对象关系预测的边读出与属于同一实体的对象子图读出,然后基于对象子图得到3D目标检测结果.在nuScenes数据集的实验表明,HetGNN-3D有效融合点云信息与图像信息优化了3D目标检测结果,此外,基于对象级异构图的边关系预测使融合过程与预先标定得到的传感器映射矩阵解耦合,从而提升了融合模型的容错性与鲁棒性.

自动驾驶中基于深度学习的3D目标检测方法综述

随着激光雷达传感器和深度学习技术的快速发展,针对自动驾驶3D目标检测算法的研究呈现爆发式增长。为了探究3D目标检测技术的发展和演变,对该领域中基于深度学习的3D检测算法进行了综述。根据车载传感器的不同,将当前基于深度学习的自动驾驶3D目标检测算法分为基于相机RGB图像、基于激光雷达点云、基于RGB图像–激光雷达点云融合的3D目标检测3种类型。在此基础上,分析了各类算法的技术原理及其发展历程,并根据平均检测精度(mAP)指标,对比了它们的性能差异与模型优缺点。最后,总结和展望了当前自动驾驶3D目标检测中仍然面临的技术挑战及未来发展趋势。

CPU环境下多传感器数据融合的机器人3D目标检测方法

实时、准确的3D目标检测算法能提供目标的位置和形态信息,为移动机器人实现高效导航、有效避障等各项任务提供保障。现有的3D目标检测算法对硬件设备运算能力的依赖较为严重,为了在确保检测精度的同时降低方法对硬件设备的要求,提出一种能部署在移动机器人CPU环境下的多传感器融合3D目标检测方法。方法结合了2D目标检测和点云聚类技术,利用2D目标检测技术从图像中获取目标的检测信息,根据相机与雷达的空间映射关系对检测框内的点云进行分割,并对分割后的点云进行聚类和信息提取,从而实现3D目标的检测和定位功能。通过与经典的多传感器3D目标检测算法MVX-Net的对比,该算法有更优的检测精度,同时具有更小的计算复杂度。此外,该方法在实际移动机器人CPU设备的边缘终端上进行部署分析,算法的处理速度达到0.069s/帧,满足10Hz激光雷达频率的需求。

基于点云图卷积神经网络的3D目标检测

随着激光雷达传感器的快速发展,目标检测算法从传统的2D检测快速转向3D检测。然而,激光雷达产生的点云是不规则和非结构化的数据,传统的卷积神经网络无法对其进行处理。基于此提出了一种新颖的图卷积神经网络,能够更好地利用数据的几何关系和拓扑结构直接从点云中学习特征以进行3D目标检测。首先将原始激光雷达点云数据进行下采样,再进行固定半径邻域图的构建,随后设计了一个新型的图卷积神经网络对点云进行编码来预测图中每个顶点所属对象的类别和形状。为提升检测准确度,网络中加入了一种校准机制来减少特征在不同维度变化时引入的平移误差,此外还引入了注意力机制,以使用权重来进一步强化输出的顶点特征。在KITTI数据集上进行实验,实验结果表明,此方法能够有效对3D目标进行检测。对比其他多种检测算法,此方法在检测准确度上具有一定的优势。

基于深度学习的3D目标检测算法综述

随着自动驾驶领域对目标检测的精度和速度需求的提高,目标检测的研究从传统检测算法转向深度学习方向。由于2D目标检测算法存在小目标丢失等问题,基于深度学习的3D目标检测算法以能提供物体的位置、尺寸和方向等一些空间结构信息的优势,迅速在自动驾驶领域发展起来。首先,简单陈述了2D目标检测算法,将3D目标检测算法分成5个类别,分析了各类目标检测算法的优缺点;然后,详述了最新被提出的基于图神经网络(graph neural network, GNN)的2种算法;最后,对3D目标检测所应用的领域和其研究意义进行总结,并对3D目标检测今后可能发展的方向做出猜想。

基于Tv-SECOND的自动驾驶场景下的3D目标检测

针对自动驾驶场景中复杂环境下的3D目标检测任务,特别是远距离和遮挡条件下,为提高模型的检测准确率,在SECOND的基础上提出了Tv-SECOND两阶段算法。该算法提出一种基于Transformer架构的提案框特征提取模块,并在传统体素特征编码基础上提出可变形的体素特征编码模块。在KITTI数据集上进行测试,结果显示,所提出的算法相比SECOND在远距离和遮挡严重的情况下分别提高了7.49%、9.72%。同时与其他先进的两阶段方法相比,检测精度有不同程度的提升,证明了Tv-SECOND算法的有效性。新算法能够建立特征之间的依赖关系,聚合周边广域的上下文信息,增强模型的学习推理能力,有效提升了模型在远距离和遮挡的情况下的检测性能。

基于BEV视角的多传感融合3D目标检测

3D目标检测是自动驾驶在道路环境感知任务中的重要环节,现有主流框架通过搭载多种感知设备获取多模态的数据信息来实现多传感融合检测;传统相机与激光雷达的传感器融合过程中存在几何失真,以及信息优先级不对等,导致传感融合的3D目标检测性能不足;对此,提出了一种基于鸟瞰视角(BEV)的多传感融合3D目标检测算法;利用提升-展开-投射(LSS)方式,获取图像的潜在深度分布建立图像在BEV空间下的特征;采用PV-RCNN的集合抽象法建立点云在BEV空间下的特征;该算法在统一的BEV共享空间中设计了低复杂度的特征编码网络融合多模态特征实现3D目标检测;实验结果表明,所提出的算法在检测精度上相较于纯激光方法提升4.8%,相较于传统的融合方案减少了47%的参数,并保持了相近的精度,较好地满足了自动驾驶系统道路环境感知任务的检测要求。

基于可变形注意力机制的多模态3D目标检测算法

3D目标检测是自动驾驶技术的基础,融合激光点云和图像等模态的信息可以有效地提高目标检测的准确性和鲁棒性。文章改进了现有融合激光点云和图像等模态信息的3D目标检测网络,提出了一种新的并行融合模块,用于同时维护两种模态下的特征信息,减少信息损失。此外,利用掩码特征增强模块,提高受遮挡物体的检测能力。在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集上进行了验证,实验结果表明,相比于基准网络,该方法有效提高了3D目标检测的性能,平均精度达到了77.41%,同时优于目前大多数的先进方法。

自动驾驶场景下的多模态3D目标检测算法

针对当前自动驾驶邻域中单模态3D目标检测算法在感知受限场景下检测精度不足的问题,文章提出一种用于动态融合图像和点云两种异构模态特征的多模态算法。具体来说,设计了一个基于交叉注意力机制的RoI特征融合模块CARF,在点云和图像的RoI特征之间执行注意力计算,以聚合像素级别的细粒度特征,并在特征融合过程中增强异构特征语义一致性,提升特征表达能力。在KITTI数据集上的实验结果显示,与先进的单模态和多模态方法相比,该方法展现出明显的性能优势,特别是在感知能力受限的场景中,如远距离和遮挡条件下,检测精度得到了显著的增强,证明了本文提出方法的有效性。