基于上下文信息增强和深度引导的单目3D目标检测

为了充分利用单目图像提供的特征信息,提出上下文信息增强和深度引导的单目3D目标检测方法.设计高效的上下文信息增强模块,使用多个大核卷积自适应地增强多尺度目标的上下文信息,利用深度可分离卷积和条形卷积操作有效减少大核卷积的参数量和计算复杂度.统计分析3D目标框各个属性的预测误差,发现3D目标框的长度和深度属性预测不准确是导致预测框偏差大的主要原因.设计深度误差加权损失函数,在训练过程中进行目标的长度和深度预测监督,提高长度和深度属性的预测精度,进而提升3D预测框的准确性.在KITTI数据集上开展实验,结果表明,所提方法在数据集的多个级别上的平均准确度高于现有的单目3D目标检测方法.

基于Contextual Transformer的自动驾驶单目3D目标检测

针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构以提取特征。设计多尺度空间感知模块(MSP),通过尺度空间响应操作改善浅层特征的丢失情况,嵌入沿水平和竖直两个空间方向的坐标注意力机制(CA),使用softmax函数生成各尺度的重要性软权重。在偏移损失中采用Huber损失函数代替L1损失函数。实验结果表明:在KITTI自动驾驶数据集上,相较于RTM3D算法,该算法在简单、中等、困难三个难度级别下,AP3D分别提升了4.84、3.82、5.36个百分点,APBEV分别提升了4.75、6.26、3.56个百分点。

基于深度与实例分割融合的单目3D目标检测方法

针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供更准确的物体边界;其次,引入动态卷积,并利用DMAF模块得到的融合特征引导动态卷积核的生成,以处理不同尺度的物体;再次,在损失函数中引入2D-3D边界框一致性损失函数,调整预测的3D边界框与对应的2D检测框高度一致,以提高实例分割和3D目标检测任务的效果;最后,通过消融实验验证该方法的有效性,并在KITTI测试集上对该方法进行验证。实验结果表明,与仅使用深度估计图和实例分割掩码的方法相比,在中等难度下对车辆类别检测的平均精度提高了6.36个百分点,且3D目标检测和鸟瞰图目标检测任务的效果均优于D4LCN(Depth-guided Dynamic-Depthwise-Dilated Local Convolutional Network)、M3D-RPN(Monocular 3D Region Proposal Network)等对比方法。

基于高深约束与边缘融合的单目3D目标检测

单目3D目标检测旨在通过单目图像完成3D目标检测,现有的单目3D目标检测算法大多基于经典的2D目标检测算法。针对单目3D目标检测算法中通过直接回归的实例深度估计不准,导致检测精度较差的问题,提出了一种基于高深约束与边缘特征融合的单目3D目标检测算法。在实例深度估计方法上采用几何投影关系下的实例3D高度与2D高度计算高深约束,将实例深度的预测转化为对目标的2D高度以及3D高度的预测;针对单目图像存在图像边缘截断目标,采用基于深度可分离卷积的边缘融合模块来加强对边缘目标的特征提取;对于图像中目标的远近造成的目标多尺度问题,设计了基于空洞卷积的多尺度混合注意力模块,增强了对最高层特征图的多尺度特征提取。实验结果表明,所提方法在KITTI数据集上的汽车类别检测精度相比基准模型提升了7.11%,优于当前的方法。

基于遮挡感知像素级融合的单目3D目标检测方法

利用深度边界框残差和目标边界框来联合估计密集场景深度,对3D目标进行双流检测,从而产生更鲁棒的检测结果。其中,几何流组合了可见深度和深度边界框残差,通过显式的遮挡感知优化方法来恢复目标的3D边界框。此外,基于包围框的几何投影方案被用于增强距离感知。上下文流则用于直接回归3D目标的位置和大小。这种新颖的双流表示促进了跨流之间的一致性,将双流的输出结果进行对齐,从而提高整体性能。在公开数据集上的大量实验表明,该方法在保持实时推理速度的同时,在汽车类别上的检测精度也优于最先进的方法。

联合多注意力和C-ASPP的单目3D目标检测

针对单目3D检测中网络结构复杂、深度估计后得到的目标深度信息不精确的问题,本文提出一种端到端的联合多注意力深度估计的单目3D目标检测网络结构(CDCN-3D)。首先,为获取目标显著特征,引入自适应空间注意力机制,对像素特征进行聚集,以增强局部特征来提升网络表征能力;其次,为改善深度估计时局部信息丢失问题,利用改进C-ASPP使每个深度信息都能够捕获更加精确的方向感知和位置敏感信息;最后,利用精确的P-BEV将得到的目标三维信息映射到二维平面,再用单级目标检测器完成检测输出任务。实验结果证明,CDCN-3D网络在KITTI数据集上,在FPS与现有单目3D检测网络持平情况下,其准确率优于其他网络,在Car、Pedestrian、Cyclist类中,其检测精确度分别提升2.31%、1.48%、1.14%,能够完成3D目标检测任务。

联合实例深度的多尺度单目3D目标检测算法

针对单目3D目标检测算法中存在图像缺乏深度信息以及检测精度不佳的问题,提出一种联合实例深度的多尺度单目3D目标检测算法。首先,为了增强模型对不同尺度目标的处理能力,设计基于空洞卷积的多尺度感知模块,同时考虑到不同尺度特征图之间的不一致性,从空间和通道两个方向对包含多尺度信息的深度特征进行重新精炼。其次,为了使模型获得更好的3D感知,将实例深度信息作为辅助学习任务来增强3D目标的空间深度特征,并使用稀疏实例深度来监督该辅助任务。最后,在KITTI测试集以及评估集上对所提算法进行验证。实验结果表明,所提算法相较于基线算法在汽车类别的平均精度提升了5.27%,有效提升了单目3D目标检测算法的检测性能。