自动驾驶车辆在行驶过程中,需要对行人和车辆同时完成目标检测、实例分割和目标跟踪三个任务。提出一种基于深度学习的环境感知模型同时对三个任务进行多任务学习。首先,通过卷积神经网络对连续帧图像提取时空特征;然后,通过注意力机制...自动驾驶车辆在行驶过程中,需要对行人和车辆同时完成目标检测、实例分割和目标跟踪三个任务。提出一种基于深度学习的环境感知模型同时对三个任务进行多任务学习。首先,通过卷积神经网络对连续帧图像提取时空特征;然后,通过注意力机制对时空特征进行去耦再融合,充分利用任务间的相关性,实现不同任务对时空特征的差异化选择;最后,为平衡不同任务间的学习速率,使用动态加权平均的方式对模型进行训练。在KITTI数据集上的实验结果表明,所提模型在目标检测方面,比CenterTrack模型F1得分提高了0.6个百分点;在目标跟踪方面,比TraDeS(Track to Detect and Segment)模型多目标跟踪精度(MOTA)提高了0.7个百分点;在实例分割方面,比SOLOv2(Segmenting Objects by LOcations version 2)模型AP_(50)和AP_(75)分别提高了7.4和3.9个百分点。展开更多
盲道和盲道障碍物是影响盲人出行安全的重要因素,现有算法只对盲道分割和盲道障碍物检测单独处理,效率低且计算量大。针对上述问题,文中提出了一种基于深度学习的多任务识别算法。该算法通过骨干网络提取公共特征,将提取的特征经过SPP(S...盲道和盲道障碍物是影响盲人出行安全的重要因素,现有算法只对盲道分割和盲道障碍物检测单独处理,效率低且计算量大。针对上述问题,文中提出了一种基于深度学习的多任务识别算法。该算法通过骨干网络提取公共特征,将提取的特征经过SPP(Spatial Pyramid Pooling)和FPN(Feature Pyramid Networks)网络融合特征后,分别传入分割网络和检测网络完成盲道分割和盲道障碍物检测的任务。为了让盲道分割更平整,引入修正损失函数。为了提高障碍物检测召回率,将检测网络的NMS(Non Maximum Suppression)替换为Soft-NMS。实验结果表明,该算法分割部分MIoU(Mean Intersection over Union)、MPA(Mean Pixel Accuracy)分别达到了93.52%、95.29%,检测部分mAP(mean Average Precision)、mAP@0.5以及mAP@0.75分别达到了75.58%、91.58%和74.82%。相较于使用SegFormer网络进行盲道分割和RetinaNet网络进行盲道障碍物检测,该算法在精度提升的同时速度也提升73.72%,FPS(Frames Per Secon)达到了18.52。相比于其他对比算法,该算法在速度和精度上也有一定的提升。展开更多
语义分割和深度估计任务是对图像像素级分类的研究,是两个高度相关的任务。从共享特征学习和特征交互融合两个角度出发,提出两个不同的多任务学习架构,即基于压缩激励模块(Squeeze-and-Excitation,SE)和金字塔池化的多任务学习网络(Mult...语义分割和深度估计任务是对图像像素级分类的研究,是两个高度相关的任务。从共享特征学习和特征交互融合两个角度出发,提出两个不同的多任务学习架构,即基于压缩激励模块(Squeeze-and-Excitation,SE)和金字塔池化的多任务学习网络(Multi-task Learning with SE and Pyramid Pooling,MTL_SPP),以及基于压缩激励和可选择权重(Selective Weight,SW)的多任务学习网络(Multi-task Learning with SE and Selective Weights,MTL_SSW),来联合学习语义分割和深度估计。MTL_SPP架构由共享骨干特征网络和任务特定的子网络组成,利用SE模块构建任务特定子网络,并利用金字塔池化增强特征提取。MTL_SSW在MTL_SPP的基础上,让任务特定子网络的语义分割特征和深度估计特征通过SW模块进行相互指导和优化,学习对特定任务更具判别性的特征。实验结果表明,提出的两种方法在NYUD_v2和SUNRGBD两个数据集上获得了优于先进方法的效果。展开更多
文摘自动驾驶车辆在行驶过程中,需要对行人和车辆同时完成目标检测、实例分割和目标跟踪三个任务。提出一种基于深度学习的环境感知模型同时对三个任务进行多任务学习。首先,通过卷积神经网络对连续帧图像提取时空特征;然后,通过注意力机制对时空特征进行去耦再融合,充分利用任务间的相关性,实现不同任务对时空特征的差异化选择;最后,为平衡不同任务间的学习速率,使用动态加权平均的方式对模型进行训练。在KITTI数据集上的实验结果表明,所提模型在目标检测方面,比CenterTrack模型F1得分提高了0.6个百分点;在目标跟踪方面,比TraDeS(Track to Detect and Segment)模型多目标跟踪精度(MOTA)提高了0.7个百分点;在实例分割方面,比SOLOv2(Segmenting Objects by LOcations version 2)模型AP_(50)和AP_(75)分别提高了7.4和3.9个百分点。
文摘盲道和盲道障碍物是影响盲人出行安全的重要因素,现有算法只对盲道分割和盲道障碍物检测单独处理,效率低且计算量大。针对上述问题,文中提出了一种基于深度学习的多任务识别算法。该算法通过骨干网络提取公共特征,将提取的特征经过SPP(Spatial Pyramid Pooling)和FPN(Feature Pyramid Networks)网络融合特征后,分别传入分割网络和检测网络完成盲道分割和盲道障碍物检测的任务。为了让盲道分割更平整,引入修正损失函数。为了提高障碍物检测召回率,将检测网络的NMS(Non Maximum Suppression)替换为Soft-NMS。实验结果表明,该算法分割部分MIoU(Mean Intersection over Union)、MPA(Mean Pixel Accuracy)分别达到了93.52%、95.29%,检测部分mAP(mean Average Precision)、mAP@0.5以及mAP@0.75分别达到了75.58%、91.58%和74.82%。相较于使用SegFormer网络进行盲道分割和RetinaNet网络进行盲道障碍物检测,该算法在精度提升的同时速度也提升73.72%,FPS(Frames Per Secon)达到了18.52。相比于其他对比算法,该算法在速度和精度上也有一定的提升。
文摘语义分割和深度估计任务是对图像像素级分类的研究,是两个高度相关的任务。从共享特征学习和特征交互融合两个角度出发,提出两个不同的多任务学习架构,即基于压缩激励模块(Squeeze-and-Excitation,SE)和金字塔池化的多任务学习网络(Multi-task Learning with SE and Pyramid Pooling,MTL_SPP),以及基于压缩激励和可选择权重(Selective Weight,SW)的多任务学习网络(Multi-task Learning with SE and Selective Weights,MTL_SSW),来联合学习语义分割和深度估计。MTL_SPP架构由共享骨干特征网络和任务特定的子网络组成,利用SE模块构建任务特定子网络,并利用金字塔池化增强特征提取。MTL_SSW在MTL_SPP的基础上,让任务特定子网络的语义分割特征和深度估计特征通过SW模块进行相互指导和优化,学习对特定任务更具判别性的特征。实验结果表明,提出的两种方法在NYUD_v2和SUNRGBD两个数据集上获得了优于先进方法的效果。
