基于改进DeepLabv3+的无人车夜间红外图像语义分割

为了增强无人车对夜间场景的理解能力,针对无人车在夜间获取的红外图像,提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。由于自动驾驶场景中的对象往往显示出非常大的尺度变化,该算法在DeepLabv3+网络的基础上,通过引入密集连接的空洞卷积空间金字塔模块,使网络生成的多尺度特征能覆盖更大的尺度范围。此外,该算法将编码器模块的多层结果拼接在译码器模块中,以恢复更多在降采样过程中丢失的空间信息和低级特征。通过端到端的学习和训练,可直接用于对夜间红外图像的语义分割。实验结果表明,该算法在红外数据集上的分割精度优于原DeepLabv3+算法,平均交并比达到80.42,具有良好的实时性和准确性。

基于多视角融合的夜间无人车三维目标检测

为了提高无人车在夜间情况下对周围环境的物体识别能力,提出一种基于多视角通道融合网络的无人车夜间三维目标检测方法。引入多传感器融合的思想,在红外图像的基础上加入激光雷达点云进行目标检测。通过对激光雷达点云进行编码变换成鸟瞰图形式和前视图形式,与红外图像组成多视角通道,各通道信息之间融合互补,从而提高夜间无人车对周围物体的识别能力。该网络将红外图像与激光雷达点云作为网络的输入,网络通过特征提取层、候选区域层和通道融合层准确地回归检测出目标的位置以及所属的类别。实验结果表明,该方法能够提高无人车在夜间的物体识别能力,在实验室的测试数据中准确率达到90%,速度0.43 s/帧,达到了实际应用要求。

基于改进SSD的无人驾驶夜间目标检测

为提高SSD(single shot multibox detector)网络在夜间无人驾驶的目标检测性能,对SSD网络进行了改进:特征提取网络使用稠密连接卷积网络(Densenet)得到表征能力更强的特征图;卷积过程中进行特征图重利用,从而增加中小目标的信息;加入反卷积网络丰富特征图语义信息。试验的训练方法采用无预训练模型的训练方式,这种训练方式能够更好地拟合数据集的特性。试验结果表明,改进的SSD网络的目标检测准确率高于原SSD网络,并且优于其他主流网络。