基于改进BiSeNet的实时图像语义分割

为了提升图像语义分割算法的性能,使其同时满足准确性和实时性需求,本文提出了一种基于改进BiSeNet的实时图像语义分割算法。首先,通过使双分支网络头部共享以消除BiSeNet网络结构部分通道和参数的冗余,同时有效提取图像的浅层特征;然后,将上述共享网络拆分为由细节分支和语义分支组成的双分支网络,并分别用于提取空间细节信息和语义上下文信息;此外,在语义分支尾部引入通道和空间注意力机制以增强特征表达能力,通过使用双注意力机制对BiSeNet算法进行优化以更有效地提取语义上下文特征;最后,对细节分支和语义分支的特征进行融合并通过上采样操作恢复至输入图像分辨率大小以实现图像语义分割。本文算法在Cityscapes数据集以95.3FPS的实时性表现达到77.2%mIoU的准确性;在CamVid数据集以179.1 FPS的实时性表现达到73.8%mIoU的准确性。实验结果表明,本文算法在实时性和准确性方面获得了很好的平衡,其语义分割性能相较于BiSeNet算法及其它现有算法得到了显著的提升。

基于双注意力机制的车道线检测

为了提升车道线检测算法在障碍物遮挡等复杂情况下的检测性能,本文提出了一种基于双注意力机制的多车道线检测算法。首先,本文通过设计基于空间和通道双注意力机制的车道线语义分割网络,得到分别代表车道线像素和背景区域的二值分割结果;然后,引入HNet网络结构,使用其输出的透视变换矩阵将分割图转换为鸟瞰视图,继而进行曲线拟合并逆变换回原图像空间,实现多车道线的检测;最后,将图像中线两侧车道线所包围的区域定义为目前行驶的行车车道。本文算法在Tusimple数据集凭借134 frame/s的实时性表现达到了96.63%的准确率,在CULane数据集取得了77.32%的精确率。实验结果表明,本文算法可以针对包括障碍物遮挡等不同场景下的多条车道线及行车车道进行实时检测,其性能相比较现有算法得到了显著的提升。

基于DeepLabV3+与超像素优化的语义分割

针对基于深度学习的DeepLabV3+语义分割算法在编码特征提取阶段大量细节信息被丢失,导致其在物体边缘部分分割效果不佳的问题,本文提出了基于DeepLabV3+与超像素优化的语义分割算法。首先,使用DeepLabV3+模型提取图像语义特征并得到粗糙的语义分割结果;然后,使用SLIC超像素分割算法将输入图像分割成超像素图像;最后,融合高层抽象的语义特征和超像素的细节信息,得到边缘优化的语义分割结果。在PASCAL VOC 2O12数据集上的实验表明,相比较DeepLabV3+语义分割算法,本文算法在物体边缘等细节部分有着更好的语义分割性能,其mIoU值达到83.8%,性能得到显著提高并达到了目前领先的水平。

基于YOLOP的车道线检测、目标检测及可行驶区域分割算法部署

目前,全景自动驾驶感知中的多任务学习取得了显著成果。其中对象检测和分割任务极其重要,可以帮助决策、提供路线规划和安全信息。然而,目标检测和分割仍有限制,需要大量数据和先验信息。为了使自动驾驶中的多任务学习更加高效准确,本文将嵌入式平台融入车道线检测的研究当中,融合了车道线检测和障碍物检测,可以有效提高计算效率和环境感知。同时,本文使用NVIDIA嵌入式平台对深度学习进行部署并能够保持先进性能。