面向AR-HUD的多任务卷积神经网络研究

汽车上AR-HUD已经得到了广泛应用,其环境感知模块需完成目标检测、车道分割等多个任务,但是多个深度神经网络同时运行会消耗过多的计算资源。针对这一问题,本文提出一种应用于AR-HUD环境感知的轻量级多任务卷积神经网络DYPNet,其以YOLOv3-tiny框架为基础,融合金字塔池化模型、DenseNet的密集连接结构、CSPNet网络模型的思想,在精度未下降的情况下大幅减少了计算资源消耗。针对该神经网络难以训练的问题,提出了一种基于动态损失权重的线性加权求和损失函数,使子网络损失值趋于同步下降,且同步收敛。经过在公开数据集BDD100K上训练及测试,结果表明该神经网络的检测mAP和分割mIOU分别为30%,77.14%,使用TensorRt加速后,在Jetson TX2上已经可以达到15 frame·s-1左右,已达到AR-HUD的应用要求,并成功应用于车载AR-HUD。