基于双通道循环生成对抗网络的无人车夜视红外视频彩色化

在无人车夜视红外视频彩色化问题中,考虑到可同时利用单帧图像的信息和视频的帧间信息,提出了一种双通道循环生成对抗网络(DcCCAN)对夜视红外视频进行彩色化。DcCCAN是在循环一致生成对抗网络(CCAN)的基础上提出的双通道生成网络。双通道生成网络具有良好的图像特征提取能力,能够自动提取视频中待处理图像的特征,同时提取先前模型所生成图像的特征,然后将特征信息整合后生成一幅目标图像。通过在生成对抗性训练中引入循环一致性训练机制,可无监督地学习得到红外域图像到彩色域图像的映射关系,从而实现红外视频的彩色化。实验表明该方法能够为视频中的红外图像赋予自然的色彩信息和纹理信息,且满足实时性要求。