分组mask引导的单幅图像去除雨滴

恢复被雨滴损毁图像是提高自动驾驶或视频监控等机器视觉在自然场景中识别性能的必要预处理任务。该任务的核心技术是对雨图中雨滴的定位和恢复被雨滴覆盖的背景信息。现有基于数据驱动的解决方案是基于雨滴定位采取固定阈值下硬掩码(hard mask)或软掩码(soft mask)引导的深度神经网络去除雨滴。考虑到雨滴形状的多样性、对背景损毁程度的模糊性,该文提出基于分组函数的自适应阈值分割算法(称为分组掩码)引导的雨滴去除算法。首先,分组掩码根据雨滴大小的多样性和雨滴对背景模糊程度的不同自适应提取雨滴信息;然后,将雨滴损毁图像和分组掩码级联作为输入,用对抗损失训练生成对抗网络(GAN)去除雨滴,输出恢复的干净背景图。综合实验可见,文中提出的图像去雨滴算法比现有的算法更具有优越性。