多分支修复网络的沙尘降质图像增强算法

目前基于深度学习的沙尘图像增强算法大多类似于图像去雾算法,但由于以下两个方面的原因效果并不理想且弱于一些传统图像处理算法:由于沙尘图像整体色彩偏黄,去雾算法会忽略沙尘图像的色彩恢复问题;由于缺乏大规模基准数据集,深度神经网络在有限的数据上学习从沙尘图像到清晰图像的映射是非常困难的。提出一种基于多分支修复网络的沙尘降质图像增强算法;此外,基于大气散射模型构建了一个新型沙尘图像数据集。算法将神经网络分为三个子网,包括迁移学习子网、色彩恢复子网和数据拟合子网,每个子网有其特殊的作用,沙尘图像分别经过三个子网处理,然后将三子网结果通过一个可学习的融合层映射为清晰图像。实验结果中定性比较表明该方法可以有效恢复沙尘图像细节,并较好恢复图像的视觉色彩,且该方法对比其他先进的方法可以产生更加符合人眼视觉体验的清晰图像;从定量比较中,在合成数据集上提出的算法相比于所对比的先进算法PSNR和SSIM指数分别提高了0.783和0.012,在真实图像数据集上提出的算法取得了最好的NIQE和PIQE指数。

基于多尺度信息交互的深度学习图像去沙算法

沙尘天气下,入射光线的散射和吸收,会导致图像退化,出现色彩偏移、细节丢失等问题,户外计算机视觉系统的工作性能受到严重影响。为此,提出了一个端到端的基于多尺度信息交互(multi-scale information interaction,MSII)的网络结构。该网络采用并行的两个不同分辨率子网,通过上下采样使两个子网信息交互,引入交叉注意力机制进行空间、特征融合,以获得更丰富的细节;提出了一个简单有效的沙尘合成方法,并以此构建了一个配对沙尘数据集。实验可得,与所比较方法中最好的结果相比,在合成数据上,结构相似度提高5.94%,峰值信噪比提高0.403 dB;在真实数据上,自然图像质量指标提高0.4407,对比度、标准差、信息熵分别提高1.5315、1.0152、0.3352。由此可知,所提方法可获得细节清晰且色彩鲜明的图像。

沙尘图像色彩恢复及增强卷积神经网络

目的在沙尘天气条件下,由于大气中悬浮微粒对入射光线的吸收和散射,户外计算机视觉系统所采集图像通常存在颜色偏黄失真和低对比度等问题,严重影响户外计算机视觉系统的性能。为此,提出一种带色彩恢复的沙尘图像卷积神经网络增强方法,由一个色彩恢复子网和一个去尘增强子网组成。方法采用提出的色彩恢复子网(sand dust color correction,SDCC)校正沙尘图像的偏色,将颜色校正后的图像作为条件,输入到由自适应实例归一化残差块组成的去尘增强子网中,对沙尘图像进行增强处理。本文还提出一种基于物理光学模型的沙尘图像合成方法,并采用该方法构建了大规模的配对沙尘图像数据集。结果对大量沙尘图像的实验结果表明,所提出的沙尘图像增强方法能很好地去除图像中的偏色和沙尘,获得正常的视觉颜色和细节清晰的图像。进一步的对比实验表明,该方法能取得优于对比方法的增强图像。结论本文所提出的沙尘图像增强方法能很好地消除整体的黄色色调和尘霾现象,获得正常的视觉色彩和细节清晰的图像。