基于深度邻近连接网络的单幅图像去雨方法

雨天环境下的雨线导致图像内容被遮挡,严重影响人眼的视觉效果和后续系统的处理性能。目前主流的深度学习方法为了提升处理性能,均以复杂的网络结构和较大的参数量为代价,导致相关方法难以服务于实际应用。为此,文中提出一种新的深度邻近连接网络结构。它通过关注深度网络中所学特征图之间的关系,采用融合操作将邻近特征图进行连接,以获得更加丰富和有效的特征表示。实验数据表明,所提方法在3个公开合成数据集及真实有雨图像上的主客观处理效果、模型参数量和运行时间等相关性能都有所提升。在合成数据集Rain100H上的平均结构相似性(SSIM)值达到0.84,在合成数据集Rain100L和Rain1200上的平均SSIM值分别达到0.96和0.91。在真实有雨图像上,所提方法在有效去除前景雨线的同时,能够保护更完整的背景图像信息,从而获得更好的主观视觉效果。相比于同时期的深度学习方法JORDER,文中方法在保证相近的处理效果的前提下,模型参数量和CPU运行时间分别降低了一个和两个数量级。实验数据充分说明,通过将网络中邻近特征图进行融合,能够获取更加有效的特征表示。因此,所提方法虽然仅使用较少的模型参数和简洁的神经网络结构,却依旧能够较好地实现图像去雨效果,解决了现有方法模型参数量较大和网络结构较为复杂的问题。同时,该网络结构设计方案也能够为基于深度学习的相关图像复原任务提供参考和借鉴。

SIS:一种新的多尺度卷积算子

具有泛化能力的视觉特征对于计算机视觉任务来说是至关重要的。基于深度神经网络的方法采用逐层叠加特征的形式获取多尺度特征图,导致计算开销显著增加。为解决这一问题,通过在标准卷积算子中部署渐进式多尺度架构,提出一种轻量和高效的尺度嵌套卷积算子(scale-in-scale,SIS)。具体来说,设计了一种变换—分离—对抗机制来优化常规的通道计算,减轻了计算成本,同时在单一卷积层内扩大了感受野。同时,引入权重共享与特征拆分交互运算,并结合特征递归和融合机制,使所提出SIS算子能够与其他卷积算子结合,例如经典的Res Net和Res2Net架构。我们将SIS算子部署到第29层、50层和101层的Res Net和Res2Net变体中,并在CIFAR、PASCAL VOC和COCO2017等公开基准数据集上评估这些修改后的模型。实验结果表明,所提出的方法在图像分类、关键点估计、语义分割和物体检测等计算机视觉任务上的性能均优于同时期最先进的方法。