一种多尺度的图像动态场景盲去模糊网络

近几年,基于卷积神经网络(convolutional neural network, CNN)的单幅图像动态场景盲去模糊(single image dynamic scene blind deblurring, SIDSBD)方法已经取得了巨大的进步.其成功主要是源于多尺度模型或者多块模型、编解码器架构的设计和残差块结构的设计3个方面.基于此,提出了一种新的多尺度卷积神经网络(multiscale convolutional neural network, MSCNN)来进一步开发多尺度模型、编解码器架构和残差块结构的优势,以实现更高质量的动态场景盲去模糊.首先,受到空间金字塔池化(spatial pyramid pooling, SPP)和多块模型的启发,提出了一种分等级的多块通道注意力机制(hierarchical multi-patch channel attention, HMPCA).提出的HMPCA通过利用特征图的全局特征统计量和局部特征统计量来自适应地对特征图进行逐通道的权重赋值.因为利用了局部信息,因此HMPCA可以被认为是增加了通道方向的感受野,也正因如此,提出的HMPCA能够进一步增强网络的表达能力.其次,不同于现有的多尺度模型,发展出了一种新的多尺度模型,该模型中的每个尺度是由多个编码器和多个解码器构成的.因为HMPCA,使得同一尺度内的编码器和解码器并不完全相同,因此提出的多尺度模型可以被看作是增加了编解码器的深度,因此能够提升每一个尺度的去模糊性能,最终实现更高质量的动态场景盲去模糊.大量的实验结果表明:提出的方法较近几年的一些成功的SIDSBD方法相比,能够复原出更高质量的去模糊图像,在客观的评价指标和主观的视觉效果上均有显著的改进.

空间尺度信息的运动模糊核估计方法

运动模糊核的准确估计是实现单幅运动模糊图像盲复原成功的关键.但是,因为不能准确提取出有利的图像边缘以及简单的正则化约束项的设计,导致现有运动模糊核(motion blur kernel,简称MBK)的估计并不十分准确,存在瑕疵.因此,为了能够估计出准确的运动模糊核,提出了一种基于空间尺度信息的运动模糊核估计方法.首先,为了准确地提取有利的图像边缘,移除有害的图像结构,提出了一种基于图像空间尺度信息的图像平滑模型,实现有利图像边缘的准确快速提取;然后,从运动模糊核的内在特性出发,将空间域的L0范数和梯度域的L2范数结合到一起,提出了一种正则化约束模型,很好地保证了运动模糊核的稀疏平滑特性,并结合之前提取出的有利的图像边缘,共同实现运动模糊核的准确估计;最后,采用一种半二次性分裂的交互式最优化策略对提出的模型进行最优化求解.在客观的评价指标和主观的视觉效果上进行了大量实验,其结果证明所提出的方法能够估计出更准确的MBK和复原出更高质量的去模糊图像.