基于注意力和宽激活密集残差网络的图像超分辨率重建

针对全局和局部高低频空间信息利用不足而导致重建图像纹理细节模糊的问题,提出一种基于注意力和宽激活密集残差网络的图像超分辨率重建模型。首先,四个不同尺度且平行的卷积核被用来充分提取图像低频特征作为空间特征转换的先验信息。在深层特征映射模块中构建融合注意力的宽激活残差块,并利用低频先验信息来引导高频特征的提取。该宽激活残差块通过扩大激活函数前的特征通道数来提取更深层次的特征图,且所构造的全局和局部残差连接在加强残差块和网络特征前向传播的同时,在不增加参数情况下使得所提取特征的多样性更加丰富。最后,对得到的特征图进行上采样和重建以得到清晰的高分辨率图像。实验表明,所提算法在BSD100数据集上4倍超分辨率时,相比LatticeNet模型的PSNR指标提升了0.14 dB,SSIM提升了0.001,在主观视觉方面,重建出的图像局部纹理细节也更加清晰。

基于多尺度宽激活残差注意力网络的图像去块效应

为了节约传输带宽和存储资源,成像设备和系统一般对图像和视频进行了有损压缩.由于分块量化编码,JPEG图像往往存在明显的块效应.去除图像的块效应不仅能够改善使用者的视觉体验,还有利于其他计算机视觉任务的开展.为此,本文提出了一种基于多尺度宽激活残差注意力网络(MWRAN)的图像去块效应方法. MWRAN主要由多尺度宽激活残差注意力模块(MWRAB)构建而成.提出的MWRAB不仅能够激活更多的非线性特征以促进信息在网络中的流动,还能够捕获丰富的图像多尺度特征.此外,通过提出的轻量的差异感知通道注意力(LCCA),MWRAB能够对学习到的特征进行自适应地调整以关注更重要的信息.消融实验验证了MWRAB的有效性.在常用的基准数据集上,MWRAN取得了比几种先进的图像去块效应方法更高的客观评价指标和更接近原图的主观视觉效果.

基于双域学习的JPEG压缩图像去压缩效应算法

针对JPEG压缩图像存在的压缩伪影,提出了一种基于双域学习的JPEG压缩图像去压缩效应算法,以使压缩图像达到更好的视觉效果。该算法利用深度卷积神经网络,根据JPEG压缩图像的特点,分别在像素域和DCT变换域对压缩图像进行去噪,最后将双域的学习信息进行有效融合,以达到更好的去块效应效果。所提出的卷积神经网络使用宽激活残差块(Wide-activation Residual Block,WARB)作为结构单元,能在有效提升网络预测性能的同时,不引入更多的网络参数和计算量。实验结果表明,相比于目前先进的去压缩效应算法,所提出的JPEG压缩图像去压缩效应算法能在主客观上均获得更好的性能。

双阶段信息蒸馏的轻量级图像超分辨率网络

目的在图像超分辨率(super resolution,SR)任务中采用大尺寸的卷积神经网络(convolutional neural network,CNN)可以获得理想的性能,但是会引入大量参数,导致繁重的计算负担,并不适合很多计算资源受限的应用场景。为了解决上述问题,本文提出一种基于双阶段信息蒸馏的轻量级网络模型。方法提出一个双阶段带特征补偿的信息蒸馏模块(two-stage feature-compensated information distillation block,TFIDB)。TFIDB采用双阶段、特征补偿的信息蒸馏机制,有选择地提炼关键特征,同时将不同级别的特征进行合并,不仅提高了特征提炼的效率,还能促进网络内信息的流动。同时,TFIDB引入通道关注(channel attention,CA)机制,将经过双阶段信息蒸馏机制提炼的特征进行重要性判别,增强对特征的表达能力。以TFIDB为基础构建模块,提出完整的轻量级网络模型。在提出的网络模型中,设计了信息融合单元(information fusion unit,IFU)。IFU将网络各层级的信息进行有效融合,为最后重建阶段提供准确、丰富的层级信息。结果在5个基准测试集上,在放大倍数为2时,相较于知名的轻量级网络CARN(cascading residual network),本文算法分别获得了0.29 d B、0.08 d B、0.08 d B、0.27 d B和0.42 d B的峰值信噪比(peak singal to noise ratio,PSNR)增益,且模型参数量和乘加运算量明显更少。结论提出的双阶段带补偿的信息蒸馏机制可以有效提升网络模型的效率。将多个TFIDB进行级联,并辅以IFU模块构成的轻量级网络可以在模型尺寸和性能之间达到更好的平衡。