基于Transformer的块内块间双聚合的单图像超分辨率重建网络

近年来,基于深度学习的轻量级单幅图像超分辨率(Single Image Super-Resolution,SISR)重建网络已成为人们研究的热点.但是现有的轻量级方法在捕捉图像像素间长距离的全局依赖性方面存在显著局限,这主要是由于显式建模此类依赖关系所伴随的庞大计算复杂度所致.因此现有的轻量级SISR方法的性能仍有较大的提升空间.基于此,本论文提出了一种新颖的基于Transformer的块内块间双聚合的轻量级网络(Intra-block and Interblock Dual Aggregation Network,IIDAN)来显式捕捉整幅图像中的全局依赖性,进而实现高质量的SISR.首先,在自然图像的非局部结构相似性的启发下,本论文提出了一种新颖的块内块间Transformer模块(Intra-block and Inter-block Transformer Module,IITM).IITM通过交替地开发每个图像块内部的自注意力和不同图像块之间的自注意力实现了图像中局部特征的显式捕捉和图像中结构相似性的全局显式捕捉.其次,本论文还提出了一种信息交互机制(Information Interaction Mechanism,IIM)来分别对IITM中的两种自注意力进行对应信息的互补:IIM给块内自注意力(Intra-block Transformer,Intra-T)补充块间信息,使得Intra-T能够获得更多的全局结构信息;同时,IIM也给块间自注意力(Inter-block Transformer,Inter-T)补充局部信息,使得Inter-T能够获得更多的局部细节信息.实验结果表明,与近几年极具代表性的轻量级SISR方法相比,本论文提出的IIDAN能够重建出更高质量的超分辨率图像,同时具有更低的计算复杂度.