基于时空注意力的双分支视频超分辨率网络

视频超分方法对多幅低分辨图像进行融合、运动补偿等处理,重构一幅高分辨率图像。基于时空注意力的双分支视频超分辨率网络对运动补偿后的低分辨率图像分配不同的权重,并且引入梯度信息避免超分辨率图像出现结构失真等问题。本网络由一个重建高分辨率图像的图像分支和一个产生高分辨率梯度图的梯度分支组成。图像分支采用一组运动补偿后的低分辨率图像作为输入,并使用时空注意力残差块突出显示信息丰富的局部区域以及关键的时间通道,来恢复丢失的高频细节。梯度分支根据运动补偿后低分辨率图像的梯度图学习显著的结构信息。这两个分支通过融合不同层次的中间特征相互提供先验知识。最后将梯度分支重构的高频结构信息反馈到图像分支,进一步提高超分辨率视频帧的结构一致性。在Vid4和SPMCS-11数据集上验证了本模型的有效性。