传统的基于对比学习的图像超分辨率方法,一般将原始图像作为正样本,将退化图像或其他类图像作为负样本,存在对纹理细节恢复差的问题。本文提出基于对比学习的深度残差网络图像超分辨率(depth residual image super-resolution based on ...传统的基于对比学习的图像超分辨率方法,一般将原始图像作为正样本,将退化图像或其他类图像作为负样本,存在对纹理细节恢复差的问题。本文提出基于对比学习的深度残差网络图像超分辨率(depth residual image super-resolution based on contrast learning,CEDSR)方法,针对残差超分辨率模型,采用对高分辨率图像锐化后的图像作为正样本,对高分辨率图像轻微模糊的图像作为负样本,利用正负样本下的对比损失提升对纹理细节的恢复增强。增强锐化后的正样本图像携带更丰富的纹理信息,基于不同函数生成的模糊负样本图像刻画了纹理模糊特征,正负样本构建的对比损失有利于图像超分辨率图像对纹理细节的恢复。本文模型在4个标准数据集DIV2K、Set14、BSDS100和Urban100上与经典算法进行实验对比,定性和定量实验结果均表明本文模型可以获得效果更好的超分辨率图像。展开更多
针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的...针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部−全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU(Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR(Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。展开更多
针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络(fast and memory-efficient image super resulotion network,FMEN)进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络...针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络(fast and memory-efficient image super resulotion network,FMEN)进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络(fast and memory-efficient image blind super resulotion network,FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution,LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块(high frequency attention block,HFAB)结构进行改进;最后,使用生成对抗网络(generative adversarial network,GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集RealWorld-38上,该算法有较好的重建精度与视觉效果,模型大小12 MB,可以满足图像盲超分辨率网络的轻量级需求。展开更多
文摘传统的基于对比学习的图像超分辨率方法,一般将原始图像作为正样本,将退化图像或其他类图像作为负样本,存在对纹理细节恢复差的问题。本文提出基于对比学习的深度残差网络图像超分辨率(depth residual image super-resolution based on contrast learning,CEDSR)方法,针对残差超分辨率模型,采用对高分辨率图像锐化后的图像作为正样本,对高分辨率图像轻微模糊的图像作为负样本,利用正负样本下的对比损失提升对纹理细节的恢复增强。增强锐化后的正样本图像携带更丰富的纹理信息,基于不同函数生成的模糊负样本图像刻画了纹理模糊特征,正负样本构建的对比损失有利于图像超分辨率图像对纹理细节的恢复。本文模型在4个标准数据集DIV2K、Set14、BSDS100和Urban100上与经典算法进行实验对比,定性和定量实验结果均表明本文模型可以获得效果更好的超分辨率图像。
文摘针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部−全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU(Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR(Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。
文摘针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络(fast and memory-efficient image super resulotion network,FMEN)进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络(fast and memory-efficient image blind super resulotion network,FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution,LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块(high frequency attention block,HFAB)结构进行改进;最后,使用生成对抗网络(generative adversarial network,GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集RealWorld-38上,该算法有较好的重建精度与视觉效果,模型大小12 MB,可以满足图像盲超分辨率网络的轻量级需求。
