针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN...针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。展开更多
本文针对在低光照条件下图像分辨率低的问题,提出一种融合光照损失的图像超分辨率生成对抗网络(image super-resolution generative adversarial network based on light loss,LSRGAN)模型.该模型通过构建高分辨率-低分辨率图像对,利用...本文针对在低光照条件下图像分辨率低的问题,提出一种融合光照损失的图像超分辨率生成对抗网络(image super-resolution generative adversarial network based on light loss,LSRGAN)模型.该模型通过构建高分辨率-低分辨率图像对,利用生成器网络、判别器网络进行训练,实现低光照条件下更好的模型生成图像效果.该模型的损失函数包括光照损失、结构相似性损失、内容损失和对抗损失.模型通过构建光照损失函数,利用RGB三原色颜色空间与YIQ颜色空间的线性关系计算出图像中的亮度分量,将图像中的亮度作为损失函数,更好地恢复低光照条件下的低分辨率图像;通过增加结构相似性损失,计算超分辨率图像与真实高分辨率图像之间的结构相似性,提高生成图像的质量;内容损失区别于传统的基于像素的损失,使用VGG19网络中的特征映射进行计算,可以得到更逼真的生成图像;对抗损失使用判别器网络区分超分辨率图像与真实高分辨率图像,提高超分辨率图像的视觉效果.通过在4个标准数据集Set5、Set14、BSDS100和Urban100上设计对比实验,证明通过增加对光照更加敏感的损失函数,使该模型在低光照条件下具有更好的模型生成图像效果;同时通过增加结构相似性损失,使生成的图像视觉质量更好.展开更多
针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络(fast and memory-efficient image super resulotion network,FMEN)进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络...针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络(fast and memory-efficient image super resulotion network,FMEN)进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络(fast and memory-efficient image blind super resulotion network,FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution,LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块(high frequency attention block,HFAB)结构进行改进;最后,使用生成对抗网络(generative adversarial network,GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集RealWorld-38上,该算法有较好的重建精度与视觉效果,模型大小12 MB,可以满足图像盲超分辨率网络的轻量级需求。展开更多
针对现有图像超分辨率重建模型参数过大,难以在现实中应用的问题,提出了一种单图像超分辨率重建模型——基于坐标注意力机制的生成对抗网络(Generative Adversarial Network Based on Coordinate Attention Mechanism,CSRGAN).通过优化...针对现有图像超分辨率重建模型参数过大,难以在现实中应用的问题,提出了一种单图像超分辨率重建模型——基于坐标注意力机制的生成对抗网络(Generative Adversarial Network Based on Coordinate Attention Mechanism,CSRGAN).通过优化在SRGAN的生成器,将坐标注意力机制与残差网络相结合构造CR模块,促进通道之间信息的流通,并加强了网络的特征选择能力;同时在主网络构建了层次化特征融合结构,提高在深层网络中对早期特征的利用,大量的长短跳连接缓解了梯度消失,提高了网络收敛速度.在Set5、Set14、BSD100和Urban100数据集上与RFB-ESRGAN、ESRGAN等模型进行测试,在峰值信噪比(PSNR)和结构相似度(SSIM)都有所提高,同时模型参数量有极大减少,重建的图像在清晰度、结构完整性等方面都有所提高.展开更多
文摘针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。
文摘本文针对在低光照条件下图像分辨率低的问题,提出一种融合光照损失的图像超分辨率生成对抗网络(image super-resolution generative adversarial network based on light loss,LSRGAN)模型.该模型通过构建高分辨率-低分辨率图像对,利用生成器网络、判别器网络进行训练,实现低光照条件下更好的模型生成图像效果.该模型的损失函数包括光照损失、结构相似性损失、内容损失和对抗损失.模型通过构建光照损失函数,利用RGB三原色颜色空间与YIQ颜色空间的线性关系计算出图像中的亮度分量,将图像中的亮度作为损失函数,更好地恢复低光照条件下的低分辨率图像;通过增加结构相似性损失,计算超分辨率图像与真实高分辨率图像之间的结构相似性,提高生成图像的质量;内容损失区别于传统的基于像素的损失,使用VGG19网络中的特征映射进行计算,可以得到更逼真的生成图像;对抗损失使用判别器网络区分超分辨率图像与真实高分辨率图像,提高超分辨率图像的视觉效果.通过在4个标准数据集Set5、Set14、BSDS100和Urban100上设计对比实验,证明通过增加对光照更加敏感的损失函数,使该模型在低光照条件下具有更好的模型生成图像效果;同时通过增加结构相似性损失,使生成的图像视觉质量更好.
文摘针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络(fast and memory-efficient image super resulotion network,FMEN)进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络(fast and memory-efficient image blind super resulotion network,FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution,LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块(high frequency attention block,HFAB)结构进行改进;最后,使用生成对抗网络(generative adversarial network,GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集RealWorld-38上,该算法有较好的重建精度与视觉效果,模型大小12 MB,可以满足图像盲超分辨率网络的轻量级需求。
文摘针对现有图像超分辨率重建模型参数过大,难以在现实中应用的问题,提出了一种单图像超分辨率重建模型——基于坐标注意力机制的生成对抗网络(Generative Adversarial Network Based on Coordinate Attention Mechanism,CSRGAN).通过优化在SRGAN的生成器,将坐标注意力机制与残差网络相结合构造CR模块,促进通道之间信息的流通,并加强了网络的特征选择能力;同时在主网络构建了层次化特征融合结构,提高在深层网络中对早期特征的利用,大量的长短跳连接缓解了梯度消失,提高了网络收敛速度.在Set5、Set14、BSD100和Urban100数据集上与RFB-ESRGAN、ESRGAN等模型进行测试,在峰值信噪比(PSNR)和结构相似度(SSIM)都有所提高,同时模型参数量有极大减少,重建的图像在清晰度、结构完整性等方面都有所提高.
