基于注意力编解码器及多残差网络的逆半色调方法

针对当前逆半色调方法恢复的图像存在细节不清晰甚至丢失的问题,提出了一种基于注意力编解码器及多残差网络(Encoder-decoder with attention and multi-residual network,EDAMRNet)的逆半色调方法。首先,设计融合注意力机制的编解码器结构,在其跳跃连接处添加非对称特征融合模块,以有效提取图像上下文信息;然后,构造多残差网络,捕获并保留图像空间细节信息;最后,应用监督注意力模块对图像上下文信息进行加强,再传递到多残差网络,以恢复出高质量的连续色调图像。实验结果表明:该方法与现有最优方法相比,在Urban100和Manga109数据集下的峰值信噪比平均值均提高了0.1 dB,结构相似性平均值分别提高了0.0010和0.0005。该方法能够在提取图像上下文信息的同时保留图像空间细节信息,可更好地恢复图像纹理信息,提高图像清晰度,为图像逆半色调方法研究提供了一种新的方案。

图像逆半色调技术研究

逆半色调技术是将半色调图像转换为连续调图像的一项特殊的数字图像恢复技术,是半色调图像转换加网、数字化档案管理、高精度图像识别的关键环节。本文旨在系统介绍逆半色调技术的发展以及所采用的核心技术,为该技术的深入研究和推广应用提供参考。从半色调图像生成及逆半色调图像转换流程出发,阐述了逆半色调技术的基本机理,对各种逆半色调算法中采用的核心技术进行了总结,根据算法采用的核心技术提出了逆半色调技术的分类框架。在此基础上,对逆半色调图像处理中已提出的算法进行分类和全面回顾,并从客观评价和主观评价两个方面对具有代表性的逆半色调算法进行了性能评测。通过分析逆半色调技术研究中存在的不足,从开展模型化算法研究、深入机器学习逆半色调研究、拓宽彩色逆半色调图像处理和提升图像质量评价性能四个方面指出了该项技术的未来研究方向。

MSPRL:面向图像逆半色调的多尺度渐进式残差学习网络

目的图像逆半色调的目的是从二值半色调图像中恢复出连续色调图像。半色调图像丢失了大量原始图像内容信息,因此逆半色调成为一个经典的图像重建病态问题。现有的逆半色调算法重建效果无法满足对图像细节和纹理的需求。此外,已有方法大多忽略了训练策略对模型优化的重要影响,导致模型性能较差。针对上述问题,提出一个逆半色调网络以提高半色调图像重建质量。方法首先提出一个端到端的多尺度渐进式残差学习网络(multiscale progressivoly residual learning network,MSPRL)以恢复出更高质量的连续色调图像。该网络基于UNet架构并以多尺度图像作为输入;为充分利用不同尺度输入图像的信息,设计一个浅层特征提取模块以捕获多尺度图像的注意力信息;同时探讨不同学习策略对模型训练和性能的影响。结果实验在7个数据集上与6种方法进行对比。在Place365和Kodak数据集上,相比性能第2的方法,峰值信噪比(peak signal-to-noise ratio,PSNR)分别提高0.12 dB和0.18 dB;在其他5个常用于图像超分辨率的测试数据集Set5、Set14、BSD100(Berkeley segmentation dataset 100)、Urban100和Manga109上,相比性能第2的方法,PSNR值分别提高0.11 dB、0.25 dB、0.08 dB、0.39 dB和0.35 dB。基于本文的训练策略,重新训练的渐进式残差学习网络相比未优化训练模型在7个数据集上PSNR平均提高1.44 dB。本文方法在图像细节和纹理重建上实现最优效果。实验表明选用合适的学习策略能够优化模型训练,对性能提升具有重要帮助。结论本文提出的逆半色调模型,综合UNet架构和多尺度图像信息的优点,选用合适的训练策略,使得图像重建的细节与纹理更加清晰,视觉效果更加细致。本文算法代码公布在https://github.com/Feiyuli-cs/MSPRL。