多域字符距离感知的场景文本图像超分辨率重建

场景文本图像超分辨率(Scene Text Image Super-Resolution, STISR)旨在提高文本在低分辨率图像中的分辨率和可读性.但是在空间变形或低分辨率的文本图像中,由于缺乏文本区域细节,语义线索和视觉特征信息难以与字符位置匹配对齐,文本识别效果不佳.针对该问题,本文提出多域字符距离感知的场景文本图像超高分辨率重建方法(Perceiving Multi-Domain Character distance super-resolution, PMDC),强化视觉语义特征,提高文本区域和纹理信息.首先,采用非对称卷积以及语义先验信息模块,提取文本图像的视觉和语义特征信息;其次,融合字符距离感知模块中的视觉和语义特征,得到增强位置编码感知字符间的间距变化和语义相似性;最后,结合引导线索和视觉特征对像素进行重组得到超分辨率文本图像.在公开数据集TextZoom上的实验结果,与最近TATT文本超分网络性能相比,在峰值信噪比指标上提高0.11 dB,有效提高文本清晰度和边缘纹理细节,同时提升1.5%的平均识别准确率,改进文本图像的可读性.

基于双分支序列残差注意力的场景文本图像超分辨率重建

针对现有场景文本图像超分辨率重建方法存在的重建文本图像细节信息丢失和边缘模糊的问题,提出一种基于双分支序列残差注意力的重建方法DSRASRN。首先,DSRASRN采用一种新的双分支序列残差注意力模块(DSRAB),该模块采用双分支结构分别专注于水平和垂直方向上的上下文信息提取,并通过高效通道注意力(ECA)机制给予重要信息更高的权重,以增强特征的表达;其次,在DSRASRN内新增文本边缘感知模块(TEAB),增强对文本图像边缘细节和纹理的处理,TEAB采用特定方向的卷积核捕捉特定空间方向上的信息,同时结合具有不同空洞率的空洞卷积来扩大感受野并增强对高频信息的重建能力。在真实场景文本图像数据集TextZoom上的实验结果表明,DSRASRN不仅可以重建出更多的图像细节信息,而且在提高文本识别准确率方面也表现出明显优势。与TSRN、TBSRN、TG、TPGSR方法相比,DSRASRN的峰值信噪比(PSNR)分别提升0.27、0.78、0.59和0.51 dB,且DSRASRN可以使文本识别器ASTER、MORAN和CRNN的平均文本识别精度分别达到65.0%、62.1%和52.0%。此外,真实场景文本识别图像数据集ICDAR2015和SVT上的测试结果表明DSRASRN具有良好的泛化能力。

基于模糊模式感知模块的场景文本图像超分辨率算法

现有的场景文本识别器容易受到模糊文本图像的困扰,导致在实际应用中性能较差.因此近年来研究人员提出了多种场景文本图像超分辨率模型作为场景文本识别的预处理器,以提高输入图像的质量.然而,用于场景文本图像超分辨率任务的真实世界训练样本很难收集;此外,现有的场景文本图像超分辨率模型只学习将低分辨率(LR)文本图像转换为高分辨率(HR)文本图像,而忽略了从HR到LR图像的模糊模式.本文提出了模糊模式感知模块,该模块从现有的真实世界HR-LR文本图像对中学习模糊模式,并将其转移到其他HR图像中,以生成具有不同退化程度的LR图像.本文所提出的模糊模式感知模块可以为场景文本图像超分辨率模型生成大量的HR-LR图像对,以弥补训练数据的不足,从而显著提高性能.实验结果表明,当配备提出的模糊模式感知模块时,场景文本图像超分辨率方法的性能可以进一步提高,例如,SOTA方法TG在使用CRNN文本识别器进行评估时,识别准确率提高了5.8%.

基于文本语义指导的自然场景文本图像超分辨方法

在自然场景文本图像超分辨中,针对先验信息利用不准确、不充分以及文本边缘恢复不完整的问题,提出了一种基于文本语义指导的自然场景文本图像超分辨方法。该网络结构由超分辨重建模块和文本语义感知模块组成。为进一步提高超分辨网络的表达能力,提出使用循环十字交叉注意力,捕获全局上下文信息,使得模型在训练的过程中更加关注文本区域,同时,提出软边缘损失、梯度损失对重建过程进行约束,生成具有锐利边缘的超分辨结果。采用公开的自然场景文本图像超分辨数据集TextZoom对提出模型的性能进行验证,与8种主流深度网络模型进行了对比,结果表明:该模型在3个不同识别器下的平均识别率相比TSRN分别提升了2.06%、1.80%和2.89%,在PSNR和SSIM指标上也具有一定的优势。

基于GAN的场景文本艺术风格转换

图像风格转移是将风格样式迁移到源图像中的目标区域以创建艺术排版的任务,论文研究如何对场景文本图像中的文字区域进行风格转换,以实现自动对广告或海报中的文字进行风格转换,降低艺术创作的成本并提高艺术风格的多样性。由于场景文本图像中不同因素之间存在复杂的相互作用,先前很少有在保留原始文字内容和背景的同时进行文本风格转换的工作。该文提出了一个三阶段的框架,这是首个直接在原图进行程度可控的风格转换的网络,将原本对单个二值化字符进行风格转换的方法扩展到场景文本图像上的文字,并涉及到了图像修复的相关知识。首先使用风格转换网络只对场景文本图像中的文本风格进行转换,后利用字符擦除网络擦除原始字符重建背景图像,最后融合部分利用生成的前景图像和擦除字符后的背景图像生成最终风格转换后的结果图像。论文通过大量实验证明了该方法的有效性。