真实场景下图像超分辨率重建研究综述

单幅图像超分辨率是近几十年来计算机视觉领域的一个重要研究课题,基于深度学习的超分辨率重建算法已经取得突破性进展,但当大多数算法应用到真实场景中的图像时效果会大大降低,出现严重模糊、振铃效应等。在此背景下越来越多研究人员致力于研究真实场景下的图像超分辨率算法(real-world single image super-resolution,RSISR)。聚焦于真实场景下图像超分辨率重建算法,介绍了常用公共图像数据集和图像评估指标,从基于外部数据集SR方法和基于内部数据集SR方法两大方向分析对比了各种方法的特点、性能和不足。讨论了RSISR存在的困难和挑战,并对未来的发展趋势进行了思考与展望。

单帧红外图像超分辨率重建算法研究

针对目前基于插值的红外图像超分辨率重建算法主要把重心置于原始图像的像素上的问题,提出了一种将原始图像像素和插值像素相结合的红外图像超分辨率重建算法。该算法在最近邻插值算法的基础上,将其与自适应高斯滤波相结合,采用边插值边滤波的方式对红外图像进行超分辨率重建处理。由红外数据集的大量对比试验结果可知,该算法能够在不以时间消耗为代价的前提下使重建结果得到有效提升。具体表现为其重建结果的客观评价指标与经典的图像插值算法相比提高了约2.8%~3.2%,并且能够有效减少噪声、锯齿和模糊现象。该算法有助于推动红外图像超分辨率重建在军事、医疗等领域的发展。

图像背景在图像超分辨率中的作用研究

图像超分辨率是底层视觉领域的一项代表性任务,相关研究发现,图像某个像素位置的重建质量与其周围的背景有关。基于这一发现,该文探索了通过分割输入图像解释网络的新视角,提出了一种简单组合数据集,该数据集信息量丰富,但单张图中仅包含单一的纹理信息。实验证明,与目标区域纹理相近的背景,较有利于模型在该区域的超分辨率重建;对比分析注意力机制与传统卷积神经网络,结果显示,注意力结构更能帮助网络关注长程有效信息。

不同样本数据集对遥感图像超分辨率重建质量的影响

遥感图像超分辨率重建(Super-resolution reconstruction of remote sensing image)是指在同一观测区域或同一场景的背景下,利用其不同观测角度,不同观测时间或不同传感器获取多幅低分辨率图像序列从而重建出高分辨率图像的技术。在深度学习领域中,大多数文献侧重于深度学习网络框架及改进算法的研究以提升图像超分辨率重建效果。然而,样本库的数量与质量作为决定图像超分辨率重建质量优劣的重要因素之一,样本库的数量和质量对图像超分辨率重建质量之间的关系的研究也显得尤为重要。本文将运用SRCNN方法,重点针对少数据样本展开研究,基于不同样本库下少样本数据集进行遥感图像超分辨率重建,对比同源、异源及混样本数据集对遥感图像超分辨率重建质量的影响。实验结果表明,在少样本数据集下,同源重建质量大于异源重建质量且同源重建质量与数据集的空间分辨率呈正比关系,在混合样本数据集中,重建图像的质量依赖于混合数据集样本中原始数据的空间分辨率的质量。

SSRGFD:双目超分辨率图像通用篡改检测数据集

目的图像编辑软件的普及使得篡改图像内容、破坏图像语义的成本越来越低。为避免恶意篡改图像对社会稳定和安全的威胁,检测图像的完整性和真实性尤为重要。面对新型成像设备和算法,需要重新验证现有图像篡改检测算法的有效性并针对双目超分辨率图像的安全性展开进一步研究。但由于双目超分辨率图像篡改数据集的缺乏,难以满足研究的需要。为此,构建了一个双目超分辨率图像通用篡改检测数据集SSRGFD(stereo superresolution forensic general dataset)。方法数据集构建考虑复制黏贴、拼接和图像修复3种常见的篡改类型。为使数据集图像更贴合真实篡改场景,本文从篡改图像内容和隐藏篡改痕迹两方面出发为不同篡改类型设计了不同的篡改标准。首先使用超分辨率算法PASSRnet(parallax attention stereo image super-resolution network)从Flickr1024数据集生成双目超分辨率图像,分别基于3种篡改标准通过手工或深度学习算法对图像进行篡改,构建了2067幅篡改图像,并为每一幅篡改图像提供了对应的篡改区域掩膜。结果实验从主观和客观两个角度评估数据集图像视觉质量。通过双刺激连续质量分级法得到的主观质量平均评分差异基本都低于1.5。客观质量评价方法BRISQUE(blind/referenceless image spatial quality evaluator)、NIQE(natural image quality evaluator)和PIQE(parent institute for quality education)的平均评估结果分别为30.76、4.248和34.11,与真实图像十分接近。实验使用多种检测方法在SSRGFD和单目图像数据集上进行比较。QMPPNet(multi-scale pyramid hybrid loss network)的性能指标均表现最优,但所有检测方法在SSRGFD上的性能相比于在单目图像数据集上的性能显著下降。结论构建的SSRGFD数据集内容丰富且具有较好的视觉质量,能够为双目超分辨率图像篡改检测研究工作提供良好的数据支持。SSRGFD数据集可以从https://github.com/YL1006/SSRGFD上获取。

基于深度学习的图像超分辨率重建技术综述

图像超分辨率重建领域随着深度学习近年来的蓬勃发展得到更加广泛的应用,这种应用为图像超分辨率重建领域效果带来了显著的提升。文章的主要工作内容是对现有的一些基于深度学习的图像超分辨率重建方法进行分析和比较,对其中具有代表性的模型的相关算法进行了简要的介绍,并在当前公开的数据集上,对比分析了近年来较为主流和经典的图像超分辨率重建方法的实验结果。最后提出图像超分辨率重建技术面临的挑战,展望了该领域的未来发展方向。

双目图像超分辨研究综述

随着双目成像技术的发展,双目图像超分辨在近年来得到了广泛关注。不同于单幅图像超分辨,双目图像超分辨可以利用左右视角图像间的互补信息进一步提升图像重建质量。对双目图像超分辨领域的最新进展进行了综述。首先,介绍了双目成像的基本理论。接着,对现有的双目图像超分辨算法和双目图像数据集进行归纳总结。随后,在基准数据集上对几种基于深度学习的主流算法的性能进行了评测,并探究了不同训练集对超分辨算法性能的影响。最后,总结了双目图像超分辨所面临的挑战,并展望了其未来的研究方向。