超分辨图像质量评价综述

全面综述了超分辨图像质量评价的研究进展。超分辨图像质量评价是以人眼的主观质量评价结果为依据,利用算法模型对重建的超分辨图像进行评价。该评价方法对超分辨重建算法的优化和模型参数的选择具有重要的指导意义。首先对超分辨图像的主观评价方法进行阐述;其次对现有超分辨图像客观评价方法按照全参考型、部分参考型和无参考型进行了分类阐述,特别详细介绍了几种具有代表性的无参考质量评价的主要思想;接着从定量和定性两方面分别介绍了评价超分辨图像质量评价方法有效性的指标,并对评价算法的主要实验方法进行了简要阐述;最后对超分辨图像质量评价方法未来的发展趋势进行了展望。

超分辨重建图像质量评价算法

超分辨率图像重建技术可以提高图像分辨率,但是通常会给图像带来相应的尺寸变化,如何评价质量提升是个难题。目前常用的图像质量评价算法很少涉及图像的尺寸变化。基于结构相似度(SSIM)和尺度空间理论(SIFT),提出了一种针对超分辨率重建图像的弱参考质量评价算法,算法将SSIM与SIFT融合,能够适用图像尺寸的变化。通过仿真和实验证明了该算法的有效性。实验结果表明,该算法能够很好地适应图像尺寸的变化,可以客观地评价超分辨重建图像质量的好坏。

基于SVD的超分辨率重建图像质量无参考评价方法

重建图像质量评价是衡量超分辨率方法优劣的决定性指标,现有的评价方法大都需要借助同一场景具有更高分辨率的图像作为参考图像,但在实际超分辨率重建图像过程中这一需求难以实现.针对上述问题,考虑到人眼对相对亮度变化更为敏感,且边缘清晰度与图像主观评价质量成正比,利用去均值图像、梯度图像以及灰度图像,提出一种仅依靠图像自身信息的、基于SVD的超分辨率重建图像质量无参考客观评价方法.首先将图像分割为相互重叠的局部图像块,然后在各局部图像块中利用SVD分别得到低分辨率图像间及其与超分辨率重建图像间的子评价结果,最后再将这些子评价结果整合为最终的客观评价指标SSQI.实验结果表明,SSQI指标是一种具有较高准确性和鲁棒性的无参考客观评价指标,与人类主观评价结果保持了很好的一致性.

基于HVS的SSIM超分辨率重建图像质量评价方法

结构相似度(structural similarity)算法在图像评价中,因具有操作简单、运行高效、与主观评价关联性较强等优点而被广泛使用。但SSIM算法在对图像评价时忽略了图像的区域性和人眼的敏感度,其评价结果不能很好地与人眼视觉感知相符。并且当对超分辨率重建后的图像进行评价时,利用SSIM方法无法进行图像评价。针对以上问题,提出一种基于人眼视觉特性(Human Visual System)的SSIM超分辨率重建图像质量评价算法。该算法对图像进行尺度不变特征变换(SIFT),其评价结果与人眼视觉感知相符,提高了评价准确度,具有良好的评价性能。

超分辨率重建图像质量评价算法分析

由于广泛的应用前景和实用价值,图像超分辨率重建(SR)技术已经成为计算机视觉领域和图像处理方面的研究热点,而重建图像的质量评价作为超分辨率问题的重要一方面同样引起学者的广泛关注。文章重点分析了应用于超分辨率重建图像的质量评价算法,并对不同算法的特点比较分析,最后就图像评价算法的进一步发展作出思考和探索。

应用多层感知机回归的无参考型超分辨图像质量评价

为解决传统超分辨图像质量评价(super-resolution image quality assessment,SRIQA)指标与人类主观感知一致性较差的问题,应用多层感知机(multi-layer perceptron,MLP)构建一种无参考型超分辨图像质量评价方法。该方法利用预训练好的VGG16网络提取超分辨图像的感知质量特征,并通过MLP建立超分辨图像的感知质量特征与对应主观质量分数之间的回归模型。实验结果表明:所提出的算法在公开的超分辨图像数据集上的皮尔逊线性相关系数(pearson linear correlation coefficient,PLCC)、斯皮尔曼秩序相关系数(spearman rank order correlation coefficient,SROCC)超过0.95,明显优于现有其他图像质量评价方法,且与人类主观感知具有更高的一致性。

基于多阶结构表示的超分辨率重构图像质量盲评价方法

为了客观地预测超分辨率重构图像的质量,提出了一种基于多阶结构表示的超分辨率重构图像无参考质量评价方法。利用多阶导数信息表示超分辨率重构图像的主要结构和细微纹理,并利用局部二值模式提取超分辨率重构图像的多阶结构特征;结合主观分数,利用随机森林回归训练图像质量预测模型,再利用模型预测待测图像的质量。为了证明该算法的有效性和优越性,对比实验在一个大尺度超分辨率图像数据库上进行。该算法的斯皮尔曼相关系数和皮尔森线性相关系数分别为0.910 3和0.918 3。实验结果表明,该算法优于现有的无参考质量评价算法,与主观评价结果保持较高的一致性。此外,该算法时间复杂度低,运行时间适中。

基于稀疏表示的无参考型超分辨图像质量评价方法

针对无参考型超分辨图像质量评价(no-reference super-resolution image quality assessment,NR-SRIQA)与人眼主观感知一致性的问题,提出一种基于稀疏表示的NR-SRIQA方法。该方法将超分辨图像的视觉感知特征和对应的平均主观分数(mean opinion score,MOS)进行组合构造超完备字典,测试超分辨图像的视觉感知特征,将其表示为该字典中基原子的稀疏线性组合,利用获得的稀疏表示系数加权相关字典原子的质量分数,实现对超分辨图像质量的预测。实验结果表明:相比于其他主流方法,所提出的质量评价方法能获得与主观感知质量更好的一致性。

复杂退化模型下图像超分辨率算法综述

图像的超分辨率(super-resolution,SR)一直以来是计算机视觉(computer vision,CV)领域的一项热门的研究方向,它旨在从单张或多张低分辨率图像中通过一系列的图像处理和深度学习技术,重建带有丰富边缘纹理等细节特征的高分辨率图像。自从深度卷积神经网络应用于图像超分辨率算法后,其性能相较于传统的基于重构和基于样例的SR算法有了非常大的提升。然而,目前的SR算法在实际场景应用、算法性能、模型质量评估标准等方面仍然需要改良和优化。因此,为推进图像超分辨率技术的发展,总结并分析了基于深度学习的SR算法。首先,将目前主流的SR算法分为基于卷积神经网络、基于生成对抗网络、基于Transformer这三类;其次,详细评述了每一类算法的网络结构、算法优缺点、算法特色及适用场景等;然后,对常见的超分辨率数据集及各种评价指标进行阐述,重点比较了不同SR算法在各类数据集上的性能;最后,总结了图像超分辨率目前研究所面临的问题并探讨了图像超分辨率的未来研究方向。

评价B超诊断图像质量的指标综述

医用超声诊断仪在临床上用于疾患诊查和计划生育已得到了肯定,并广泛应用。正因为如此,它的图像质量问题涉及到人类的生命健康及生命繁衍。如何提高图像质量,尽可能获取真实丰富的人体信息,便成为该领域内科学研究和技术攻关的焦点。而影响图像质量的指标就是其中至关重要的环节。本文对这些技术参数进行了分析和描述。

超分辨率图像失真分析与质量评价研究

随着视频增强算法取得的效果日益精进,如何设计客观质量评价模型来评价增强视频或图像的视觉感知质量成为目前的技术难点。本文针对超分辨率图像失真特点与类型开展分析,这也是后续研究视频增强质量评价算法的一项基础性工作。同时,本文还从建立超分辨率质量评价数据库、开展无参考客观质量评价模型的研究等方面讨论了超分辨率图像失真质量评价问题的研究思路。

太赫兹图像超分辨率重建方法的研究进展

图像超分辨率是近几十年来图像处理领域的一个重要研究课题,旨在从低分辨率图像中重建出高分辨率图像,其突破了传感器和光学器件制造工艺和成本的限制,从算法方面提高图像分辨率,是一种简单、高效、低成本的方法。太赫兹(Terahertz,THz)图像受到THz波衍射和散射的影响,会产生图像模糊、纹理细节不清晰等问题,越来越多的学者致力于开发THz图像的超分辨率重建方法。根据近年来THz技术与超分辨率重建技术相关文献的研究,对THz图像的三大重建方法进行了详细阐述,重点对基于深度学习的方法进行介绍,并对比了各类算法的重建效果与优缺点;回顾了THz图像质量评价指标和常用数据集,并总结THz图像超分辨率重建技术的相关应用。最后,探讨了THz图像超分辨率重建技术的未来发展趋势。

面向文本检测的藏文古籍文档图像超分辨率重建

针对藏文古籍文档图像普遍因低质、视觉效果不佳严重影响图像中文本区域的检测和识别问题,该文构建了一个藏文古籍文档图像超分辨率数据集TAMSRD,同时提出了一种基于卷积神经网络的超分辨率重建方法,为领域内藏文古籍文档图像的超分辨率重建问题提供了有意义的参考。该文所提模型在ICDAR 2013/2015/2017,MSRA_TD500和TAMSRD共5个数据集上的实验结果表明:①该文所设计的超分辨率网络模型能够有效提高低质藏文古籍文档图像的视觉质量,重建图像的峰值信噪比(PSNR)、结果相似性指标(SSIM)以及自然图像质量评估指标(NIQE)都有明显的改善;②超分辨率网络模型对低质藏文古籍文档图像的重建,能够大幅改善各类场景图像文本检测模型的性能。在各个数据集上,MSER方法的召回率和F值提升区间为[16.3%,32.5%]和[13.3%,41.9%],CTPN方法的召回率和F值提升区间为[4.1%,39.8%]和[2.1%,32.7%],DB方法的召回率和F值提升区间为[8.4%,56.5%]和[7.7%,58.7%]。

协同超像素和视觉显著性的图像质量评价

为实现全参考图像质量客观评估与人类主观评估更高的一致性,本文提出了协同超像素和视觉显著性双重策略的图像质量评价方法。该方法通过融合4个图像特征相似度得到局部图像质量得分。这4个相似度分别是超像素局部亮度相似度、超像素局部色度相似度、视觉显著性相似度和Scharr梯度相似度。为了解决过去的评价方法中不同的特征相似度仅凭经验确定参数的问题,提出相似度量参数修正模型对各相似度的参数进行自适应调整。最终的质量得分由视觉显著性构造的加权函数与局部质量得分池化获得。大量的比较实验表明,本文方法的综合性能表现优异,与主观评估具有更高的相关性。

基于潜在辅助特征的图像超分辨率重建算法研究

图像超分辨率重建作为图像质量增强研究领域的基本任务之一,具有很高的研究和应用价值。生成对抗网络可以有效提高超分辨率重建图像的纹理细节信息,在该领域得到了广泛应用。然而,仅仅依靠从输入的低分辨率图像中学习的特征信息,难以重建出高质量的超分辨率图像。针对该问题,本文提出一种基于潜在辅助特征的图像超分辨率重建算法,引入一个可训练的潜在特征来扩大生成器的特征空间,为重建图像提供辅助的特征信息,提高重建效果。同时还利用输入图像特征来对潜在辅助特征的生成进行约束指导,避免特征空间差异性大,导致重建图像保真度低。本文所提方法在7个公开数据集上与7种方法进行了对比实验。实验结果表明,本文方法所重建的超分图像纹理细节信息更丰富,视觉效果更好。

改进边缘质量和运动估计的超分辨率图像重构

凸集投影算法(POCS)是一种广泛使用的超分辨率图像重构方法。针对传统的POCS超分辨率图像重构算法出现的边缘模糊及匹配时的局限性问题,首先利用二阶梯度检测出像素周围0°、45°、90°、135°四个边缘。在构造参考帧时采用基于梯度的插值算法,沿边缘方向进行线性插值,沿非边缘方向进行基于一阶梯度的权重插值。在运动估计时,采用SURF匹配算法,提高匹配的鲁棒性和实时性。在修正参考帧时,分别定义中心在四个边缘方向的点扩散函数(PSF)。利用完全参考图像质量评价和无参考图像质量评价分别对仿真实验和实物实验进行评价,评价结果表明提出的算法较传统POCS算法有明显的改善。

基于点目标的陆地探测一号01组图像质量评价

为了衡量陆地探测一号01组卫星在轨测试阶段的成像质量,使用客观的基于点目标评价指标对双星进行评价,包括空间分辨率、峰值旁瓣比和积分旁瓣比。本文选取双星在2023年3—8月的图像,基于人为布设的角反射器进行图像质量的评价。分析结果表明,陆地探测一号01组A星和B星均可以达到在轨测试中对于卫星成像指标的要求,其中距离向上的空间分辨率优于方位向,方位向上的峰值旁瓣比、积分旁瓣比优于距离向。在成像质量方面,A星优于B星;在稳定性方面,双星距离向上的评价指标更为稳定。陆地探测一号01组的数据成像质量可良好的支持卫星后续的相关应用。

改善投影分辨率的叠加图像方法及其图像质量评价方法概述

分辨率是投影仪性能的关键指标,提高分辨率是投影仪行业的重要目标之一。与空间光调制器(SLM)的原始图像的分辨率比较,投影图像叠加是有效的提高投影仪分辨率的方法。投影图像叠加方法可以在多投影系统或者具有光机系统的单投影系统中使用。两个或者多个图像在投影幕布上组成叠加投影图像,其叠加投影图像可以用加法函数的方法来进行理论计算。

基于多任务学习的无参考超分辨图像质量评估

图像超分辨率重建旨在从低分辨率图像中恢复其对应的高分辨率图像,是计算机视觉中的经典问题。为改进传统超分辨图像质量评价方法与人眼感知不一致的问题,提出一种基于多任务学习的超分辨图像质量评估网络。网络采用多任务学习的方式,分别学习图像的局部频率特征与质量分数,其中局部频率特征用来辅助网络进行图像质量分数的回归,提高分数预测的准确性和泛化能力。另外,在网络中加入协调注意力模块,进一步增强了模型的预测能力。实验结果表明,所提出的算法在QADS数据集上的SROCC、PLCC等指标优于目前先进的无参考超分辨图像质量评价方法。

基于多分辨率分解无参考模糊图像质量评价

利用多分辨率分析手段有效识别模糊效果,提出一种基于多相分解耦合乘法多分辨率分解的无参考模糊图像质量评价方法。首先将模糊图像进行多相成份分解,计算各相成份的相对偏差和绝对偏差;且引入多分辨率分析,设计了模糊转换函数;再计算图像细节均值,定义转换点分类规则;并对图像内容进行分析,建立图像细节信息判别标准;根据标准,对图像进行粗分类,并计算其阈值;最后,引入多分辨率的垂直、水平方向的模糊转换,构造模糊质量评价模型,准确获取图像模糊量。在3个图像数据库中测试得出:与当前无参考模糊图像质量评价方法相比,更加符合人类视觉特性,具有更好的评价效果。