基于多尺度卷积神经网络的无参考图像质量评价

图像质量评价广泛应用于图像处理领域。提出了一种基于多尺度卷积神经网络(multi-scale convolutional neural network,MCN-Net)的无参考图像质量评价方法,该方法将卷积神经网络与迁移学习相结合。首先,通过使用Resnet-50网络与感知模块相结合的方式,有效提取满足人类感知的多尺度语义信息特征;然后利用自适应融合网络对局部语义信息进行特征融合;最后,将融合后的局部语义信息与全局语义信息进行连接,并输入到全连接回归网络实现图像质量预测。为了验证模型的有效性,分别在LIVE、KonIQ-10K,LIVEC数据集上做了性能对比试验,实验结果表明,所提模型的图像质量评价性能优于目前大多数主流方法,并且在真实失真数据集上的泛化性能更好,适合用于自然失真场景。

融合全局-局部特征的双通道无参考图像质量评价算法研究

针对目前大多数图像质量评价(Image Quality Assessment,IQA)算法在对非均匀失真图像进行质量评估时效果不佳的问题,提出一种结合全局-局部特征的双通道无参考图像质量评价(No-Reference Image Quality Assessment,NR-IQA)算法。首先,考虑输入图像尺寸的不同,利用局部失真重组算法对输入图像进行预处理。其次,利用基于Swin Transformer模块的双通道神经网络提取图像的全局特征和局部特征。最后,通过质量回归预测网络完成全局-局部特征到图像质量分数的映射。实验结果表明,该算法在两个数据集上分别取得0.823和0.871的斯皮尔曼等级相关系数(Spearman Rank Order Correlation Coefficient,SROCC)指标值,表明所提出算法与人的主观感知较为吻合。

基于元原型网络的无参考图像质量评价

针对基于深度学习的模型因需要大量标注数据而选择在预训练模型上进行微调,导致面对新任务泛化性不足的问题,提出一种基于元原型网络的无参考图像质量评价算法。利用元原型网络提取相关任务中的元知识形成质量先验模型,在面对未知任务时快速泛化。首先,在不同失真的数据集上利用元学习方法获取各种失真的共享先验知识得到质量先验模型;接着,为了能够更好地捕获各种失真场景共享先验知识,利用元原型单元对图像特征进行重建,以获得更加丰富的先验知识,从而便于后续的质量分数预测过程;最后,在目标任务上对质量先验模型进行微调,以构建质量模型。在CID2013、LIVE challenge和KonIQ-10K三个数据库上的实验结果表明,所提方法具有更好的性能。

基于多尺度卷积神经网络屏幕内容图像无参考质量评价方法

针对屏幕内容图像无参考质量评价问题,提出了一种基于深度学习的多尺度评价方法。利用多尺度神经网络提取屏幕内容图像在不同尺度下的表达特征,模拟人眼视觉系统对不同尺度图像的感受特性;将多尺度图像特征进行融合,得到图像质量的综合特征,并编码成特征向量;最后,使用特征向量拟合人眼主观打分。实验结果表明,与当前主流的质量评价方法相比,本方法与人眼主观打分评价结果更加一致,具有更高的皮尔逊相关系数和斯皮尔曼相关系数,能够更加准确地评估屏幕内容图像的视觉质量。

基于视觉特性的无参考图像质量评价算法

针对传统无参考图像质量评价算法特征单一、需主观评价结果参与训练和对比度失真图像性能差等问题,提出一种结合颜色和纹理特征及视觉特性的改进算法。首先,为待评价图像构造一幅伪参考图像;其次,依据视觉特性将二者划分为主要与次要感兴趣区域,进一步将区域细化为更小的块并提取其中不同的颜色特征与纹理特征以建立多元高斯模型;最后,计算二者主要感兴趣区域之间、次要感兴趣区域之间的模型参数距离,作为质量分数评价图像的好坏。在公开数据集SPAQ和CSIQ上与传统算法QAC、NIQE、IL-NIQE等进行比较,计算线性皮尔森系数、斯皮尔曼秩相关系数、均方根误差等质量评价指标,实验结果表明所提算法优于传统算法。

基于多维度特征融合的敦煌壁画修复图像质量评价方法

针对使用传统评价指标、依托单一特征来反映修复后古代壁画图像质量的局限性,同时为增加古代壁画修复图像质量评价方法的多元性与丰富性,本文结合敦煌壁画图像颜色特征和纹理特征,提出一种基于多维度特征融合的全参考敦煌壁画修复图像质量评价方法。首先,分别计算原完好壁画图像与修复后壁画图像的颜色熵差、归一化中心距差、颜色直方图的卡方距离、颜色标准差之差值、图像能量差、相关性差、对比度差以及同质性差值;其次,利用主成分分析法采用8个特征属性建模得到质量评价模型,模型的输出值即为修复后图像的质量得分。在有效性验证实验中,该方法的得分获得与其他传统的客观评价方法一致的结果,二者具有较强的相关性。该评价指标综合分析敦煌壁画图像的色彩分布以及纹理的细节保留和模式的重现,实现了一种全方位、多层次的图像修复质量评价方法。

基于元学习和失真感知的图像质量评价

获取图像主观质量评分的成本较高,使图像质量评价(Image Quality Assessment,IQA)模型通常面临训练样本量不足的问题,另外,失真类型对于图像视觉感知质量具有重要的影响。针对以上问题,本文提出了一种基于元学习和失真感知相结合的图像质量评价方法。首先,通过元学习模拟人类学习的过程来快速获取已知失真类型的先验知识,指导后续的ResNet-50网络有效融合多尺度特征。引入失真感知模块捕获完整失真信息,建立统一的质量评价体系。在LIVE、KonIQ-10k等合成失真与真实失真数据集上的实验结果表明,所提模型在小样本条件下,能够提升模型在不同失真类型间的泛化性能。在与现有先进方法的综合实验对比中,本模型较次优方法在PLCC和SROCC两个评价指标上分别取得了1.02%和1.85%的提升。本文模型的评价精度与目前主流的IQA模型相比,具有一定的竞争力。

基于RFB和超网络的跨尺度多层次真实失真图像质量评价方法

为了能在真实失真图像质量领域实现高效的跨尺度学习,提出一种双分支特征提取方法。首先,利用对比学习方法自监督地提取跨尺度、跨颜色空间的图像内容感知特征;随后,采用基于扩张感受野和超网络的策略,将多层次特征信息与跨尺度信息进行循环交互融合,以获取更贴近人类感知的图像质量特征。基于公开真实失真数据库的实验结果表明,所提算法在真实失真图像质量评价上取得了优越性能,而且,通过两个尺度的实验结果展示了该算法实现了更高效的跨尺度学习,从而为图像多尺度深度网络的应用提供了较好基础。

应用于PCB缺陷检测系统的图像质量评价法

基于机器视觉的PCB缺陷检测系统易于因图像模糊等失真问题,影响后续缺陷检测的准确性。针对此问题建立了相关模糊图像数据集,并提出一种空频结合的无参考图像质量实时评价方法。方法提取图像的最大局部变化信息作为空域信息。随后对空域信息进行一级小波分解,求出高频分量中水平方向的小波系数,随后利用处理后的小波系数的最大值,得到客观评价值。同时,建立PCB模糊图像数据集(PBID)用于算法的验证。大量实验结果表明,与其它无参考图像质量评价方法相比,该方法与主观评价值具有较高的一致性,在PBID数据集上的皮尔逊线性相关系数(PLCC)达到了0.9835,且运行速度快,仅为每帧0.1302 s,适合对实时性要求较高的应用场合。

基于特征符号化和Transformer的无参考图像质量评价方法

基于深度学习的无参考图像质量评价方法目前存在语义关联性不足或模型训练要求高的问题,为此,本文提出了一种基于语义特征符号化和Transformer的无参考图像质量评价方法。首先使用深层卷积神经网络提取图像的高层语义特征;然后将语义特征映射成视觉特征符号,并基于Transformer自注意力机制对视觉特征符号之间的关系进行建模,提取图像的全局特征,同时使用浅层神经网络提取底层局部图像特征,捕捉图像低级失真信息;最后结合全局图像信息与局部图像信息,对图像质量进行预测。为了验证模型的精度和鲁棒性,以相关系数PLCC和SROCC作为评价指标,在5个主流的图像质量评价数据集和1个水下图像质量评价数据集上进行了实验,并将本文提出的方法与15种传统和基于深度学习的无参考图像质量评价方法进行了对比。实验结果表明,本文方法以较少的参数量(大约1.56 MB)在各类数据集上均取得了优越的性能,尤其在多重失真数据集LIVE-MD上将SROCC提升到了0.958,证明在复杂的失真情况下仍能准确评估图像质量,本文网络结构能满足实际应用场景。

基于Gabor滤波的并行网络无参考图像质量评价

为解决在基于深度学习的无参考图像质量评价(no-reference image quality assessment,NR-IQA)领域内图片失真可能导致的图片边缘模糊问题,提出一种基于Gabor滤波的并行网络无参考图像质量评价算法。考虑到图片失真的非均匀性,利用可提取空间局部频域特征的Gabor滤波器来获取边缘图片;将灰度图片和边缘图片共同输入并行网络,融合并行网络所提取到的图像质量特征,并通过全连接层所组成的回归网络将其映射到质量分数。该算法采用128×128的图片块,既能达到增加数据集的作用,又不过多损失图片的整体信息。本文在LIVE和TID2013共2个图像数据集上进行了实验,并与其他性能良好的无参考图像质量评价算法进行了对比。实验结果表明,所提出的算法与人的视觉系统(human visual system,HVS)具有较高的一致性。

基于局部色貌的无参考彩色模糊图像质量评价方法

图像质量评价方法是为了符合主观视觉图像质量评分结果,设计出的客观计算方法。在本研究中,提出了一种基于CIELAB颜色空间局部色貌指标(clarity)的无参考彩色模糊图像评价(NR-IQA)方法。在所提方法中,结合最大局部clarity和变异局部clarity评价图像模糊等级。最大局部clarity表征提取模糊图像最锐度信息,即局部模糊特征;变异局部clarity表示图像内部色貌整体变化情况,即全局模糊特征。为了验证该方法的性能,使用五个常用图像质量数据库中的失真图像进行对比测试,从预测精度、计算复杂度和泛化性进行分析。结果表明,SROCC和PLCC加权平均值分别是0.9345和0.9379,SROCC和PLCC直接平均值分别是0.9331和0.9357,综合性能优于其他典型和最新提出的NR-IQA方法。研究结果表明,所提方法是有效的、可行的,是一个综合性能优异的NR-IQA方法。

跨失真表征的特征聚合无参考图像质量评价

针对现有的基于深度学习的无参考图像质量评价模型容易过拟合,并且对真实失真场景中的未知失真类型难辨识问题,提出一个跨失真表征的特征聚合无参考图像质量评价框架。采用与模型无关的元学习优化算法,学习跨不同失真类型的特征表达,缓解模型过拟合影响;将元学习算法与注意力机制、图神经网络相结合,设计特征聚合模块学习每种失真类型的显著性特征;设计图表示模块学习每种失真类型共有的失真信息,削弱图像内容变化对质量预测的影响。实验结果表明,所提算法在预测真实失真图像质量时能够充分挖掘失真图像的高级语义信息,有效解决真实失真场景下失真图像内容变化、未知失真类型复杂的问题,具有较强的推理和泛化能力。

全参考图像质量指标评价分析

图像是人类从外界获取信息的重要来源,通过客观的图像质量评价,能帮助人们在浏览图像时关注高质量的图像,提升感观体验。因此,如何对大量的图像质量进行客观而有效的评价,已成为图像信息处理领域的研究热点之一。根据对参考图像(即无失真的原始图像)的依赖程度,客观图像评价方法可分为全参考图像质量评价、部分参考图像质量评价和无参考图像质量评价。针对全参考图像质量评价方法进行分析,比较了常见的4种全参考图像质量评价指标,验证了这些评价指标分数与主观视觉评估相一致。

基于特征优化的无参考光场图像质量评价

光场图像因其能够捕捉光的方向信息而备受学术界和产业界的广泛关注,然而,光场图像在压缩和重建过程中常会出现不同程度的失真,影响光场图像的后续处理和应用。因此,需要设计一个光场图像质量评估器来估计失真光场图像的质量。传统的光场图像评价方法在提取光场图像的空间特征和角度特征时,未充分考虑人眼视觉的多通道特性以及人眼对角度变化的敏感性,从而影响光场图像的质量评价结果。为此,提出一种无参考光场图像质量评价方法。设计多频带局部二值模式算法,提取光场图像的空间特征并利用优化提取的空间特征测量光场图像的空间质量。提出加权局部相位量化算法,该算法在对微透镜图像单元中提取的角度特征进行相位量化时,根据角度信息变化的强弱赋予不同的权值。在此基础上,将空间和角度纹理特征结合成一维特征向量,输入到已经训练的支持向量回归中,得到光场图像的质量分数。在Win5-LID和NBU-LF1.0数据集上的实验结果表明,该方法的斯皮尔曼等级相关系数分别为0.799 1和0.803 2,相比SSIM、FSIM、BRISQUE等方法,具有更优的质量评估准确性和稳定性。

基于对抗和梯度的无参考图像质量评价算法

由于现有的生成对抗网络(GAN)很难完全获取细节上的失真,生成高质量图像仍旧比较困难。为了提高基于GAN的无参考图像质量评价(NR⁃IQA)方法的性能,提出一种基于对抗和梯度的NR⁃IQA方法。通过改进网络模型结构和引入基于梯度和色度相似性的平均偏差相似指数(MDSI)来提升模型的整体性能,整个模型由GAN和质量预测网络组成。首先,为了增强对抗训练,设计了双判别器的GAN,将失真图像和参考图像分别输入到网络中,利用WED数据集对GAN进行训练;其次,利用GAN生成相应失真图像的虚拟图像,并分析两者之间的差异,得到失真差异图和MDSI图;最后,为了从多个方面测量图像的感知质量,设计了多流质量预测网络,将失真图像、虚拟图像、失真差异图、MDSI图分别输入到网络中,输出图像质量预测分数。在LIVE、CISQ、TID2013数据集上进行训练和测试,所提算法在三个数据集上都表现出较好的性能,尤其在TID2013上。实验结果表明,该算法与人的主观评价具有较高的一致性。

基于局部特征的无参考模糊图像质量评价算法研究

图像拍摄过程中,相机晃动和快速运动状态下拍摄的图像因失焦而导致模糊,使图像结构发生衰变。通过提取模糊图像的局部标准差和梯度测度图,利用显著性加权策略,得到反映图像微小细节变化的模糊感知测度图,利用图中的像素值特征评价图像质量,在LIVE、CSIQ数据库取得较好性能,且时间复杂度低。

通用型无参考图像质量评价算法综述

图像质量评价可有效评估图像采集和传输过程引起的失真或退化,在数字多媒体领域具有广阔的应用前景,无参考图像质量评价算法由于不需要参考图像先验知识,近年来成为图像质量评价领域研究的热点。在对国内外文献进行广泛调研的基础上,从评价算法原理和性能比较两个方面,系统综述了BIQI、DIIVINE、BLIINDS、BLIINDS-II、BRISQUE、NIQE和GRNN等当前性能较优的几种无参考图像质量评价算法。介绍了各种算法的特征提取和质量评价原理,在LIVE数据库上对上述评价方法进行仿真评估,并分析和比较了各种算法的评价性能和执行速度,提出了无参考评价方法的进一步研究方向。综述的几种无参考图像质量评价算法虽然已具有很好的效果,但在评价时严重依赖数据库中的主观评价数据,并且在评价精度和算法复杂度方面还存在一些不足,需要进行深入研究。

基于自然图像统计的无参考图像质量评价

为了解决无参考图像情况下的质量评价问题,基于变换域的自然图像统计模型,提出一种适用于白噪声、高斯模糊、JPEG2000压缩等失真类型的无参考图像质量评价方法.利用自然图像Contourlet变换域子带均值间的线性关系,用失真条件下保持不变的低频子带均值预测未失真的高频子带均值,以高频子带预测均值与实际均值之间的差异计量图像的失真.结合人类视觉系统特性,对不同尺度、不同方向子带及子带内不同区域进行选取与加权,综合得到对失真图像的客观质量评价.实验表明,该质量评价测度与主观质量评价有较好的一致性,且在性能上优于峰值信噪比(PSNR).

互参考激光光条图像质量评价

提出了互参考激光光条图像质量评价方法用于检测激光辅助立体视觉测量中的图像质量。分析了立体视觉测量中单幅激光光条图像的灰度分布特性以及左右激光光条图像灰度分布的相关性。利用光条截面灰度分布梯度表征图像清晰度,并建立了综合考虑单幅图像质量与左右图像相关质量的互参考激光光条图像质量评价方法。然后,确定质量系数的阈值,通过分析噪声对光条提取误差的影响,确定提取误差不高于1个像素的单幅图像质量系数QL,QR∈[0.2,1),通过不同表面激光光条投影实验,确定左右图像相关质量系数QLR∈[0.8,1)。最后,在锻造车间进行了现场实验,重建方形锻件高度为1 747.0mm和491.3mm。实验结果显示,清晰的光条图像质量系数符合确定阈值,受噪声干扰的光条图像质量系数偏离设定阈值,验证了本文提出的质量评价方法能较好地反映激光光条图像缺陷。