联合空角信息的无参考光场图像质量评价

光场图像通过记录多个视点信息可为用户提供更加全面真实的视觉体验,但采集和可视化过程中引入的失真会严重影响其视觉质量。因此,如何有效地评价光场图像质量是一个巨大挑战。本文结合空间-角度特征和极平面信息提出了一种基于深度学习的无参考光场图像质量评价方法。首先,构建了空间-角度特征提取网络,通过多级连接以达到捕获多尺度语义信息的目的,并采用多尺度融合方式实现双重特征有效提取;其次,提出双向极平面图像特征学习网络,以有效评估光场图像角度一致性;最后,通过跨特征融合并线性回归输出图像质量分数。在三个通用数据集上的对比实验结果表明,所提出方法明显优于经典的2D图像和光场图像质量评价方法,其评价结果与主观评价结果的一致性更高。

基于多尺度卷积神经网络的无参考图像质量评价

图像质量评价广泛应用于图像处理领域。提出了一种基于多尺度卷积神经网络(multi-scale convolutional neural network,MCN-Net)的无参考图像质量评价方法,该方法将卷积神经网络与迁移学习相结合。首先,通过使用Resnet-50网络与感知模块相结合的方式,有效提取满足人类感知的多尺度语义信息特征;然后利用自适应融合网络对局部语义信息进行特征融合;最后,将融合后的局部语义信息与全局语义信息进行连接,并输入到全连接回归网络实现图像质量预测。为了验证模型的有效性,分别在LIVE、KonIQ-10K,LIVEC数据集上做了性能对比试验,实验结果表明,所提模型的图像质量评价性能优于目前大多数主流方法,并且在真实失真数据集上的泛化性能更好,适合用于自然失真场景。

基于元原型网络的无参考图像质量评价

针对基于深度学习的模型因需要大量标注数据而选择在预训练模型上进行微调,导致面对新任务泛化性不足的问题,提出一种基于元原型网络的无参考图像质量评价算法。利用元原型网络提取相关任务中的元知识形成质量先验模型,在面对未知任务时快速泛化。首先,在不同失真的数据集上利用元学习方法获取各种失真的共享先验知识得到质量先验模型;接着,为了能够更好地捕获各种失真场景共享先验知识,利用元原型单元对图像特征进行重建,以获得更加丰富的先验知识,从而便于后续的质量分数预测过程;最后,在目标任务上对质量先验模型进行微调,以构建质量模型。在CID2013、LIVE challenge和KonIQ-10K三个数据库上的实验结果表明,所提方法具有更好的性能。

基于多尺度卷积神经网络屏幕内容图像无参考质量评价方法

针对屏幕内容图像无参考质量评价问题,提出了一种基于深度学习的多尺度评价方法。利用多尺度神经网络提取屏幕内容图像在不同尺度下的表达特征,模拟人眼视觉系统对不同尺度图像的感受特性;将多尺度图像特征进行融合,得到图像质量的综合特征,并编码成特征向量;最后,使用特征向量拟合人眼主观打分。实验结果表明,与当前主流的质量评价方法相比,本方法与人眼主观打分评价结果更加一致,具有更高的皮尔逊相关系数和斯皮尔曼相关系数,能够更加准确地评估屏幕内容图像的视觉质量。

融合全局-局部特征的双通道无参考图像质量评价算法研究

针对目前大多数图像质量评价(Image Quality Assessment,IQA)算法在对非均匀失真图像进行质量评估时效果不佳的问题,提出一种结合全局-局部特征的双通道无参考图像质量评价(No-Reference Image Quality Assessment,NR-IQA)算法。首先,考虑输入图像尺寸的不同,利用局部失真重组算法对输入图像进行预处理。其次,利用基于Swin Transformer模块的双通道神经网络提取图像的全局特征和局部特征。最后,通过质量回归预测网络完成全局-局部特征到图像质量分数的映射。实验结果表明,该算法在两个数据集上分别取得0.823和0.871的斯皮尔曼等级相关系数(Spearman Rank Order Correlation Coefficient,SROCC)指标值,表明所提出算法与人的主观感知较为吻合。

基于视觉特性的无参考图像质量评价算法

针对传统无参考图像质量评价算法特征单一、需主观评价结果参与训练和对比度失真图像性能差等问题,提出一种结合颜色和纹理特征及视觉特性的改进算法。首先,为待评价图像构造一幅伪参考图像;其次,依据视觉特性将二者划分为主要与次要感兴趣区域,进一步将区域细化为更小的块并提取其中不同的颜色特征与纹理特征以建立多元高斯模型;最后,计算二者主要感兴趣区域之间、次要感兴趣区域之间的模型参数距离,作为质量分数评价图像的好坏。在公开数据集SPAQ和CSIQ上与传统算法QAC、NIQE、IL-NIQE等进行比较,计算线性皮尔森系数、斯皮尔曼秩相关系数、均方根误差等质量评价指标,实验结果表明所提算法优于传统算法。

基于多维度特征融合的敦煌壁画修复图像质量评价方法

针对使用传统评价指标、依托单一特征来反映修复后古代壁画图像质量的局限性,同时为增加古代壁画修复图像质量评价方法的多元性与丰富性,本文结合敦煌壁画图像颜色特征和纹理特征,提出一种基于多维度特征融合的全参考敦煌壁画修复图像质量评价方法。首先,分别计算原完好壁画图像与修复后壁画图像的颜色熵差、归一化中心距差、颜色直方图的卡方距离、颜色标准差之差值、图像能量差、相关性差、对比度差以及同质性差值;其次,利用主成分分析法采用8个特征属性建模得到质量评价模型,模型的输出值即为修复后图像的质量得分。在有效性验证实验中,该方法的得分获得与其他传统的客观评价方法一致的结果,二者具有较强的相关性。该评价指标综合分析敦煌壁画图像的色彩分布以及纹理的细节保留和模式的重现,实现了一种全方位、多层次的图像修复质量评价方法。

基于元学习和失真感知的图像质量评价

获取图像主观质量评分的成本较高,使图像质量评价(Image Quality Assessment,IQA)模型通常面临训练样本量不足的问题,另外,失真类型对于图像视觉感知质量具有重要的影响。针对以上问题,本文提出了一种基于元学习和失真感知相结合的图像质量评价方法。首先,通过元学习模拟人类学习的过程来快速获取已知失真类型的先验知识,指导后续的ResNet-50网络有效融合多尺度特征。引入失真感知模块捕获完整失真信息,建立统一的质量评价体系。在LIVE、KonIQ-10k等合成失真与真实失真数据集上的实验结果表明,所提模型在小样本条件下,能够提升模型在不同失真类型间的泛化性能。在与现有先进方法的综合实验对比中,本模型较次优方法在PLCC和SROCC两个评价指标上分别取得了1.02%和1.85%的提升。本文模型的评价精度与目前主流的IQA模型相比,具有一定的竞争力。

基于RFB和超网络的跨尺度多层次真实失真图像质量评价方法

为了能在真实失真图像质量领域实现高效的跨尺度学习,提出一种双分支特征提取方法。首先,利用对比学习方法自监督地提取跨尺度、跨颜色空间的图像内容感知特征;随后,采用基于扩张感受野和超网络的策略,将多层次特征信息与跨尺度信息进行循环交互融合,以获取更贴近人类感知的图像质量特征。基于公开真实失真数据库的实验结果表明,所提算法在真实失真图像质量评价上取得了优越性能,而且,通过两个尺度的实验结果展示了该算法实现了更高效的跨尺度学习,从而为图像多尺度深度网络的应用提供了较好基础。

应用于PCB缺陷检测系统的图像质量评价法

基于机器视觉的PCB缺陷检测系统易于因图像模糊等失真问题,影响后续缺陷检测的准确性。针对此问题建立了相关模糊图像数据集,并提出一种空频结合的无参考图像质量实时评价方法。方法提取图像的最大局部变化信息作为空域信息。随后对空域信息进行一级小波分解,求出高频分量中水平方向的小波系数,随后利用处理后的小波系数的最大值,得到客观评价值。同时,建立PCB模糊图像数据集(PBID)用于算法的验证。大量实验结果表明,与其它无参考图像质量评价方法相比,该方法与主观评价值具有较高的一致性,在PBID数据集上的皮尔逊线性相关系数(PLCC)达到了0.9835,且运行速度快,仅为每帧0.1302 s,适合对实时性要求较高的应用场合。

基于特征符号化和Transformer的无参考图像质量评价方法

基于深度学习的无参考图像质量评价方法目前存在语义关联性不足或模型训练要求高的问题,为此,本文提出了一种基于语义特征符号化和Transformer的无参考图像质量评价方法。首先使用深层卷积神经网络提取图像的高层语义特征;然后将语义特征映射成视觉特征符号,并基于Transformer自注意力机制对视觉特征符号之间的关系进行建模,提取图像的全局特征,同时使用浅层神经网络提取底层局部图像特征,捕捉图像低级失真信息;最后结合全局图像信息与局部图像信息,对图像质量进行预测。为了验证模型的精度和鲁棒性,以相关系数PLCC和SROCC作为评价指标,在5个主流的图像质量评价数据集和1个水下图像质量评价数据集上进行了实验,并将本文提出的方法与15种传统和基于深度学习的无参考图像质量评价方法进行了对比。实验结果表明,本文方法以较少的参数量(大约1.56 MB)在各类数据集上均取得了优越的性能,尤其在多重失真数据集LIVE-MD上将SROCC提升到了0.958,证明在复杂的失真情况下仍能准确评估图像质量,本文网络结构能满足实际应用场景。

基于局部色貌的无参考彩色模糊图像质量评价方法

图像质量评价方法是为了符合主观视觉图像质量评分结果,设计出的客观计算方法。在本研究中,提出了一种基于CIELAB颜色空间局部色貌指标(clarity)的无参考彩色模糊图像评价(NR-IQA)方法。在所提方法中,结合最大局部clarity和变异局部clarity评价图像模糊等级。最大局部clarity表征提取模糊图像最锐度信息,即局部模糊特征;变异局部clarity表示图像内部色貌整体变化情况,即全局模糊特征。为了验证该方法的性能,使用五个常用图像质量数据库中的失真图像进行对比测试,从预测精度、计算复杂度和泛化性进行分析。结果表明,SROCC和PLCC加权平均值分别是0.9345和0.9379,SROCC和PLCC直接平均值分别是0.9331和0.9357,综合性能优于其他典型和最新提出的NR-IQA方法。研究结果表明,所提方法是有效的、可行的,是一个综合性能优异的NR-IQA方法。

基于深度学习的无参考立体图像质量评价

立体图像质量评价是评价立体视频系统性能的有效途径,而如何结合人类的视觉特性对立体图像质量进行评价是目前的研究难点.为此提出一种基于深度学习的无参考立体图像质量评价方法,分为训练和测试2个阶段.在训练阶段,首先对左右图像分别进行Gabor滤波,获取不同尺度和方向的统计特征作为单目特性;然后根据人眼视觉系统的双目竞争特性,将左右图像融合得到独眼图,提取其方向梯度直方图作为双目特征;最后通过深度信念网络训练得到特征和主观评价值之间的回归模型.在测试阶段,根据已建立的回归模型,预测得到左右图像质量并联合得到立体图像质量.实验结果表明,文中方法在对称和非对称立体图像数据库都取得了较好的效果,与人类的主观感知保持良好的一致性.

基于视觉感知和零水印的部分参考立体图像质量评价模型

通过分析人类视觉系统的纹理方向特性和立体感知特性,并结合数字水印的半脆弱性和支持向量回归(Support Vector Regression,SVR)的泛化学习能力,该文提出一种基于视觉感知和零水印的部分参考立体图像质量客观评价模型。该模型利用立体图像左右视点经小波分解后在同一空间频率的水平和垂直方向子带系数关系构造反映图像纹理方向特征的视点零水印,同时,利用左右视点视差值与自适应阈值的大小关系构造反映立体感质量的视差零水印,然后利用SVR来学习两类零水印恢复率(视觉加权视点零水印恢复率和视差零水印恢复率)与主观评价值的关系,最后用训练好的SVR完成立体图像质量预测。实验结果表明该模型符合人眼视觉特性,所得到的客观评价值与主观评价值具有较好的一致性。

基于Gabor滤波的并行网络无参考图像质量评价

为解决在基于深度学习的无参考图像质量评价(no-reference image quality assessment,NR-IQA)领域内图片失真可能导致的图片边缘模糊问题,提出一种基于Gabor滤波的并行网络无参考图像质量评价算法。考虑到图片失真的非均匀性,利用可提取空间局部频域特征的Gabor滤波器来获取边缘图片;将灰度图片和边缘图片共同输入并行网络,融合并行网络所提取到的图像质量特征,并通过全连接层所组成的回归网络将其映射到质量分数。该算法采用128×128的图片块,既能达到增加数据集的作用,又不过多损失图片的整体信息。本文在LIVE和TID2013共2个图像数据集上进行了实验,并与其他性能良好的无参考图像质量评价算法进行了对比。实验结果表明,所提出的算法与人的视觉系统(human visual system,HVS)具有较高的一致性。

基于GA-SVR模型的无参考立体图像质量评价

针对支持向量回归(SVR)中惩罚因子和径向基函数选取具有较大不确定性和随机性的问题,结合单双目信息与基于遗传算法(GA)的SVR优化模型,提出无参考立体图像质量评价方法。提取左右失真图像的单双目特征,将梯度幅值和拉普拉斯特征作为单目视觉特征。为更好地结合人类双目视觉特性,使左右图像融合成一幅独眼图,对独眼图提取空域自然场景统计特征。利用GA选择、交叉和变异等操作优化SVR参数组合,选出最优的参数组合,引入到SVR中预估左右图像质量。考虑到人眼对于左右失真图像的响应不同,通过增益控制模型融合左右图像质量,从而得到最终的质量评价值。应用该评价方法对宁波大学建立的立体数据测试库进行评价,结果表明其Pearson线性相关系数在0.95以上,Spearman等级相关系数值在0.94以上,与人类主观感知具有高度一致性。

基于空域自然场景统计的无参考立体图像质量评价模型

针对现有的评价方法大都将图像变换到不同的坐标域问题,提出一种基于空域自然场景统计(NSS)的通用型无参考立体图像质量评价模型。在评价中为了更好地结合人类双目视觉特性,将左右图像融合成一幅独眼图;评价模型首先统计独眼图归一化亮度(CMSCN)系数分布规律,进而对独眼图提取空域自然场景统计特征;其次,统计视差图归一化亮度(DMSCN)系数的分布规律,并对用光流法得到的视差图提取同样的特征;最后,通过支持向量回归(SVR)建立立体图像特征信息与主观评价值(DMOS)之间的关系,从而预测得到图像质量的客观评价值。实验结果表明,该评价模型对立体数据测试库进行评价,其Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.94以上;对于非对称立体图像库,PLCC和SROCC值分别接近0.91和0.93。该模型能够很好地预测人眼对立体图像的主观感知。

面向分类和深度损失的立体图像重定向质量评价

现有的立体重定向图像客观评价算法往往采用统一的方法对重定向图像的失真予以衡量.然而,对于不同类型的立体重定向图像,人眼关注的失真类型与模式不尽相同.此外,现有算法未能精确地衡量重定向图像中深度感变化.针对上述问题,本文提出了一种基于分类和深度感损失的立体图像重定向质量评价算法.该算法根据重定向图像的显著度和深度特征进行图像分类,对不同类型的图像采用不同的失真质量评价策略.此外,为了精确衡量重定向图像的深度感变化,本文还提出了两种用于衡量深度感损失的指标,分别利用重定向过程中深度信息的丢失以及绝对深度的相似度来衡量深度感的损失.本文利用NBU-SIRQA和SIRD数据库进行实验,结果表明,本文算法的整体评价性能优于现有所有算法.

基于交互式卷积神经网络的立体图像质量评价

目前立体图像质量评价算法缺乏可靠的预测性能,主要表现在研究人类视觉系统时生物学理论薄弱,并且已有的浅层模型无法模拟出视觉信息复杂的处理过程。针对上述问题,提出一种基于交互式卷积神经网络的无参考立体图像质量评价算法。根据初级视觉区域的双目视觉机制,融合左、右视图生成独眼特征图,并采用高斯差分算法提取左、右视图边缘信息,计算边缘求和以及差分特征图;搭建交互式卷积神经网络,整合特征图,实现深度特征学习和质量回归预测。在LIVE立体图像库上的Pearson线性相关系数(Pearson Linear Correlation Coefficient,PLCC)达到0.95以上,结果表明采用该算法能有效地解决失真立体图像质量评价问题。

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D phaseⅠ与LIVE 3D phaseⅡ立体图像库进行性能测试。结果表明:所提算法所得预测值与主观评价值间具有良好的一致性。