基于多维度特征融合的敦煌壁画修复图像质量评价方法

针对使用传统评价指标、依托单一特征来反映修复后古代壁画图像质量的局限性,同时为增加古代壁画修复图像质量评价方法的多元性与丰富性,本文结合敦煌壁画图像颜色特征和纹理特征,提出一种基于多维度特征融合的全参考敦煌壁画修复图像质量评价方法。首先,分别计算原完好壁画图像与修复后壁画图像的颜色熵差、归一化中心距差、颜色直方图的卡方距离、颜色标准差之差值、图像能量差、相关性差、对比度差以及同质性差值;其次,利用主成分分析法采用8个特征属性建模得到质量评价模型,模型的输出值即为修复后图像的质量得分。在有效性验证实验中,该方法的得分获得与其他传统的客观评价方法一致的结果,二者具有较强的相关性。该评价指标综合分析敦煌壁画图像的色彩分布以及纹理的细节保留和模式的重现,实现了一种全方位、多层次的图像修复质量评价方法。

基于知识蒸馏的GAN生成图像质量评价方法

为了是提高GAN模型生成的图像质量的预测精度,以更好地符合人类对图像质量的主观评价,本研究介绍了一种基于知识蒸馏的半监督图像质量评价(IQA)方法。该方法利用CNN和ViT模型的结合,充分捕获全局和局部信息,学习高质量图像与失真图像之间特征的分布差异,并通过知识蒸馏传输高级特征信息。模型通过前向传播,得到图像质量评价分数。为了提高输入特征的多样性和模型的处理速度,本研究还采用了级联分组注意(CGA)机制对输入特征处理。通过在多个公共数据集上的实验表明,本研究方法的评价结果优于现有的评价方法,总体效果理想,相对鲁棒性相对优异,可以获得更加符合人类视觉效果的IQA结果。

针织手套轮廓分割图像质量评价研究

为实现更高效、更准确的纯色手套轮廓分割,文中构造一种以轮廓分割为目标,基于图像灰度直方图特征参数的针织手套图像质量评价指标。通过拍摄不同质量等级手套图像,分析灰度直方图形态与轮廓可分割难易程度关系,总结由灰度直方图中波峰值、波谷值、峰距和类内方差构成的图像质量评价模型,此模型可定量计算图像指标,该指标是自动拍摄调参的基础。结果表明,根据模型求解的评价指标值与人眼主观评价等级有较好一致性,且评价指标值与手套本身颜色无关,通用性较好。因此,完成评价指标可改变依靠人眼观察的手动调参拍摄方法,为在线检测需要的相机智能调参拍摄提供依据和基础。

基于多尺度卷积神经网络的无参考图像质量评价

图像质量评价广泛应用于图像处理领域。提出了一种基于多尺度卷积神经网络(multi-scale convolutional neural network,MCN-Net)的无参考图像质量评价方法,该方法将卷积神经网络与迁移学习相结合。首先,通过使用Resnet-50网络与感知模块相结合的方式,有效提取满足人类感知的多尺度语义信息特征;然后利用自适应融合网络对局部语义信息进行特征融合;最后,将融合后的局部语义信息与全局语义信息进行连接,并输入到全连接回归网络实现图像质量预测。为了验证模型的有效性,分别在LIVE、KonIQ-10K,LIVEC数据集上做了性能对比试验,实验结果表明,所提模型的图像质量评价性能优于目前大多数主流方法,并且在真实失真数据集上的泛化性能更好,适合用于自然失真场景。

基于元学习和失真感知的图像质量评价

获取图像主观质量评分的成本较高,使图像质量评价(Image Quality Assessment,IQA)模型通常面临训练样本量不足的问题,另外,失真类型对于图像视觉感知质量具有重要的影响。针对以上问题,本文提出了一种基于元学习和失真感知相结合的图像质量评价方法。首先,通过元学习模拟人类学习的过程来快速获取已知失真类型的先验知识,指导后续的ResNet-50网络有效融合多尺度特征。引入失真感知模块捕获完整失真信息,建立统一的质量评价体系。在LIVE、KonIQ-10k等合成失真与真实失真数据集上的实验结果表明,所提模型在小样本条件下,能够提升模型在不同失真类型间的泛化性能。在与现有先进方法的综合实验对比中,本模型较次优方法在PLCC和SROCC两个评价指标上分别取得了1.02%和1.85%的提升。本文模型的评价精度与目前主流的IQA模型相比,具有一定的竞争力。

结合视觉感知和结构相似性的图像质量评价

目的研究一种精度、泛化性和复杂性综合效益较高的图像质量评价(IQA)模型。方法结合图像失真特征和人眼空间感知特性,基于结构相似性模型SSIM,提出一种基于图像结构感知相似性的IQA方法及其模型ICBS。该方法首先结合人眼对比敏感、频率敏感、亮度感知和掩蔽等特性及其模型,提出一种人眼对真实图像感知的数学模型;然后,模拟人眼对真实图像的感知,通过该感知模型对图像进行处理,以降低图像的视觉冗余,获得感知图像;最后,基于SSIM的建模方式,结合感知图像的特征,提出ICBS模型。结果为了说明所提模型的性能,采用3个开源数据库中35种失真类型的4645幅失真图像,从整体评价和单独评价每一失真类型2个方面进行了仿真测试,结果表明,ICBS的精度在3个数据库中,其加权PLCC值达到0.917,SROCC值达到0.912。基于精度、泛化性能和复杂性的综合效益,与7个现有典型模型的评价结果进行了对比分析,结果表明,ICBS的精度比SSIM的精度在3个数据库中平均提高了10.77%,且其性能综合效益优于7个现有模型。结论综合实验结果和理论分析结果可知,所提模型是一种有效、性能优异的IQA模型。

USformer-Net:基于U-Net和Swin Transformer的脑部MRI图像质量评价方法

针对现有的脑部MRI图像质量评价方法准确率低、难以应用于实际临床环境中的问题,提出一种基于提取感兴趣区域的脑部MRI图像质量自动评价模型USformer-Net,并创建了带有主观质量评价标签的脑部MRI图像数据集。USformer-Net模型基于U-Net和Swin Transformer模型构建并针对脑部MRI图像的特殊性进行了改进。首先,利用轻量化的U-Net网络对具有临床诊断价值的大脑主要区域进行分割,提取出感兴趣区域;其次,利用Swin Transformer的串联窗口自注意力运算(W-MSA)、滑动窗口自注意力运算(SW-MSA)以及其特征融合方式,将特征金字塔(FPN)、兴趣区域匹配(ROI Align)及全连接网络(FC)结合在Swin Transformer骨干特征提取网络中进行图像质量评价。USformer-Net模型能够忽略无关噪声,准确提取出影响诊断的主要区域并进行图像质量评价。实验结果表明,在MRI图像质量评价任务中该模型准确率为87.84%,精度为91.84%,召回率为92.05%,F1-score为91.99%,相较于其他评价方法各项指标均有不同程度提升。最终结果显示该模型能够有效保证脑部MRI图像质量评价的准确性,创建的带有主观质量评价标签的数据集也为该领域的研究提供了更好的数据支持。

基于点目标的陆地探测一号01组图像质量评价

为了衡量陆地探测一号01组卫星在轨测试阶段的成像质量,使用客观的基于点目标评价指标对双星进行评价,包括空间分辨率、峰值旁瓣比和积分旁瓣比。本文选取双星在2023年3—8月的图像,基于人为布设的角反射器进行图像质量的评价。分析结果表明,陆地探测一号01组A星和B星均可以达到在轨测试中对于卫星成像指标的要求,其中距离向上的空间分辨率优于方位向,方位向上的峰值旁瓣比、积分旁瓣比优于距离向。在成像质量方面,A星优于B星;在稳定性方面,双星距离向上的评价指标更为稳定。陆地探测一号01组的数据成像质量可良好的支持卫星后续的相关应用。

基于RFB和超网络的跨尺度多层次真实失真图像质量评价方法

为了能在真实失真图像质量领域实现高效的跨尺度学习,提出一种双分支特征提取方法。首先,利用对比学习方法自监督地提取跨尺度、跨颜色空间的图像内容感知特征;随后,采用基于扩张感受野和超网络的策略,将多层次特征信息与跨尺度信息进行循环交互融合,以获取更贴近人类感知的图像质量特征。基于公开真实失真数据库的实验结果表明,所提算法在真实失真图像质量评价上取得了优越性能,而且,通过两个尺度的实验结果展示了该算法实现了更高效的跨尺度学习,从而为图像多尺度深度网络的应用提供了较好基础。

基于元原型网络的无参考图像质量评价

针对基于深度学习的模型因需要大量标注数据而选择在预训练模型上进行微调,导致面对新任务泛化性不足的问题,提出一种基于元原型网络的无参考图像质量评价算法。利用元原型网络提取相关任务中的元知识形成质量先验模型,在面对未知任务时快速泛化。首先,在不同失真的数据集上利用元学习方法获取各种失真的共享先验知识得到质量先验模型;接着,为了能够更好地捕获各种失真场景共享先验知识,利用元原型单元对图像特征进行重建,以获得更加丰富的先验知识,从而便于后续的质量分数预测过程;最后,在目标任务上对质量先验模型进行微调,以构建质量模型。在CID2013、LIVE challenge和KonIQ-10K三个数据库上的实验结果表明,所提方法具有更好的性能。

应用于PCB缺陷检测系统的图像质量评价法

基于机器视觉的PCB缺陷检测系统易于因图像模糊等失真问题,影响后续缺陷检测的准确性。针对此问题建立了相关模糊图像数据集,并提出一种空频结合的无参考图像质量实时评价方法。方法提取图像的最大局部变化信息作为空域信息。随后对空域信息进行一级小波分解,求出高频分量中水平方向的小波系数,随后利用处理后的小波系数的最大值,得到客观评价值。同时,建立PCB模糊图像数据集(PBID)用于算法的验证。大量实验结果表明,与其它无参考图像质量评价方法相比,该方法与主观评价值具有较高的一致性,在PBID数据集上的皮尔逊线性相关系数(PLCC)达到了0.9835,且运行速度快,仅为每帧0.1302 s,适合对实时性要求较高的应用场合。

图像质量评价技术在复杂工业场景下的应用探索

伴随着互联网技术赋能工业的产业链,利用大量通信及智能化设备的交互协同实现产业自动化建设。图像作为自动化信息流通的载体,在应用传递及感知分析中需要对图像质量产生特定要求,避免因传输及存储过程中造成的降质影响生产流程。而图像质量评价作为一种利用算法量化图像质量好坏的应用技术,凭借卷积神经网络特征提取的优势,有效解决复杂工业场景下光源变化、压缩变质、高斯模糊等不同因素对于图像质量的影响,可以在复杂工业场景下提供精准且高效的质量判断,更好地赋能工业自动化。

融合全局-局部特征的双通道无参考图像质量评价算法研究

针对目前大多数图像质量评价(Image Quality Assessment,IQA)算法在对非均匀失真图像进行质量评估时效果不佳的问题,提出一种结合全局-局部特征的双通道无参考图像质量评价(No-Reference Image Quality Assessment,NR-IQA)算法。首先,考虑输入图像尺寸的不同,利用局部失真重组算法对输入图像进行预处理。其次,利用基于Swin Transformer模块的双通道神经网络提取图像的全局特征和局部特征。最后,通过质量回归预测网络完成全局-局部特征到图像质量分数的映射。实验结果表明,该算法在两个数据集上分别取得0.823和0.871的斯皮尔曼等级相关系数(Spearman Rank Order Correlation Coefficient,SROCC)指标值,表明所提出算法与人的主观感知较为吻合。

基于视觉特性的无参考图像质量评价算法

针对传统无参考图像质量评价算法特征单一、需主观评价结果参与训练和对比度失真图像性能差等问题,提出一种结合颜色和纹理特征及视觉特性的改进算法。首先,为待评价图像构造一幅伪参考图像;其次,依据视觉特性将二者划分为主要与次要感兴趣区域,进一步将区域细化为更小的块并提取其中不同的颜色特征与纹理特征以建立多元高斯模型;最后,计算二者主要感兴趣区域之间、次要感兴趣区域之间的模型参数距离,作为质量分数评价图像的好坏。在公开数据集SPAQ和CSIQ上与传统算法QAC、NIQE、IL-NIQE等进行比较,计算线性皮尔森系数、斯皮尔曼秩相关系数、均方根误差等质量评价指标,实验结果表明所提算法优于传统算法。

基于色貌尺度相位一致性的全参考图像质量评价

为提高图像质量评价模型的准确性,提出一种基于色貌尺度相位一致性的全参考评价模型。首先,在CIELAB色空间的色貌指标Vividness上提取图像结构信息,得到色貌尺度上的相位一致性量值;然后,利用均方根法计算对比度相似图,并在通过上述色空间的颜色通道获取色度相似图;最后,将相位一致性、对比度以及色度三种图像特征结合,采用标准差法进行求和池化,得到全参考图像质量评价计算模型。为验证本模型的可靠性,对4个常用图像数据库中的失真图像进行测试,依据4项评价标准分析其预测精度、计算复杂度及泛化性。实验结果表明,模型在上述数据库中测得的Pearson线性相关系数值最低为0.8781(TID2013),最高达到0.9616(LIVE);Spearman秩相关系数值最低为0.8592(TID2013),最高达到0.9653(LIVE)。与多种现有方法相比,本图像质量评价模型具有更高的视觉关系预测精度。

基于场景理解的双波段彩色融合图像质量评价

为了针对具体的视觉任务衡量可见光与红外彩色(夜视)融合图像的综合质量,提出了一种基于场景理解的双波段彩色融合图像综合质量客观评价模型.该模型包括融合图像特征提取器、邻域共生矩阵特征提取器和权重生成器三部分.首先,使用融合图像特征提取器从融合图像中提取像素强度信息;然后,建立邻域共生矩阵特征提取器,从邻域共生矩阵中提取像素空间关系信息;最后,建立权重生成器,使用神经网络模型从梯度图中提取结构信息,将位置信息与结构信息相结合生成权重.实验结果表明,该方法在提取丰富的图像特征基础上,考虑人眼视觉特性,提高了模型预测值与人眼主观感受的一致程度,实现了融合图像综合质量的客观评价.

无参考自适应光学图像质量评价

自适应光学(AO)成像系统受残余大气湍流、闭环跟踪误差和光电探测噪声等因素的影响,成像结果参差不齐,不利于后期图像筛选和事后处理,故需要对图像质量进行评价。传统图像质量评价方法对自适应光学图像质量的评价不可靠,甚至会出现评价结果与实际背离的情况。针对上述问题,根据自适应光学系统的成像过程,生成具有图像质量标签的自适应光学退化图像数据集,在此基础上采用以ResNet作为主干的深度神经网络,训练得到了用于评价自适应光学图像质量的神经网络模型,在测试集上的Spearman相关系数(SROCC)最佳为0.994。实验结果表明,该方法综合考虑了自适应光学图像成像过程中的多种退化因素,通过训练深度神经网络得到无参考自适应光学图像质量评价模型,评价精度优于其他传统图像质量评价算法。

结合视差补偿与3D数据处理的盲光场图像质量评价

与传统的2D图像相比,光场图像记录了场景中光线的强度和方向信息,在多媒体技术应用领域中占据着重要的地位。但在光场图像的产生、传输等处理过程中会不可避免地引入失真,影响用户视觉体验,因而需构建有效、准确的光场图像质量评价方法对其进行评估。本文基于光场图像的伪视频和极平面图像提出了结合视差补偿与3D数据处理的盲光场图像质量评价方法。首先,采用视差补偿模块处理光场图像伪视频序列,然后对经过视差补偿后的伪视频序列进行三维离散小波变换以及三维去均值对比度归一化处理,并提取频域和空域特征。同时,在极平面图像上提取方向梯度直方图特征表征其角度信息的失真。最后,运用支持向量机建立图像质量评价指标到主观质量得分的回归模型。所提算法在公开数据库NBU-LF1.0,Win5-LID和SHU上的PLCC分别达到0.886 1,0.928 7和0.976 9,实验结果表明,与经典的二维图像质量评价方法以及先进的光场图像质量评价方法相比,本文方法与主观质量评价结果的一致性更高。

基于人眼色彩差异化感知的图像质量评价研究

针对显著性图像质量评价问题,参考人眼视觉对图像色彩的差异化感知,提出一种基于孪生神经网络对图像色彩对比显著区域进行质量评价的算法。首先,根据图像中的色彩对比和语义信息分别提取原始图像和失真图像中的色彩对比显著区域;然后,将原始图像和失真图像中对应的色彩区域作为子图像,以样本对的形式输入孪生神经网络;最后,计算主客观图像质量评估值的相关性。实验采用残差结构的Inception-ResNet-V2网络作为基础模型,同时增加EMD损失函数优化对图像质量的距离损失,经过Softmax层后输出图像质量评估值,并在TID2013数据集上进行了测试。结果表明,提出的算法在该数据集上性能良好。

基于特征符号化和Transformer的无参考图像质量评价方法

基于深度学习的无参考图像质量评价方法目前存在语义关联性不足或模型训练要求高的问题,为此,本文提出了一种基于语义特征符号化和Transformer的无参考图像质量评价方法。首先使用深层卷积神经网络提取图像的高层语义特征;然后将语义特征映射成视觉特征符号,并基于Transformer自注意力机制对视觉特征符号之间的关系进行建模,提取图像的全局特征,同时使用浅层神经网络提取底层局部图像特征,捕捉图像低级失真信息;最后结合全局图像信息与局部图像信息,对图像质量进行预测。为了验证模型的精度和鲁棒性,以相关系数PLCC和SROCC作为评价指标,在5个主流的图像质量评价数据集和1个水下图像质量评价数据集上进行了实验,并将本文提出的方法与15种传统和基于深度学习的无参考图像质量评价方法进行了对比。实验结果表明,本文方法以较少的参数量(大约1.56 MB)在各类数据集上均取得了优越的性能,尤其在多重失真数据集LIVE-MD上将SROCC提升到了0.958,证明在复杂的失真情况下仍能准确评估图像质量,本文网络结构能满足实际应用场景。