基于知识蒸馏的GAN生成图像质量评价方法

为了是提高GAN模型生成的图像质量的预测精度,以更好地符合人类对图像质量的主观评价,本研究介绍了一种基于知识蒸馏的半监督图像质量评价(IQA)方法。该方法利用CNN和ViT模型的结合,充分捕获全局和局部信息,学习高质量图像与失真图像之间特征的分布差异,并通过知识蒸馏传输高级特征信息。模型通过前向传播,得到图像质量评价分数。为了提高输入特征的多样性和模型的处理速度,本研究还采用了级联分组注意(CGA)机制对输入特征处理。通过在多个公共数据集上的实验表明,本研究方法的评价结果优于现有的评价方法,总体效果理想,相对鲁棒性相对优异,可以获得更加符合人类视觉效果的IQA结果。

基于注意力和最小可觉差的GAN生成图像质量评价

现有的客观图像质量评价方法用于GAN生成图像质量评价时,往往出现与人的主观评价不一致的情况.针对这个问题,提出了一种更符合人类视觉感知的GAN生成图像质量客观评价方法AJ-GIQA(attention and just noticeable difference based generated image quality assessment).首先,模拟人类视觉系统的失真敏感度特性,对GAN生成图像进行预处理,得到其最小可觉差图;然后,将注意力模块引入特征提取网络,模拟人类视觉系统的注意力机制,获取图像的显著性特征;最后,将图像特征输入结合语义信息的质量预测网络,基于图像内容综合评价GAN生成图像的质量.在GAN生成图像数据集上的实验结果表明,AJ-GIQA的评价结果与主观平均意见得分有更高的一致性;在图像质量排序一致性上的实验结果表明,AJ-GIQA的准确率在LGIQA-LSUN-cat数据集上达到了最优,和SFA方法相比性能提高了0.267;在泛化性能上的实验结果表明,与最先进的HyperIQA方法相比,AJ-GIQA在数据集PIPAL的Pearson线性相关系数提高了0.027.

基于近邻算法的GAN生成图像质量评价

GAN生成图像质量评价是指对GAN生成的图像进行评价,判断生成图像的失真度是否影响观察者的信息获取和主观感受.目前,GAN生成图像质量评价算法较少且算法运行效率不高.该文提出一种基于近邻算法的生成图像质量评价(Near-Neighbor based Generated Image Quality Assessment,NN-GIQA)算法,实现对GAN生成图像的自动、客观、高效评价.首先,基于ANN算法获取生成图像的近邻构成相似图像候选池,缩小生成图像对比范围;然后,基于KNN算法在相似图像候选池中获取与生成图像最相似的K个真实图像得到生成图像质量分数;最后,评价多个经典GAN模型在多个经典数据集上获取的生成图像的质量.实验结果表明本文方法有效提高了GAN生成图像质量评价的效率和准确性,运行时间仅为其他方法的1/9~1/28,其评价结果和人类主观评价结果的一致性达到80%以上,符合人类视觉感知.

基于条件生成对抗网络的图像翻译综述

图像翻译旨在实现多组不同领域图像间的转换,同时需要约束样本空间与目标空间分布的一致性.文章旨在寻找条件生成对抗网络与图像翻译问题的结合点,首先,介绍了数据集的特点,指出了不同数据集图像翻译难易程度;其次,从数学表达、性质以及目标函数设计方法得出算法实现的不同方式;将现有图像翻译分成3种类别——匹配图像翻译、非匹配图像翻译和多领域图像翻译,并得出不同应用场景所对应的图像翻译类别,即高清任务对应匹配图像翻译,低成本任务对应非匹配图像翻译,多样化任务对应多领域图像翻译;将图像质量评价方法分为主观图像质量评价与客观图像质量评价,并分析客观图像质量评价中全参考图像与无参考图像质量评价的适用范围;最后,总结条件生成对抗网络在图像翻译中的进展,并分析算法后指出了模式崩塌,模型可解释性和少样本等未来所需解决的问题.

基于内在生成机制的多尺度结构相似性图像质量评价

该文针对多尺度结构相似性(Multiple-scale Structural SIMilarity,MSSIM)图像质量评价算法对图像信息不确定部分度量能力的不足,结合人类视觉系统(HVS),提出基于内在生成机制(internal generative mechanism)的i MSSIM算法。首先采用基于逐段式自回归(Piecewise Auto Regressive,PAR)模型的内在生成机制将失真图像和原始图像分解成采用MSSIM算法评分的图像内容预测部分和采用PSNR评分的图像信息不确定部分;然后采用均方误差(MSE)进行加权来联合这两部分评分获得最终结果。在基准数据库上完成的对比实验表明:该算法不仅在不同失真类型上性能最好,且在6个公开数据库上的性能优于现有算法。

用图像质量评价量实现的真实图像和计算机生成图像的鉴别方法

真实图像和计算机生成图像的鉴别是数字图像盲取证中的一个重要问题。提出了一种真实图像和计算机生成图像的鉴别方法。借用模式识别中的二分类概念,采用图像质量评价量来建立模型,以捕获真实图像和计算机生成图像的统计差异,选用支持向量机作为分类器进行训练和测试。实验结果表明,该方法计算方便、实用性强、可靠性高。

基于美学质量评价的条件生成对抗网络线稿图像彩色化方法

目的为了更好地实现包装设计中符合用户美学感知需求的动漫图像元素,生成美感更高的彩色线稿图像,提出一种基于美学质量评价的条件生成对抗网络线稿图像彩色化方法(Conditional Image Colorization with Image Aesthetics GANs,IM-GAN)。方法采用Mish函数作为生成模型激活函数,并使用美学质量评价优化生成模型损失函数,实现线稿图像的自动彩色化任务。结果使用图像美学质量评分作为客观评价指标,观察者打分作为主观评价指标,对算法进行评价。IM-GAN生成的彩色图像具有更高美学质量评分和主观打分。结论文中方法能够完成线稿图像自动彩色化任务,在包装设计动漫形象应用方面具有一定的参考和使用价值。

基于对抗和梯度的无参考图像质量评价算法

由于现有的生成对抗网络(GAN)很难完全获取细节上的失真,生成高质量图像仍旧比较困难。为了提高基于GAN的无参考图像质量评价(NR⁃IQA)方法的性能,提出一种基于对抗和梯度的NR⁃IQA方法。通过改进网络模型结构和引入基于梯度和色度相似性的平均偏差相似指数(MDSI)来提升模型的整体性能,整个模型由GAN和质量预测网络组成。首先,为了增强对抗训练,设计了双判别器的GAN,将失真图像和参考图像分别输入到网络中,利用WED数据集对GAN进行训练;其次,利用GAN生成相应失真图像的虚拟图像,并分析两者之间的差异,得到失真差异图和MDSI图;最后,为了从多个方面测量图像的感知质量,设计了多流质量预测网络,将失真图像、虚拟图像、失真差异图、MDSI图分别输入到网络中,输出图像质量预测分数。在LIVE、CISQ、TID2013数据集上进行训练和测试,所提算法在三个数据集上都表现出较好的性能,尤其在TID2013上。实验结果表明,该算法与人的主观评价具有较高的一致性。

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异。通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型。利用生成对抗网络产生与失真图像相对应的视觉感知差异图像,并将其与失真图像输入质量评价网络以进一步学习图像的失真信息,从而达到评估图像质量的目的。在TID2008和TID2013数据库上的实验结果表明,与CNN、SOM、CORNIA等模型相比,该模型能够使失真图像质量预测准确度提升1个百分点以上,且对不同种类失真也表现出良好的预测性能。

基于深度学习的图像质量评价方法综述

图像质量评价是对图像或视频的视觉质量的一种度量,主要分析了最近10年图像质量评价算法的研究情况。介绍了图像质量评价算法的衡量指标以及常用的图像质量评价数据集,对图像质量评价方法的分类做了阐述,重点分析了基于深度学习技术的图像质量评价算法。目前,该类算法的基础模型主要包括深度卷积神经网络、深度生成对抗网络和变换器,其性能通常高于传统的图像质量评价算法。描述了基于深度学习技术的图像质量评价算法的原理,重点介绍了基于深度生成对抗网络的无参考图像质量评价算法,通过增强对抗学习强度提高模拟参考图的可靠性。深度学习技术需要海量训练数据的支持,探讨和总结数据集增强的方法,对数字图像质量评价方法的未来研究进行展望。

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价(NR-IQA)方法的性能,参考先进的深度生成对抗网络(GAN)研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟“参考图”,进而可以像全参考图像质量评价(FR-IQA)方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。

机器生成语言的质量评价方法综述

生成语言的质量评价很大程度上影响着自然语言生成的研究,已成为制约该领域发展的瓶颈问题。通过对机器翻译、自动文摘、对话系统、图像标题生成和机器写作等广义自然语言生成任务的语言质量评价方法的汇总,介绍了人工评价和自动评价的特点、优缺点和开放评价资源,分析了不同任务的不同评价角度和适用面。不同评价方法的对比分析,可为方法融合和关键问题的探索提供借鉴。整体上机器生成语言质量评价还局限于语言形式的比较,在语义表达的准确性、衔接连贯性等深层评价上存在诸多挑战。结合评价难点问题和现有研究的推进情况,分析了生成语言质量评价的研究趋势。

复杂退化模型下图像超分辨率算法综述

图像的超分辨率(super-resolution,SR)一直以来是计算机视觉(computer vision,CV)领域的一项热门的研究方向,它旨在从单张或多张低分辨率图像中通过一系列的图像处理和深度学习技术,重建带有丰富边缘纹理等细节特征的高分辨率图像。自从深度卷积神经网络应用于图像超分辨率算法后,其性能相较于传统的基于重构和基于样例的SR算法有了非常大的提升。然而,目前的SR算法在实际场景应用、算法性能、模型质量评估标准等方面仍然需要改良和优化。因此,为推进图像超分辨率技术的发展,总结并分析了基于深度学习的SR算法。首先,将目前主流的SR算法分为基于卷积神经网络、基于生成对抗网络、基于Transformer这三类;其次,详细评述了每一类算法的网络结构、算法优缺点、算法特色及适用场景等;然后,对常见的超分辨率数据集及各种评价指标进行阐述,重点比较了不同SR算法在各类数据集上的性能;最后,总结了图像超分辨率目前研究所面临的问题并探讨了图像超分辨率的未来研究方向。

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价(NR-IQA)算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数(SROCC)比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价(FR-IQA)和NR-IQA算法,与人类主观感知表现一致。

一种红外动态场景图像评价装置的性能测试

随着红外动态场景生成技术的发展,对生成器所产生的红外场景的质量要求越来越高,这就需要对产生的红外场景的质量进行全面的评价。红外图像评价测试理论和测试方法的研究能够对红外场景生成器的性能进行系统的评价,并对生成器的改进和发展提出具体要求,具有学术意义和实用价值。介绍了一种红外动态场景质量的评价装置,并对该装置的性能进行了测试,测试指标包括温度范围、最小像元尺寸、视场及最大几何分辨率、响应速度、温度分辨率、辐射功率范围等。此红外动态场景质量的评价装置能够定量测试红外场景生成器的性能。

水下图像增强方法研究综述

水下图像增强是水下有人/无人设备完成深海探测任务的重要支撑技术。该技术综合应用信号处理、图像处理以及机器学习的相关理论知识以实现对水下图像的灵活增强。在简述了水下图像增强的研究背景、意义及热点问题的基础上,按照不基于成像模型、基于成像模型与基于学习3个方向对水下图像增强技术的发展进行了详细的论述,重点分析了不同方法的原理和技术特点。最后,根据水下图像增强技术的难点与目前面临的主要问题对研究方向和发展趋势进行了归纳和展望。

基于Dropout-PGGAN的铁路货检图像数据增强方法研究

铁路货检图像智能识别需要大量的负类样本用于模型训练,但符合要求的负类样本稀少且收集困难。为解决铁路货检图像负类样本不足的问题,提出一种基于Dropout改进的渐进增长式生成对抗网络(PGGAN)数据增强方法,使用Dropout-PGGAN生成所需的图像,选择可学习感知图像块相似度(LPIPS)和FID进行生成图像质量评价,运用基于YOLOv5的图像识别模型验证本方法的有效性。以铁路棚车车门开启图像为例对方法进行检验,结果表明该方法能提升铁路货检图像生成质量,LPIPS值较未改进的PGGAN最多可降低10.8%,FID值较未改进的PGGAN最多可降低23.6%,且使用基于元素维度的Dropout改进PGGAN后,生成图像的质量比使用基于通道维度的Dropout改进PGGAN时更高。同时,本方法能使车门开启问题识别率最多提升6.1%,表明生成的图像可用于扩充原有稀疏样本。

光绘:自由开源的数字散斑图像生成和评价软件

生成数字散斑图像以及对应的变形图像是数字图像相关研究的基础,然而至今仍然缺乏功能齐全、操作简单、界面友好的专业散斑生成和分析软件;研究者需要自行实现相关算法,不仅费时耗力,也增加了出错的可能性。本文发布了一款自由开源的数字散斑图像生成和评价软件:《光绘》。该软件具有散斑图生成、变形图生成、散斑质量评价和散斑图案推荐等功能:可以生成椭圆、多边形和高斯散斑;可以渲染平移、拉伸/压缩、旋转、正弦、高斯和剪切带等变形模式的变形图;可以计算散斑占空比、散斑尺寸、系统误差和随机误差等关键散斑质量评价参数;可以根据工况生成矢量格式的推荐散斑图案。本文提出向后映射初值快速估计算法和散斑图预渲染技术实现了变形图的实时渲染显示,并使用积分图像技术大幅提升了灰度梯度平方和的计算效率。该软件不仅可用于数字图像相关的学术研究和工程应用,也可服务于实验力学的教学工作,具有广阔的应用前景。

基于伪参考图像深层特征相似性的盲图像质量评价

提出一种基于伪参考图像深层特征相似性的盲图像质量评价方法,首先利用基于Wasserstein距离的条件生成对抗网络,由数据驱动训练得到复原模型,通过对失真图像的复原,生成伪参考图像,用以弥补真实参考图像的缺失,接着利用上述复原模型进行质量预测评价,通过对测试失真图像进行重叠分块.采样,使其通过复原模型后生成为参考图像块。并使用预训练卷积神经网络——VGG-19,分别对失真图像块和伪参考图像块提取五层最大池化层深层网络特征,每一图像块其每一特征经标准化后成为单通道灰度特征图,利用SCNN-SIM公式计算二者对应每一层特征图的相似性得分,根据计算所得五级得分,采取相应池化策略,预测得到块评价分数,最后选择平均池化策略得到最终图像得分。本文基于图像常见三种失真:高斯模糊、高斯噪声JPEG压缩进行评价对比,复原模型训练集采用Waterloo自然场景图像库,选择TID2013、CSIQ数据库进行预测评价测试,其Pearson线性相关系数和Spearman等级系数指标与最新方法指标相当,评价结果准确,与人类主观感受一致。

一种基于知觉模拟的全参考图像质量评价方法

为提高客观图像质量评价与主观图像质量评价的一致性,提出一种模拟人类感知图像质量过程中,由生理因素主导的前期过程和由心理因素主导的后期过程的IQA方法.人类感知图像信息的过程依赖于人脑的内部生成机制,它主动预测图像中易被感知的简单结构且忽略难以被感知的复杂结构.此方法利用贝叶斯预测模型将输入图像分为易感知区域和难感知区域,对具有各异感知特征的两区域通过不同特征进行分别评估.最后采用关于视觉显着性和亮度掩蔽的整体综合策略,对两组评估结果统一进行计算.基于整体感知的综合策略和基于局部感知的保真度测量在此方法中互为补充.TID2008等4个通用评测数据库的实验结果,指出了该方法具有良好的预测精度和稳定性.