基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估

与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性.

基于支持向量回归的无参考屏幕内容图像质量评估

提出一种新的基于支持向量回归的无参考屏幕内容图像质量评估算法.首先,利用高斯差分函数计算边缘图,通过边缘图提取边缘特征;其次,通过局部归一化获得亮度图,根据亮度图统计亮度特征;最后,利用支持向量回归算法将质量感知特征映射为主观分数.在两个数据集上的实验结果表明,所提算法的性能优于大部分现有算法.

基于边缘和结构的无参考屏幕内容图像质量评估

屏幕内容图像(SCI)是一种与传统自然图像不同的图像,具有更多的文本、图形以及特殊的布局。考虑文本、图形、图像和布局对屏幕内容图像质量的影响,提出了针对屏幕内容图像的基于边缘和结构的无参考质量评估(BES)算法。文本、图形和图像具有大量边缘,并且人类视觉系统对边缘高度敏感,因此BES算法首先使用Gabor滤波器的虚部提取边缘并计算每张屏幕内容图像的边缘特征。其次,提取一个结构特征来表示屏幕内容图像的布局。具体而言,利用Scharr滤波器计算得到一个局部二值模式(LBP)图,接着利用LBP图计算得到结构特征。最后,应用随机森林回归算法将边缘和结构特征映射为主观分数。实验结果表明,在数据库SIQAD和SCID上,所提出BES算法性能的皮尔森线性相关系数(PLCC)相对于对比算法中最先进的无参考算法,分别提高了2.63%和11.22%,甚至高于一些全参考算法。

基于多尺度特征的无参考屏幕内容图像质量评估

屏幕内容图像是一种组合图像,由计算机将图形、文字和图像组合起来而形成.由于人类视觉系统是从粗略到精细进行图像信息的提取,本文提出一种基于多尺度特征的无参考屏幕内容图像质量评估算法.屏幕内容图像中包含大量的图形和文本内容,以及色彩和布局结构信息,因此我们提取失真图像的边缘特征、结构特征和亮度特征.然后将多个图像尺度上提取的特征进行拼接,作为最终的失真图像质量感知特征.最后使用随机森林回归方法训练得到无参考屏幕内容图像质量评估模型.实验结果表明,本文引入的多特征和多尺度机制是有效的,相比较目前先进的无参考方法,本文模型可以取得与主观感知更高的一致性,甚至在整体性能上超过了多数全参考方法.

基于神经网络的屏幕内容图像质量评估

随着计算机移动网络技术快速发展,实现屏幕内容图像的分发和处理达到信息共享尤为重要。本文提出了一种基于深度学习卷积神经网络(Convolution neural network,CNN)的屏幕内容图像质量评估方法。人类视觉系统针对文字区域和图像区域具有不同的关注点,所以不能从单一的特征去判断图片的质量,通过设计更深层次的卷积神经网络从而达到多特征提取的目的。本模型使用全卷积网络(Full convolution network,FCN)将屏幕内容图像分割成文字区域和图片区域,利用深层次CNN分别对文本区域和图片区域进行质量评估,通过融合策略将分数整合在一起得到图像的整体质量得分。本模型允许局部质量和局部权重的联合学习,以数据为主导进行驱动,并且不依赖手工特征和图像统计的知识。在两个公开数据集上的实验结果表明,所提出的方法性能相比于目前的方法在主观感知上取得了更高的一致性。

基于多尺度卷积神经网络屏幕内容图像无参考质量评价方法

针对屏幕内容图像无参考质量评价问题,提出了一种基于深度学习的多尺度评价方法。利用多尺度神经网络提取屏幕内容图像在不同尺度下的表达特征,模拟人眼视觉系统对不同尺度图像的感受特性;将多尺度图像特征进行融合,得到图像质量的综合特征,并编码成特征向量;最后,使用特征向量拟合人眼主观打分。实验结果表明,与当前主流的质量评价方法相比,本方法与人眼主观打分评价结果更加一致,具有更高的皮尔逊相关系数和斯皮尔曼相关系数,能够更加准确地评估屏幕内容图像的视觉质量。

无参考屏幕内容图像质量评价

随着多客户端交互多媒体应用的快速发展,屏幕内容图像(screen content image,简称SCI)的分发和处理与日俱增.图像质量评价课题的研究是其他许多应用的基础,至今图像质量评价课题研究的重点是传统自然图像,因此,针对屏幕图像质量评价的研究就变得非常迫切和必要.客观图像质量评价算法提出的基础建立在标准图像质量评价数据库上.首先构建了一个大规模的屏幕内容图像质量评价数据库(immersive media laboratory screen content image quality database,简称IML-SCIQD).IML-SCIQD数据库包含参考图像25幅以及经过10种失真处理的1 250幅失真图像.以建立的IML-SCIQD数据库为基础,考虑到屏幕内容图像的图像区域与文本区域的视觉感知差异,在基于自然场景统计的无参考方法的启发下,提出了针对屏幕内容图像的无参考评价算法(natural scene statistics based no reference screen content image quality assessment metric,简称NSNRS).NSNRS算法首先分别计算图像区域和文本区域的质量分数,再将这两个区域的质量分数结合起来得到整幅失真图像的质量分数.该算法与其他12种经典的客观评价算法,包括全参考算法、部分参考算法与无参考算法,在IML-SCIQD数据库和SIQAD数据库上进行了性能测试和对比,结果表明,所提出的算法优于经典的无参考评价算法;就整个数据库而言,所提出的算法可以达到与全参考方法相当的性能.

基于OLS-RBF网络的JPEG2000图像无参考质量评估方法

提出了一种适用于JPEG2000图像的无参考质量评估方法。首先结合人类视觉系统的特性,在重建图像结构纹理区域内检测边缘轮廓,并根据各个边缘点的梯度方向提取沿垂直于该梯度方向的像素集作为边缘特征;然后采用基于正交最小二乘法设计的径向基函数网络(OLS-RBF),通过边缘特征和图像主观质量的拟合,训练得到无参考客观质量评估模型,完成对JPEG2000图像的客观质量估计。与已有的一些方法的对比实验结果表明,本文方法对JPEG2000图像的客观质量评估与主观质量评估具有更好的一致性。

无参考船舶立体图像的质量感知特征提取

船舶立体图像的特征提取能够获取船舶的几何特征、视觉特征、纹理特征等,对于船舶识别、目标搜索等有重要的意义。获取过程受图像、视频设备、数据传输链路等影响,立体图像可能存在局部缺失等问题。本文首先介绍3种立体图像的质量评估方法,并针对无参考质量评价方法进行研究,详细介绍基于颜色、自然度的无参考质量感知特征提取和基于局部分析的无参考船舶立体图像质量特征提取,对于改善船舶立体图像的识别效果有显著的作用。

考虑结构一致性和内容完整性的重定向图像质量评价

针对适应不同宽高比显示设备全屏显示的重定向图像的视觉质量问题,提出一种基于像素级结构一致性和内容完整性的重定向图像质量评价模型.该模型首先使用后向配准,建立重定向图像和参考图像之间的像素级对应关系;其次考虑到注意力转移的问题,采用像素级宽高比相似性偏差指数计算重定向图像在显著区域和全局的结构一致性,并利用图像组成变化获取图像内容完整性;最后通过内容完整性和结构一致性的线性组合实现重定向图像质量评价.实验结果表明,提出的模型不仅对重定向图像质量评价的效果好,而且可以在内容完整性和结构一致性的二维评估图中观察不同重定向算法的行为,适用于重定向算法比较、选择和优化.

移动端人脸图像无参考质量快速评估方法

人工智能系统能够准确进行人脸识别的重要前提是,采集到的人脸图像数据足够清晰.正确的对人脸图像质量进行评估,能够为后期的人脸识别提供指导性的意见.本文针对移动端进行人脸识别时,由于人脸采集过程中常常会出现人脸图像模糊、姿态不正、昏暗等情况,从而导致人脸识别错误的问题,提出了一种基于深度学习的移动端人脸图像无参考质量评估方法.由于目前没有公开的用于评估人脸图像质量的数据集,本文采用自建数据集的形式进行实验.首先对数据集中的人脸图像进行局部归一化预处理,然后利用该数据集通过迁移学习的方式对轻量级网络MobileNet重新训练,并将训练得到的最终模型移植到手机上.为了证明本文提出算法的优异性,对算法准确率、运行时间和CPU占用率进行测量并和现有的优异算法DIIVINE和BRISQUE进行比较,实验结果证明本文提出的方法能够快速准确的对人脸图像进行评估同时CPU占用率较低,本文提出的方法有重要的应用价值.

基于稀疏表示特征差异性的屏幕图像质量评估

目前的屏幕图像质量评估方法大都是以单一级别的方式来评估图像的质量,这并不符合人类视觉系统的多层次特性。为此,提出了一种基于稀疏表示下梯度图像差异性的屏幕图像质量评估方法。将RGB图转为灰度图从而计算出梯度图后,学习参考图像字典,提取参考图像和失真图像的字典使用比重差异、长短差异、重叠率等特征,最后通过权重融合得到最终的屏幕图像质量评估结果。屏幕图像数据库(SIQAD)实验结果表明,该方法与人类主观分数有较高的一致性,在各类型失真图像的质量评估上也有优秀的表现。

基于主观感觉理论的LED图像显示质量的简易测定评估方法

研究了LED视频显示大屏幕的测定和评估方法。实验表明 ,对LED视频图像显示质量的评估应从主客观两方面进行 ,才能对屏幕的主要技术参数做出有效的测定评估。本文从生理物理学的角度提出了一种简易的屏幕亮度及全屏显示质量测定及评估理论。经过实验检验 。

基于高通差异性特征的图像质量评估方法

现有的图像质量评估只能判断单一失真方式下失真图像的质量优劣。为了改进这一缺点,根据自然场景统计信息的图像特征,提出基于高通滤波下RGB差异性的图像质量评估方法,通过局部归一化亮度,提取RGB通道差异性、图像梯度、图像锐度、及图像对比度等特征,利用逻辑回归训练,最终得到无参考图像质量评估模型。实验结果表明,方法对各类型失真图像质量评估准确率较高,特别对多种失真类型混合的测试集时,具有明显优势。

基于尺度不变性的无参考图像质量评价

现有的通用型无参考图像质量评价方法大多是利用失真图像及其主观值来训练回归模型预测图像质量指标,然而这种方法需要消耗大量的时间进行训练,并且评价效果依赖于训练图像库中的失真类型,通用性较差,很难应用到实际场合中。为了解决数据库依赖问题,提出一种归一化的基于图像尺度不变性的无参考图像质量评价方法。该方法不依赖外部数据,将图像的统计特性及边缘结构特性作为图像质量评价的有效特征,利用图像多尺度不变性计算多尺度间的整体特征差异,从而预测图像质量。实验结果表明,所提方法对混合失真图像质量评价效果好,运行效率高,与目前现有的无参考图像质量评估方法相比具有较好的综合性能,具有较好的应用价值。

数字图像的质量评估

围绕数字图像的质量评估,进行了简要综述。分析了主观评估和客观评估各自的优缺点,回顾了传统的全参考图像质量评估方法;介绍了已广泛用于客观质量评估的人类视觉特性与感兴趣区域;列举并评述了2类代表性的全参考质量评估模型SSIM和FSIM;总结了无参考质量评估的一些特点和动向;最后对该领域未来的研究方向进行了展望。

CT图像的质量评估策略:基于预恢复图像先验信息

目的为有效提取更多无参考CT图像质量特征,本文提出一种基于预恢复图像先验信息的医用CT图像质量评估策略(PR-IQA),利用多信息融合输入提高IQA模型性能。方法基于卷积神经网络(CNN)的无参考医用CT图像质量评估策略。该方法利用图像恢复算法中的图像质量特征先验信息,将其以预恢复图像和恢复前后残差图像的形式,与原始失真图像信息融合输入到两个CNN中,通过多信息融合以提升CNN的特征提取能力和预测性能。实验使用基于Mayo诊所公开螺旋CT数据所建立的医用CT图像质量评估数据集。通过计算定量指标以及统计学检验对PR-IQA性能进行评估,分析了不同超参数设置对PR-IQA性能的影响。并将PR-IQA与基于单个CNN模型直接对原始失真图像进行NR-IQA的方法(BASELINE)以及8种经典的IQA算法进行对比实验。结果对比实验结果表明,基于3种不同图像恢复算法先验信息(双边滤波、非局部均值滤波、三维块匹配协同滤波)的PR-IQA模型性能优于所有对比IQA算法。并且相比BASELINE方法性能均有提升,其中PLCC平均提升12.56%,SROCC平均提升19.95%,RMSE平均降低22.77%。结论本文提出的PR-IQA方法能够充分利用图像恢复算法的先验信息,有效地预测医用CT图像质量。

基于AdaBoost BP神经网络的无参考图像质量评价的研究

提出了一种利用相关梯度特征和AdaBoost反向传播神经网络的无参考图像质量评价方法。首先利用高斯滤波器得到水平和竖直的方向导数,然后提取相关的梯度特征,其次计算其直方图方差特征,然后训练BP神经网络得到弱分类器并利用AdaBoost算法获得最终的强分类器,最后利用得到的强分类器预测图像质量分数。实验结果表明,方法评价的结果合理、鲁棒性强、实行性好,符合人类视觉特性,并且与主观评分有较好的一致性,取得了很好的评价效果。

基于LBP的屏幕内容图像评价CNN模型

针对传统图像质量评价模型在屏幕内容图像上存在的无法取得满意结果的问题,本文提出一种基于深度学习模型的屏幕内容图像评价模型。首先将屏幕内容图像进行归一化处理,用局部二值化(local binary pattern,LBP)算法旋转不变均匀模式求得特征图,并运用卷积神经网络对局部二值化特征图进行质量评价。为验证所提出的屏幕内容图像质量评价模型的准确性,采用斯皮尔曼秩相关系数和皮尔斯线性相关系数两种流行的评估标准进行验证。验证结果表明,本文模型与传统的质量评价模型相比具有明显的优势,表明本模型比大多数现有的图像质量评估(image quality assessment,IQA)模型更符合主观评估结果,相比于其他评价模型更具有竞争性。该研究为提升评估结果的精准度提供了理论依据。

基于码流的G-PCC压缩点云无参考感知质量评估

为了实现对采用G-PCC编码的点云质量的实时监控,提出一种基于码流的无参考点云感知质量评估模型。首先根据主观实验的结果分析确定几何无损时点云的感知质量与纹理量化参数之间的关系,然后使用纹理量化参数和纹理比特率来预测纹理复杂度,结合空域掩盖效应建立几何无损时的点云质量评估模型。然后研究位置量化尺度对点云下采样质量的影响,发现纹理量化参数与位置量化尺度对点云质量的影响相互独立,并最终得到完整的点云质量评估模型。对该模型在WPC4点云数据库中进行测试,其SRCC为0.9447,PLCC为0.9465,RMSE为6.8252,表明该模型有良好的性能,与现有性能最好的GraphSIM客观指标相比,该模型指标的PLCC和SRCC分布分别提高了0.0223和0.0238,RMSE降低了1.1898。