基于深度学习的视频质量评价方法研究综述

互联网时代充斥着海量的质量参差不齐的视频,低质量的视频极大地削弱人的视觉感官体验同时对储存设备造成极大压力,进行视频质量评价(VQA)势在必行。深度学习理论的发展为视频质量评价提供了新的思路,首先简单介绍视频质量评价理论知识和传统的评价方法,其次对基于深度学习的评价模型进行神经网络分类——2D-CNN和3D-CNN,并分析模型的优缺点,再次在公开数据集上分析经典模型的性能表现,最后对该领域存在的缺点和不足进行总结,并展望未来的发展趋势。研究表明:公开的数据集仍不充足;无参考的评价方法最具发展潜力,但其在公开数据集上的性能表现一般,仍有很大的提升空间。

结合时空特征和视觉感知的全参考视频质量评价

视频失真主要来源于空间和时间失真导致的视频质量退化。针对这两种视频质量退化,提出了一种结合时空特征和视觉感知的全参考视频质量评价方法STPFVQA。首先,使用ResNet50卷积网络从参考视频和失真视频中提取空间感知特征;其次将提取的空间感知特征送入transformer编解码器中,用来构建视频的序列化关系,同时对比参考视频和失真视频,探索失真对视频序列关系造成的影响;然后将transformer的输出送入预测头,形成帧级分数;最后为了模拟人类视觉系统感知的滞后性,从短期、长期和全局记忆效应来综合考虑获得最终的视频质量分数。为了验证方法的可行性,在LIVE、IVC-IC、CSIQ和IVPL四个公开数据集上进行了实验。实验结果表明提出模型更符合人类视觉系统感知情况。在IVC-IC和CSIQ数据集上相比最先进的序列依赖模型(serial dependence modeling,SDM),SROCC评价指标分别高出2.6%和3.1%,KROCC评价指标高出6.1%和7.9%,PLCC评价指标高出2.3%和5.5%。

视频质量评价研究综述

移动互联网时代每天都产生海量的质量参差不齐的视频数据,根据视频质量高效地过滤低质量视频对缓解设备存储压力起着至关重要的作用.此外,在视频的生成、处理、传输等过程中都不可避免地引入信号噪声,如何准确地预测视频质量,从而指导与监督视频处理与传输系统的优化具有重要的研究意义和实际价值.因此,视频质量评价受到越来越多的关注.视频质量评价旨在定量描述视频的视觉质量,包括主观质量评价和客观质量评价.主观质量评价通过开展视觉感知主观实验,研究各项因素对视觉质量的影响,并收集主观质量分数用于构建基准数据集;客观质量评价通过设计客观算法,自动预测视频的质量.本文首先介绍视频质量评价的基础知识,阐述视频质量评价的相关应用和问题;其次,重点介绍视频质量评价近二十年的发展现状,对比不同主观数据集的特点;然后,深入解析客观模型的建模思想,分层次对比不同的模型,详细分析各模型的优缺点;最后,指出未来发展方向并总结全文.

多尺度时空特征聚合的全参考视频质量评价

视频质量得分是观测者在多个时间尺度下对视频进行感知的结果,而当前质量评价模型普遍在某个固定尺度下对失真进行描述,单一粒度的特征对全局信息表征并不充足。为充分提取并聚合多粒度信息来刻画人类复杂的感知机制,提出一种基于多尺度时空特征聚合的全参考视频质量评价方法。为解决传统质量评价算法中固定间隔采样丢失关键帧的痛点,通过结合图像结构失真度与感知运动能量对序列自适应采样;为提取不同粒度特征对失真进行表征,并探究聚合多粒度特征的有效方式,利用堆叠的长短时记忆层对序列进行特征提取,模拟视觉神经的正反向感知迭代机制,对网络层特征融合;结合多通道自注意力网络回归预测得分。模型在多个数据集中的SRCC指标均达到0.93以上,取得最优或次优的性能。

基于多任务学习的视频质量评价

视频质量评价(Video Quality Assessment,VQA)是计算机视觉中的一个重要问题,国内外众多学者都对此开展了广泛的研究。然而,这些研究的工作重点主要集中在视频整体质量与主观意见分之间的联系,忽略了有助于优化度量指标的其他信息。文章提出了一种基于多任务学习的视频质量评价算法,将待预测视频的整体质量与其实际平均主观意见分MOS之间的相关性计算作为主任务;将待预测视频的光流、梯度与其MOS之间的相关性计算作为辅助任务。在视频数据库LIVE-VQC以及KoNViD-1k中的实验表明,通过增加辅助任务,可以显著提高主任务的效果;对比几种较有代表性的算法,文章所提出的算法有较好的评价表现和泛化性能。

视频质量评价方法综述

论述了视频质量的主观和客观评价方法,重点阐述了视频质量的客观评价方法.对目前常用的视频质量客观评价指标峰值信噪比和均方误差进行了分析,并指出其存在的问题;将客观评价方法归结为基于人眼视觉系统生理特征和基于结构失真的两大类,并结合仿真实验予以评述;最后对视频质量评价技术的发展进行了预测和展望.

基于SSIM与ROI的视频质量评价方法

在客观结构相似视频质量评价模型SSIM基础上,提出了一种基于感兴趣区域(ROI)的视频质量评价方法,方法通过对帧内感兴趣区的提取,对帧内分块计算的SSIM值进行加权。该方法具备了SSIM算法的简单、高效等特性,同时又融合了人类感兴趣区域这一视觉特性,使得算法更好的反映了人的主观感受。在VQEG PhaseI测试数据集的实验结果表明,该方法的非线性回归后相关系数、斯皮尔曼相关系数、线外率等指标均优于传统的其他视频质量评价算法,有效地提高了视频客观评价与主观评价的相关度。

视频会议系统音视频质量评价体系研究

音视频质量评价是视频会议系统建设的重点和难点,也是用户体验的关键点。分析了视频会议关键技术,系统梳理了影响音视频质量的各个环节,在此基础上提出了新的质量评价综合体系,将评价过程划分为网络编码码流、重建音视频流和会场音视频现场质量评价三个层次,供各级视频会议系统建设参考。

几种典型的感知视频质量评价模型

首先描述了人眼视觉系统(HVS)的基本特性,然后介绍和分析了几种比较典型的基于这些特性的感知视频质量评价模型:其中的三个模型已经由视频质量专家组(VQEG)进行了测试,结果表明它们的测度和主观评价结果具有很好的相关性。最后讨论了客观视频质量评价的标准化工作。

基于梯度和运动估计的视频质量评价

数字视频质量评价在视频压缩、处理以及视频通信领域中有着十分重要的作用.本文在现有视频质量评价方法以及对人类视觉特性研究的基础上,提出了一种基于梯度和运动估计的视频质量评估方法.该方法充分考虑了视频图像的边缘特性、各帧之间的时间相关性以及画面中场景的变化对视频质量的影响等因素.实验结果表明,该方法对基于H.264编码的失真视频有更好的评价效果,与人类视觉的主观评价结果一致.

基于运动估计的视频质量评价

目前大多数视频质量评价算法是将所有帧的图像质量平均值作为整个视频的质量,但视频中的物体具有视觉运动特性,而简单地取所有帧的质量平均值无法准确反映出这种特性。针对该情况,在基于结构相似性的图像质量评价的基础上提出了一种基于运动估计的帧加权方式,通过运动向量对当前帧的运动情况进行估计,并赋予相应的权值,从而将图像质量评价扩展为视频质量评价。实验证明:本算法与目前流行的几个视频质量评价算法相比具有较高的评价准确性。

基于运动信息和结构信息的视频质量评价方法

图像和视频客观质量评价方法在各个领域有着广泛的应用,根据上述问题,主要针对图像边缘结构失真和噪音影响图像质量。以往的测量方法不能很好地应用于视频领域。提出一种基于运动信息和结构信息的视频质量评价方法,主要考虑场景结构和运动信息,然后依据HVS特性对不同程度的信息进行加权处理,从而综合采用一种视频质量评价方法。经实验结果证明,新方法在压缩、模糊方面明显好于PSNR,MSSIM和ESSIM评价方法。

基于视觉感兴趣区的视频质量评价方法

针对基于边缘结构失真的图像质量测量方法不能很好地应用在视频领域和对HVS考虑不充分的缺陷,提出一种基于视觉感兴趣区的视频质量评价方法,包括考虑HVS特性、场景结构信息和运动信息。实验结果证明,该方法在压缩、模糊方面明显好于PSNR,MSSIM和ESSIM的评价方法。

采用内容划分方法的视频质量评价

目前基于结构相似性的图像质量评价算法均是对图像进行整体质量分析,但图像中不同的区域存在着不同的结构特性和视觉感知特性,而对图像进行整体质量分析无法有效反应出这些差异。鉴于此,提出了一种基于内容划分的结构相似性图像质量评价算法,根据图像不同区域的变化率将图像分为4个部分,分别进行质量评价。采用运动估计的帧加权的方式将该方法扩展到视频质量评价中。实验证明了该算法与目前比较流行的几个算法相比具有较高的评价准确性。

基于运动剧烈程度的无参考视频质量评价模型

网络视频质量评估具有无参考性、实时性、网络传输状态依赖性和主观视觉性等需求.本文以网络丢包引发的视频失真为研究重点,针对不同解码类型帧上的网络丢包引发的视频失真持续效应不同和网络丢包引发的人眼视觉感受与丢包所在帧视频内容的运动剧烈程度有着显著的关联等现象,提出了一种基于运动剧烈程度的无参考视频质量评价模型.该模型无需原始参考视频序列亦无需视频解码,对客户端接收到的码流分析其由丢包引起的视频损伤,标记受损宏块,建立受损宏块的失真持续效应和运动剧烈程度与视频质量间的关联,并完成视频质量评估.实验结果表明,该方法计算量小,实时性高,与主观评价结果一致性程度较高.

对视觉敏感区域进行加权的视频质量评价方法

最近Guan-Hao Chen在Zhou Wang提出的MSSIM方法基础上,提出了一种基于边缘结构失真的测量方法(ESSIM),但是这种方法不能够很好的直接应用到视频领域。就人类视觉系统(HVS)做了一定的研究,提出了一种考虑人眼视觉特性,考虑结构信息和对运动场景分类的视频质量评价方法(HCSSIM)。实验结果表明,在压缩损失、模糊和部分椒盐噪声损失上,其评价结果要好于现有的几类通用的评价方法。

一种结合感知与融合的视频质量评价新方法

提出了一种结合人眼视觉特性(HVS)和信息融合的视频质量评价新方法。该方法是在结构相似(SSIM)方法基础之上,融合了人眼几个主要视觉特性,如对比敏感度、多通道、视觉掩盖、视觉非线性等。新方法具有SSIM算法简单、高效等特性,同时又满足人眼视觉特性,更好地反映了人的主观感受。通过VQEGPhaseI测试数据集的实验结果证明,该方法在非线性回归后相关系数、斯皮尔曼相关系数、线外率等指标均优于传统的其他视频质量评价算法,有效地提高了视频质量评价的主客观一致性。

基于小波的视频质量评价模型

为提高客观视频质量评价算法与主观评价间的相关性,提出一种基于小波的视频质量评价模型。根据人眼对图像高低频失真的敏感度不同,利用小波变换的近似系数和细节系数,采用不同方法计算各帧图像的高频和低频失真量,将2种失真量相乘得到帧度量,所有帧结果的平均值作为客观视频质量评价值。实验结果表明,该模型结果与主观评价结果具有较好的相关性。

基于内容划分和运动补偿的视频质量评价

目前基于结构相似性的图像质量评价算法均是对图像进行整体质量分析,但人类视觉系统对图像中不同部分的敏感程度不同,而对图像进行整体质量分析无法有效反映出这些差异。鉴于此,提出了一种基于内容划分的图像质量评价算法,根据图像不同区域的梯度将图像分为四个部分,分别进行质量评价。之后,采用基于运动补偿的帧加权方式将上述方法扩展为视频质量评价。实验证明,所述算法与目前比较流行的几个算法相比具有较高的评价准确性。

基于失真度估计的无参考视频质量评价

为了提高视频质量评价的精确度和通用性,提出了一种基于失真度估计的无参考视频质量评价方法。首先,利用邻近像素点之间灰度差值的数理统计特性计算局部失真度,通过对视频进行高斯滤波后的细节损失进行计算得到全局失真度,再结合这两者估计视频整体的失真度;然后,通过帧内预测和帧间预测计算视频复杂度;最后,利用视频失真度和复杂度得到视频客观质量。实验结果表明,用本文方法可以获得很好的精确度,该方法具有广泛的通用性。