新一代通用视频编码标准H.266/VVC:现状与发展

相比于上一代标准,新一代通用视频编码标准(H.266/VVC)在同等质量下能够节省大约50%的码率,且适用于多种多样的视频应用场景。论文从H.266/VVC的关键技术出发,对标准的现状、实现和应用发展进行深入探讨。H.266/VVC沿用既往标准中的双层码流体系和混合编码框架,针对帧内预测、帧间预测、变换、量化、环路滤波等所有主要编码模块进行了技术革新,并为屏幕内容视频等应用提供了高效的专用编码工具。H.266/VVC标准目前已处于实用化阶段,官方参考软件VTM和开源编解码器VVenC/VVdeC是目前最具代表性的软件编解码实现。对H.266/VVC的性能分析可以看出:H.266/VVC针对高分辨率视频取得的编码增益更为突出;主要编码工具对性能的贡献通常以复杂度为代价,但也有部分编码工具在提升编码性能的同时可降低整体编码复杂度。H.266/VVC的硬件实现面临诸多挑战,发展明显滞后于软件实现,现有研究主要集中在对具体编码模块的硬件加速方面。H.266/VVC标准发布之后,下一代视频编码标准的发展目前仍围绕混合编码框架进行探索,聚焦在两大方向:超越VVC的增强压缩关注更为先进的、非神经网络的编码工具,基于神经网络的视频编码则探索采用神经网络的编码工具。除此之外,部分或完全跳出现有混合编码框架的端到端视频编码也在飞速发展,未来视频编码标准与神经网络结合成为趋势,但面临着计算资源依赖和稳定结构两方面的考验。

基于CU特征差异的VVC帧内快速划分算法

针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进行分类,筛选出不划分CU;然后利用子块不同划分方向的特性差异提前决策CU划分方向;最后利用CU中间区域与边缘区域的复杂度差异特征判断是否跳过三叉树(ternary tree,TT)划分,进一步减少候选列表划分模式数量。实验结果表明,与官方测试平台VTM10.0相比,编码器在平均输出比特率增加1.12%的代价下,编码时间减少了40.25%,说明该算法在通用视频编码中能以较小的质量损失实现更短的编码时间。

应用于VVC无损帧内编码的残差二次预测算法

在VVC无损帧内编码中,为了无失真地压缩视频,会跳过变换、量化等操作。未经过变换的帧内预测残差之间,存在较强的空间相关性。基于此,提出了一种残差二次预测(Residual Secondary Prediction,RSP)算法,来进一步降低残差能量。算法对经过帧内预测生成的残差样本进行二次预测,得到二次残差,选择绝对值之和较低的残差组作为最终的预测残差。在VVC测试模型(VTM)12.3上应用RSP算法,相较于基础的无损帧内编码,平均可以节省5.65%的比特率,编码时间增加14.6%,解码时间下降17.5%。RSP以增加较低编码复杂度为代价,高效地提升了VVC无损帧内编码的性能。

基于样本的VVC无损帧内梯度预测算法

为了进一步提升VVC无损帧内编码的性能,在BDPCM编码工具的基础上,利用样本之间的关系,对其进行改进,提出了一种基于样本的梯度预测(Sample-based Gradient Prediction,SGP)算法。在该算法中,预测样本由对应预测方向上的相邻参考样本,以及参考样本之间的梯度信息获得,获得的预测样本被限制在一定范围内。在VVC测试模型(VTM)12.3上的实验结果表明,提出的SGP算法在VVC无损帧内编码中平均节省了5.30%的比特率,编码时间增加了17.7%,解码时间下降了19.5%。相较于BDPCM可以达到的3.88%平均比特率节省,SGP所带来的比特率节省大幅度提升,并且编码时间和解码时间都更短。

基于VVC的多方向细化Merge模式优化算法

针对多功能视频编码标准VVC帧间预测中,Merge模式未充分考虑运动存在的多种方向性从而降低了预测精度的问题,提出了一种基于VVC的多方向细化Merge模式优化算法。本算法在分析带运动矢量差的Merge技术的基础上,首先调整了步长选择范围并增加多种搜索方向,然后根据步长自适应选择色度块的运动补偿方式,并最终根据率失真代价准则选择最优的运动矢量信息。实验结果表明,本文算法与VTM-12.0参考模型相比,在低延迟P帧配置下Y、U、V三分量的BD-rate分别平均下降了0.57%、0.62%、0.25%,在随机接入配置下的BD-rate中Y分量下降了0.27%、U分量仅提高了0.11%、V分量降低了0.04%,有效地提升了Merge模式的编码性能。

面向VVC相同编码参数的视频重压缩取证方法

针对视频重压缩取证方法应用于最新的通用视频编码(Versatile Video Coding,VVC)标准效率低的问题,提出一种面向VVC标准相同编码参数下的视频重压缩取证(Video Recompression Forensics for VVC,VVC-VRF)方法。通过分析VVC编码框架,结合理论分析与实验验证得到与VVC压缩视频次数密切相关的基础码流特征,即I帧亮度编码单元(Coding Unit,CU)的划分类型、预测模式和参考行。再基于基础码流特征得到高级码流特征,即不同属性CU占比和CU划分类型占比等高级码流特征。将高级码流特征和量化参数级联,并作为支持向量机的输入得到重压缩取证结果。与帧内预测单元预测模式(Intra Prediction Unit Prediction Mode,IPUPM)方法相比,VVC-VRF能够平均节省约一半的取证时间,取证准确度也得到提升,且VVC-VRF在帧删除情况下仍具有鲁棒的性能。

面向360°全景视频的帧内预测编码的快速算法

为了节省360°全景视频的编码时间,对通用视频编码标准中的编码单元划分决策过程进行了研究,提出了一种面向360°全景视频的帧内预测编码的快速算法。通过优化编码树单元(Coding Tree Unit,CTU)的编码深度范围和编码单元的划分模式的选择过程,减少编码时间。实验结果表明,在全帧内模式下,所提算法比原始算法平均可以节省34.33%的时间复杂度,同时带来的BDBR平均增量仅为1.665%,BDPSNR的平均降低量仅为0.076 dB。

H.266/VVC:新一代通用视频编码国际标准

在2013年制定的H.265/HEVC视频编码标准获得成功后,新一代视频编码国际标准H.266/VVC在ITU⁃T的VCEG和ISO/IEC的MPEG通力合作下已于2020年7月完成。尽管VVC视频编码层的结构仍然是传统的基于块的混合视频编码模式,但VVC提供了多项先进的视频编码工具,较先前的HEVC标准,其压缩率大约提高了一倍。文中主要对VVC标准中新编码技术的特点和性能进行综述。

色度域亮度域信息融合的监控视频重压缩取证

为解决当前视频重压缩取证方法没有考虑色度域信息、取证准确度低的问题,提出一种面向最新多用途视频编码(versatile video coding,VVC)标准色度域亮度域信息融合的监控视频重压缩取证方法(CLF-SVRF)。基于VVC标准的编码原理,从监控视频的色度域和亮度域维度分析并确定VVC视频码流中与压缩次数密切相关的基础码流特征;基础码流特征包括色度域和亮度域编码单元(coding unit,CU)的划分类型及预测模式;结合拉格朗日率失真优化技术分析随着压缩次数的增加,色度域亮度域CU划分类型和预测模式的变化;进一步确定色度域亮度域CU划分类型和预测模式可以作为检测视频压缩次数的基础码流特征;接着考虑视频监控应用对重压缩取证方法低复杂度的需求,基于色度域亮度域CU划分类型和预测模式构建低复杂度高级码流特征;将高级码流特征输入支持向量机完成监控视频的重压缩取证。实验结果表明,与当前先进方法相比,CLF-SVRF方法的监控视频重压缩取证准确度平均提升了13.53%,同时可以大幅度地降低重压缩取证耗时,重压缩取证时间平均减少了47.42%。

利用显著性检测的机器视觉视频编码算法

近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有冗余的。因此,提出了一种在VVC编码过程中结合显著性检测的视频编码方法用于机器任务,用实例分割网络掩膜基于区域的卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)获得包含对象的二进制掩膜,并依此判定是否为感兴趣区域,指导VVC编码过程中编码树单元(Coding Tree Unit,CTU)的量化参数的偏移。实验证明,与VVC基线方法相比,所提方法可以在相似的检测精度下节省一定的比特率。

中文文本屏幕内容图像通用视频编码标准编码感知失真研究

为了探索最新一代通用视频编码标准(versatile video coding, VVC)对中文文本屏幕内容图像(text screen content image, TSCI)感知质量的影响,设计图像主观观测实验并基于VVC混合编码框架原理研究了中文TSCI的VVC编码感知失真。构建中文文本屏幕内容图像数据库(Chinese text screen content image dataset, CT-SCID),设计图像主观观测实验,分析VVC引起的中文TSCI感知失真类型及其发展路径;结合VVC的混合编码框架原理,理论分析并实验验证影响VVC编码的中文TSCI感知失真程度的因素;总结当前代表性的屏幕内容图像质量评价方法在中文TSCI VVC编码感知失真评测上的性能表现。实验结果表明:字体大小和对比度是影响中文TSCI VVC编码感知质量的重要因素,且中文TSCI的字体越小、对比度越低时,图像的感知质量等级越低;当前代表性的屏幕内容图像质量评价方法均无法给出完全符合人眼感知特性的质量评价结果。研究对于后续开发适用于中文TSCI的感知质量评价方法、高效编码方法等具有指导意义。

基于统计分析的仿射运动估计快速算法

为降低新一代通用视频编码标准(Versatile Video Coding,VVC)的计算复杂度,提出了一种基于统计分析的仿射运动估计(Affine Motion Estimation,AME)快速算法。从加速AME过程的角度出发,首先摒弃AME的3种运动矢量(Motion Vector,MV)精度中的整像素和1/16像素精度,保留1/4像素精度;其次利用迭代次数与量化参数(Quantization Parameter,QP)、slice类型以及编码单元(Coding Unit,CU)大小的关系,得到一个迭代次数的自适应计算式来减少AME迭代次数;然后将细粒度搜索(Fine Granularity Search,FGS)算法中CU 4个角落的4个整像素用2个对角分像素进行替代;最后运用绝对变换差和(Sum of Absolute Transform Difference,SATD)代价来替代率失真(Rate Distortion Optimization,RDO)代价。实验结果表明,与H.266/VVC参考软件VTM-10.0相比,提出的算法在低延迟(Low Delay B,LDB)和随机访问(Random Access,RA)配置下分别节省了8.34%和8.83%的时间,与此同时性能损失仅为0.10%和0.12%。

基于深度增强学习的VVC码率控制算法

针对新一代多用途视频编码(versatile video coding,VVC)标准相比上一代高效视频编码(high efficiency video coding,HEVC)采用了更多数目的时空预测模式,为相邻编码帧带来了更强的帧间相关性的问题,基于深度增强学习方法提出了一种适用于VVC编码器的码率控制算法。首先选择合适的模型输入信息,包括帧间相关信息、分层编码结构信息和视频内容信息等;其次利用上述信息,结合长短期记忆(long short-term memory,LSTM)神经网络和增强学习方法,构建基于深度增强学习的帧间量化参数预测模型,以优化VVC编码器的码率控制过程;最后验证所提出算法的性能,将所提出算法在VTM 5.1平台实现,并与VVC源编码器进行性能对比。测试结果表明,在相同码率条件下,所提出算法相比于VVC源编码器,实现了BDBR平均节省1.81%和BDPSNR提升0.14 dB。

一种基于卷积神经网络的VVC去压缩伪影半盲方法

多功能视频编解码(Versatile Video Coding,VVC)是新一代视频编解码标准,拥有较好的压缩性能,能够达到较高的压缩比。但是,编码过程中的变换、量化等操作,不可避免地在视频解码时引起一定程度的压缩伪影,导致解码视频质量降低,影响用户的视觉体验。目前,基于卷积神经网络(Convolutional Neural Network,CNN)的VVC的压缩伪影去除算法并不多,且大部分算法是在默认量化参数已知的情况下建立去伪影模型,对于不知道量化参数的盲场景,这些算法不太适合。直接设计全盲算法是复杂困难的,且性能有限。针对这一情况,提出了一种半盲方法用于去除VVC解码视频中的压缩伪影,该方法比全盲的方法更加灵活且能够达到更好的性能,比非盲方法更加实用。该方法设计出一种分类网络来预测重建视频的量化参数,预训练一些压缩伪影去除模型,根据预测的量化参数为重建视频选择对应的模型以去除压缩伪影。实验结果证明了该算法的有效性。

采用联合特征的H.266/VVC屏幕内容快速模式选择算法

新一代视频编码标准H.266/VVC针对屏幕内容编码引入帧内块复制、调色板等预测模式,在提高编码效率的同时也带来了巨大的计算复杂度。本文采用角点、水平/垂直活动度和平均颜色亮度差联合特征对屏幕内容视频帧和当前编码单元(Coding Unit,CU)进行分类,将视频帧分为低对比度屏幕视频帧和高对比度屏幕视频帧,将CU细分为自然内容背景CU、屏幕内容背景CU和屏幕内容前景CU,进而对CU模式进行选择性跳过,减少模式选择代价。实验结果显示,在全帧内的条件下,该算法与开启IBC和PLT的H.266/VVC VTM-7.3标准相比,在码率仅增加1.21%的情况下节省了26.41%的编码时间,降低了编码复杂度。

一种VVC帧内编码单元快速划分算法

为了降低下一代通用视频编码(VVC)帧内预测编码单元(CU)划分的计算复杂度,提出一种基于梯度幅值相似度的CU快速划分方法.首先,计算当前编码单元下层的四个子编码单元的平均梯度幅值相似度偏差(M GM SD),根据该信息来确定当前编码单元是否进行四叉树划分或不划分.其次,当不满足四叉树划分和不划分的条件时,通过遍历得到三叉树划分和二叉树划分的子块像素方差的方差,根据该信息来选择二叉树和三叉树中最佳的划分方式.在全I帧条件下,本文方法与VTM7.0(VVC Test Model 7.0)标准模型相比,编码时长平均降低了50.69%,在大幅降低编码复杂度的同时码率仅增加1.36%.

基于视频内容特征值的VVC码率控制算法

针对VVC码率控制算法没有综合考虑编码帧实际纹理特征,其编码率失真性能和视觉体验还有待提高的问题,提出了一种基于视频内容相关特征值的码率控制算法。通过引入灰度共生矩阵,计算出反映编码帧纹理复杂度的相关特征值,用于帧层图像权重的调整;基于R-λ模型,对LCU层的λ参数进行重新计算,提高LCU层比特分配的精度。经测试,该算法在低时延配置下,与自适应比特分配算法相比,在更接近目标码率情况下,率失真性能提升了0.86%,视频编码主观质量得到较明显改善。

应用于VVC视频编码的感知率失真优化算法

视频编码中,率失真优化是提升编码性能的重要环节。在新一代视频编码标准——多功能视频编码(Versatile Video Coding,VVC)中,率失真优化关键参数λ的确定仍是基于与量化参数(Quantization Parameter,QP)之间相对固定的映射关系模式,而人眼对于视频内容特征的感知并未得到充分考虑,因此提出了用于多功能视频编码标准VVC的感知率失真优化算法。首先提取视频帧中编码树单元(Coding Tree Unit,CTU)的纹理和运动特征,其次结合人眼对于纹理复杂度和运动程度的不同感知,对用于CTU编码的拉格朗日乘子λ进行自适应调节。在VVC标准测试软件VTM12.0平台的低延时P帧配置下,采用多尺度结构相似性和峰值信噪比作为视频质量评价指标,在保持视频质量不变的情况下,码率平均节省0.15%和0.09%,VVC编码器率失真性能得以提升。

基于已重建先验信息的VVC快速仿射运动估计算法

针对H.266/多功能视频编码(Versatile Video Coding,VVC)帧间仿射运动估计复杂度高的问题,提出了一种基于已重建先验信息的快速仿射运动估计算法。该算法利用帧间跳过(Skip)模式和仿射运动估计(Affine)模式之间的互斥性,根据上层级编码块(Coding Unit,CU)、本层级子CU和相邻CU的重建信息跳过冗余的仿射运动估计过程,以降低仿射运动估计的复杂度。实验结果表明,在不明显影响视频码率和质量的情况下,该算法的编码时间相较于VVC标准整体下降了10.17%,仿射运动估计时间下降了44.2%,有效地降低了仿射运动估计的复杂度。

国际视频编码VVC标准最新进展研究

高效视频编码HEVC发布以后,国际视频编码组织ITU和MPEG进一步开展了新的视频编码技术的研究。本文介绍国际视频编码VVC(俗称266)标准最新进展,总结分析最新的编码技术,并采用4K超高清测试序列对最新的编码算法进行测试仿真,比较分析最新编码算法性能,为我国视频编码标准未来技术演进提供参考。