新一代通用视频编码标准H.266/VVC:现状与发展

相比于上一代标准,新一代通用视频编码标准(H.266/VVC)在同等质量下能够节省大约50%的码率,且适用于多种多样的视频应用场景。论文从H.266/VVC的关键技术出发,对标准的现状、实现和应用发展进行深入探讨。H.266/VVC沿用既往标准中的双层码流体系和混合编码框架,针对帧内预测、帧间预测、变换、量化、环路滤波等所有主要编码模块进行了技术革新,并为屏幕内容视频等应用提供了高效的专用编码工具。H.266/VVC标准目前已处于实用化阶段,官方参考软件VTM和开源编解码器VVenC/VVdeC是目前最具代表性的软件编解码实现。对H.266/VVC的性能分析可以看出:H.266/VVC针对高分辨率视频取得的编码增益更为突出;主要编码工具对性能的贡献通常以复杂度为代价,但也有部分编码工具在提升编码性能的同时可降低整体编码复杂度。H.266/VVC的硬件实现面临诸多挑战,发展明显滞后于软件实现,现有研究主要集中在对具体编码模块的硬件加速方面。H.266/VVC标准发布之后,下一代视频编码标准的发展目前仍围绕混合编码框架进行探索,聚焦在两大方向:超越VVC的增强压缩关注更为先进的、非神经网络的编码工具,基于神经网络的视频编码则探索采用神经网络的编码工具。除此之外,部分或完全跳出现有混合编码框架的端到端视频编码也在飞速发展,未来视频编码标准与神经网络结合成为趋势,但面临着计算资源依赖和稳定结构两方面的考验。

应用于VVC无损帧内编码的残差二次预测算法

在VVC无损帧内编码中,为了无失真地压缩视频,会跳过变换、量化等操作。未经过变换的帧内预测残差之间,存在较强的空间相关性。基于此,提出了一种残差二次预测(Residual Secondary Prediction,RSP)算法,来进一步降低残差能量。算法对经过帧内预测生成的残差样本进行二次预测,得到二次残差,选择绝对值之和较低的残差组作为最终的预测残差。在VVC测试模型(VTM)12.3上应用RSP算法,相较于基础的无损帧内编码,平均可以节省5.65%的比特率,编码时间增加14.6%,解码时间下降17.5%。RSP以增加较低编码复杂度为代价,高效地提升了VVC无损帧内编码的性能。

基于样本的VVC无损帧内梯度预测算法

为了进一步提升VVC无损帧内编码的性能,在BDPCM编码工具的基础上,利用样本之间的关系,对其进行改进,提出了一种基于样本的梯度预测(Sample-based Gradient Prediction,SGP)算法。在该算法中,预测样本由对应预测方向上的相邻参考样本,以及参考样本之间的梯度信息获得,获得的预测样本被限制在一定范围内。在VVC测试模型(VTM)12.3上的实验结果表明,提出的SGP算法在VVC无损帧内编码中平均节省了5.30%的比特率,编码时间增加了17.7%,解码时间下降了19.5%。相较于BDPCM可以达到的3.88%平均比特率节省,SGP所带来的比特率节省大幅度提升,并且编码时间和解码时间都更短。

H.266/VVC:新一代通用视频编码国际标准

在2013年制定的H.265/HEVC视频编码标准获得成功后,新一代视频编码国际标准H.266/VVC在ITU⁃T的VCEG和ISO/IEC的MPEG通力合作下已于2020年7月完成。尽管VVC视频编码层的结构仍然是传统的基于块的混合视频编码模式,但VVC提供了多项先进的视频编码工具,较先前的HEVC标准,其压缩率大约提高了一倍。文中主要对VVC标准中新编码技术的特点和性能进行综述。

基于深度增强学习的VVC码率控制算法

针对新一代多用途视频编码(versatile video coding,VVC)标准相比上一代高效视频编码(high efficiency video coding,HEVC)采用了更多数目的时空预测模式,为相邻编码帧带来了更强的帧间相关性的问题,基于深度增强学习方法提出了一种适用于VVC编码器的码率控制算法。首先选择合适的模型输入信息,包括帧间相关信息、分层编码结构信息和视频内容信息等;其次利用上述信息,结合长短期记忆(long short-term memory,LSTM)神经网络和增强学习方法,构建基于深度增强学习的帧间量化参数预测模型,以优化VVC编码器的码率控制过程;最后验证所提出算法的性能,将所提出算法在VTM 5.1平台实现,并与VVC源编码器进行性能对比。测试结果表明,在相同码率条件下,所提出算法相比于VVC源编码器,实现了BDBR平均节省1.81%和BDPSNR提升0.14 dB。

应用于VVC视频编码的感知率失真优化算法

视频编码中,率失真优化是提升编码性能的重要环节。在新一代视频编码标准——多功能视频编码(Versatile Video Coding,VVC)中,率失真优化关键参数λ的确定仍是基于与量化参数(Quantization Parameter,QP)之间相对固定的映射关系模式,而人眼对于视频内容特征的感知并未得到充分考虑,因此提出了用于多功能视频编码标准VVC的感知率失真优化算法。首先提取视频帧中编码树单元(Coding Tree Unit,CTU)的纹理和运动特征,其次结合人眼对于纹理复杂度和运动程度的不同感知,对用于CTU编码的拉格朗日乘子λ进行自适应调节。在VVC标准测试软件VTM12.0平台的低延时P帧配置下,采用多尺度结构相似性和峰值信噪比作为视频质量评价指标,在保持视频质量不变的情况下,码率平均节省0.15%和0.09%,VVC编码器率失真性能得以提升。

基于已重建先验信息的VVC快速仿射运动估计算法

针对H.266/多功能视频编码(Versatile Video Coding,VVC)帧间仿射运动估计复杂度高的问题,提出了一种基于已重建先验信息的快速仿射运动估计算法。该算法利用帧间跳过(Skip)模式和仿射运动估计(Affine)模式之间的互斥性,根据上层级编码块(Coding Unit,CU)、本层级子CU和相邻CU的重建信息跳过冗余的仿射运动估计过程,以降低仿射运动估计的复杂度。实验结果表明,在不明显影响视频码率和质量的情况下,该算法的编码时间相较于VVC标准整体下降了10.17%,仿射运动估计时间下降了44.2%,有效地降低了仿射运动估计的复杂度。

Fast CU Partition for VVC Using Texture Complexity Classification Convolutional Neural Network

Versatile video coding(H.266/VVC),which was newly released by the Joint Video Exploration Team(JVET),introduces quad-tree plus multitype tree(QTMT)partition structure on the basis of quad-tree(QT)partition structure in High Efficiency Video Coding(H.265/HEVC).More complicated coding unit(CU)partitioning processes in H.266/VVC significantly improve video compression efficiency,but greatly increase the computational complexity compared.The ultra-high encoding complexity has obstructed its real-time applications.In order to solve this problem,a CU partition algorithm using convolutional neural network(CNN)is proposed in this paper to speed up the H.266/VVC CU partition process.Firstly,64×64 CU is divided into smooth texture CU,mildly complex texture CU and complex texture CU according to the CU texture characteristics.Second,CU texture complexity classification convolutional neural network(CUTCC-CNN)is proposed to classify CUs.Finally,according to the classification results,the encoder is guided to skip different RDO search process.And optimal CU partition results will be determined.Experimental results show that the proposed method reduces the average coding time by 32.2%with only 0.55%BD-BR loss compared with VTM 10.2.

应用于H.26X的通用无损帧内编码优化算法

在H.26X系列视频编码标准的无损压缩方案中,通过帧内预测得到的预测残差仍具有较强的空间相关性,直接参与熵编码将导致编码效率下降。与自然图像不同,帧内预测残差的空间相关性体现为含有丰富的边缘特征。为利用帧内预测残差特殊的空间相关性,进一步降低其空域冗余,提高视频帧内编码的效率,提出一种通用的基于残差中值边缘检测的无损帧内编码算法。算法首先对帧内预测残差逐点进行边缘检测,通过分析临近点的数值特征,使用中值边缘检测算法得到当前点的预测值;然后,对比预测值与原始残差值,得到新的预测残差;最后,为确保编码新的预测残差能够提高压缩率,依照当前编码单元的能量是否降低来快速判断是否使用新的残差进行熵编码。实验结果表明:经过该算法处理的编码单元具有更低的空域冗余和残差能量,从而可降低熵编码后的码率。经统计,在H.265与最新的H.266标准中应用提出的优化算法,帧内预测残差的能量平均降低67.9%,平均码率分别降低7.04%和5.98%,同时编解码时间变化细微,具有显著的实用价值。

优化编码树单元级比特分配算法

新一代视频编码标准H.266/VVC(Versatile Video Coding)的码率控制算法采用编码参数相互独立的率失真优化技术。然而,同一帧内的编码树单元(CTU)间在空域上相互影响,且存在全局编码参数;同时,CTU级比特分配公式采用近似的编码参数分配比特,进而降低了码率控制精度和编码性能。针对上述问题,提出空域全局优化CTU级比特分配算法RTE_RC(Rate Control with Recursive Taylor Expansion),并通过递归算法逼近全局编码参数。首先,建立空域全局优化比特分配模型;其次,应用递归算法求解CTU级比特分配模型中的全局拉格朗日乘子;最后,优化编码单元的比特分配并对编码单位进行编码。实验结果表明,在低延时P(Prediction)帧(LDP)配置下,与码率控制算法VTM_RC相比,所提算法的码率控制误差由0.46%下降至0.02%,码率节省了2.48个百分点,编码时间下降了3.52%,显著提升了码率控制精度和率失真性能。

一种面向新型视频编码器的快速算法

为降低多功能视频编码标准(VVC)编码的复杂度,提出一种面向VVC的帧内快速编码算法.首先,根据视频内容的时空域相关性,使用反向传播(BP)神经网络对CU的划分深度进行预测;然后,使用统计概率对CU的划分模式进行选择;最后,编码时跳过不必要的划分模式以节省编码时间.实验结果表明,与原始编码器相比,该算法平均可节省59.82%的编码时间,且在同等编码质量情况下比特率的平均增加值(BDBR)仅为2.05%.

基于H.266/通用视频编码的帧内双模式的视频水印算法

针对现有水印算法对编码器造成较大的率失真损失的问题,结合通用视频编码(VVC)标准,提出了一种基于帧内预测模式奇偶性的视频水印算法。首先,进行第一轮粗选来计算35种偶数角度模式,并从中选出6个模式;其次,在进行第二轮粗选时,根据二值水印状态来决定是否计算第二轮粗选的奇数模式;接着,在进行矩阵加权帧内预测(MIP)和最可能模式(MPM)候选列表时,根据二值水印状态决定计算奇数模式或偶数模式;最后,选择具有最小率失真代价的模式作为最优模式以完成水印的嵌入,然后由解码端根据收到的4×4块的预测模式的奇偶性提取出水印。对9个视频序列嵌入水印,与原始编码器的算法相比,所提算法的峰值信噪比(PSNR)平均下降了0.0054 dB,码率平均上升了0.07%,每帧可嵌入的水印容量平均为625 b;与同样将水印嵌入预测模式的奇偶性的算法相比,所提算法的PSNR平均下降了0.005 dB,码率平均上升了0.06%,可嵌入的水印总容量平均为3183 b,而对比算法的PSNR平均下降了0.035 dB,码率平均上升了1.12%,可嵌入的水印总容量平均为10309 b。实验结果表明所提算法损失的率失真性能小于对比算法。

H.266合并模式候选决策的研究与改进

针对H.266中基于历史块的运动矢量预测(HMVP)技术在换行更新列表过程中无法参考之前运动信息,以及HMVP候选列表在加入Merge列表过程中存在繁琐的去冗余过程的问题,提出一种改进的H.266合并模式候选决策算法。通过临时存储一个HMVP候选列表来解决原有HMVP列表在换行清空时存在的无法参考之前运动信息的不足,从而更好地预测运动信息。通过Merge候选列表中原有的空时域候选数量来确定需要进行去冗余的HMVP候选数量,以简化去冗余过程。实验结果表明,与H.266标准算法相比,该算法在随机接入的配置下,测试图像序列的亮度分量能够平均节省0.46%的码率,编码总时间平均缩短4.09%,帧间预测时间平均缩短10.87%,能够提高编码性能同时降低编码复杂度。

基于上下文自适应阈值剪枝的快速依赖量化算法

系数独立的死区硬判决量化是典型的视频编码量化算法,复杂度低,但算法性能相对低下。新一代视频编码标准VVC引入基于动态规划的依赖量化(DQ)算法,编码性能显著提升,但计算复杂度急剧增加。由于算法系数间依赖性高,量化候选搜索空间复杂,导致遍历计算率失真代价效率较低。为此,提出一种基于上下文的量化候选剪枝算法,减小动态规划搜索空间,解决量化候选搜索复杂度较高的问题。依据DQ算法原理和量化结果的统计分析,发现DQ量化结果与量化余数、系数位置、邻域量化结果等上下文变量密切相关,将复杂的动态规划量化抽象为余数、位置、邻域量化结果多变量多区间分类问题,针对同一区间内存在的不同量化结果,通过分析同一区间内样本的累积分布函数,提出基于阈值比较的剪枝方法,裁剪部分“安全”的量化候选,减小搜索空间,简化全路径搜索。实验结果表明,快速DQ算法在All Intra和Random Access配置下,率失真性能平均损失分别为0.19%和0.34%,编码复杂度平均降低了4.31%和3.36%。

一种基于子块纹理差异的VVC快速CU划分算法

针对多功能视频编码(versatile video coding, VVC)由于在四叉树(quadtree, QT)划分的基础上引入多叉树(multi-type tree, MTT)划分结构导致编码复杂度过高的问题,本文提出了一种基于编码单元(coding unit, CU)子块纹理特征差异的VVC快速CU划分算法。该算法能够有效降低VVC的编码复杂度,缩短编码时间。首先通过不同划分方向的子块的纹理复杂度差异提前判断MTT划分的方向,跳过不必要的MTT划分方向;然后根据当前CU的相邻子块间的纹理差异判断是否跳过三叉树(ternary tree, TT)划分,以进一步减少候选列表中划分模式的数量。实验结果表明,在全帧内(all intra, AI)的编码配置下,与官方测试平台VTM-7.0相比,本文算法平均能够节省47.24%的编码时间,BDBR(Bjontegaard delta bit rate)仅增加1.26%。