新一代视频编码标准VVC/H.266及其编码体系发展历程

新一代编码标准VVC/H.266的发布标志着视频编码技术又一个重要里程碑的建立。本文将梳理VVC/H.266编码标准及其隶属的视频编码技术体系的发展历程和技术优势。

新一代通用视频编码标准H.266/VVC:现状与发展

相比于上一代标准,新一代通用视频编码标准(H.266/VVC)在同等质量下能够节省大约50%的码率,且适用于多种多样的视频应用场景。论文从H.266/VVC的关键技术出发,对标准的现状、实现和应用发展进行深入探讨。H.266/VVC沿用既往标准中的双层码流体系和混合编码框架,针对帧内预测、帧间预测、变换、量化、环路滤波等所有主要编码模块进行了技术革新,并为屏幕内容视频等应用提供了高效的专用编码工具。H.266/VVC标准目前已处于实用化阶段,官方参考软件VTM和开源编解码器VVenC/VVdeC是目前最具代表性的软件编解码实现。对H.266/VVC的性能分析可以看出:H.266/VVC针对高分辨率视频取得的编码增益更为突出;主要编码工具对性能的贡献通常以复杂度为代价,但也有部分编码工具在提升编码性能的同时可降低整体编码复杂度。H.266/VVC的硬件实现面临诸多挑战,发展明显滞后于软件实现,现有研究主要集中在对具体编码模块的硬件加速方面。H.266/VVC标准发布之后,下一代视频编码标准的发展目前仍围绕混合编码框架进行探索,聚焦在两大方向:超越VVC的增强压缩关注更为先进的、非神经网络的编码工具,基于神经网络的视频编码则探索采用神经网络的编码工具。除此之外,部分或完全跳出现有混合编码框架的端到端视频编码也在飞速发展,未来视频编码标准与神经网络结合成为趋势,但面临着计算资源依赖和稳定结构两方面的考验。

基于LightGBM的H.266/VVC快速帧间块划分算法

新一代视频编解码标准H.266/VVC在多个编码核心模块引入诸多新的技术,旨在提高视频编码的压缩效率,同时也带来复杂度显著增加。在块划分方面,在H.265/HEVC中四叉树划分(QT)的基础上增加了多叉树划分(MT),导致划分情况增多;此外帧间引入众多编码模式,使得确定每个CU的帧间最优模式的计算过程变得更加繁复,这些帧间预测技术极大增加了复杂度,阻碍了其在实际中的应用。因此提出了基于LightGBM的快速帧间块划分算法,通过分析常规的时空以及上下文特性,还引入多个新特征。通过选择大量相关性较强的特征并建多个LightGBM模型,并以此设计了全新的块划分流程,使得整体块划分过程显著缩短。实验结果表明,与H.266/VVC参考软件VTM10.0相比,平均降低33.98%计算复杂度,且BDBR仅增加了1.77%。

量化参数对H.266压缩标准4K视频质量影响实验

多功能视频编解码方式(H.266/VVC)在每一个编码环节上都采取了多项改进措施,诸多措施的总体效果使其编码效率比高效视频编码方式(HEVC)提高了一倍。该文对几种动态情况各异的视频序列(*.yuv)采用H.266编解码器进行压缩和解压,通过改变量化参数(QP)取值,研究在不同比特率条件下,视频压缩后编码效率和时间损耗的差异。实验表明,对于较低的比特率和4K视频常用的比特率(20 Mbps)附近,在编码效率和峰值信噪比上都有着很大的优势,但在超大比特率的情况下,两者表现近乎相同。对时间倍数和码率节省进行计算后发现,每个视频序列的结果差距较大,说明编码复杂度和编码性能与选取的视频序列本身有很大关系。H.266对复杂度较高的视频序列提升明显,编码复杂度有了显著提升,在某些比特率的情况下甚至可达到100倍之多,H.266同时对硬件的算力带来了很大挑战,需要在之后进行进一步优化。

H.266/VVC二维变换的统一硬件结构

为了降低H.266/VVC中二维变换部分的硬件实现面积和功耗,提出统一的硬件结构,支持全尺寸的离散余弦变换(DCT-Ⅱ,DCT-Ⅷ)和离散正弦变换(DST-Ⅶ).所提结构包括2个并行的一维变换模块和1个转置存储器,其中一维变换模块基于多常量乘法(MCM)设计,针对所有的变换类型和尺寸设计可复用的MCM计算单元.为了能够支持混合块的流水输入,设计支持流水线处理的转置存储器.该转置存储器基于静态随机存储器(SRAM)实现,使用对角线存储方案并配合读写指针进行操作,利用先入先出队列(FIFO)进行块信息缓存.实验结果表明,统一的计算单元可以减小变换结构1.3%的面积和49.5%的功耗,转置存储器能够结合VVC高频置零的特性减少SRAM一半的存储空间.

H.266/VVC:新一代通用视频编码国际标准

在2013年制定的H.265/HEVC视频编码标准获得成功后,新一代视频编码国际标准H.266/VVC在ITU⁃T的VCEG和ISO/IEC的MPEG通力合作下已于2020年7月完成。尽管VVC视频编码层的结构仍然是传统的基于块的混合视频编码模式,但VVC提供了多项先进的视频编码工具,较先前的HEVC标准,其压缩率大约提高了一倍。文中主要对VVC标准中新编码技术的特点和性能进行综述。

基于轻量级全连接网络的H.266/VVC分量间预测

新一代视频编码标准H.266/VVC引入分量间线性模型(CCLM)预测提高压缩效率。针对亮度色度分量存在相关性却难以建模的问题,提出基于神经网络的分量间预测算法。该算法根据待预测像素与参考像素的亮度差遴选出相关性强的参考像素构成参考子集,然后将参考子集送入轻量级全连接网络获得色度预测值。实验结果表明,与H.266/VVC测试模型版本10.0(VTM10.0)相比,所提算法可提高色度预测准确度,在Y、Cb和Cr上可分别节省0.27%、1.54%和1.84%的码率。所提算法具有不同块尺寸和编码参数均可使用统一网络结构的优点。

H.266/VVC中一种改进的仿射运动估计算法

通用视频编码标准H.266/VVC通过引入多种新的编码技术,如仿射运动补偿预测、自适应运动矢量精度、多核变换等,以支持360°视频和HDR视频的编解码,从而为用户提供最优的视频质量,但是在H.266/VVC帧间预测过程中,仿射运动估计计算复杂度高导致编码时间显著增加。针对该问题,提出一种改进的仿射运动估计算法。通过对仿射高级矢量预测(AAMVP)候选列表的构建过程进行改进,并构建一种AAMVP候选列表候选项筛选准则,使得列表的候选项更接近编码块真实的运动矢量,从而缩短编码时间。同时对仿射运动估计中迭代搜索最优仿射运动矢量的迭代过程进行优化,以加快迭代搜索速度。实验结果表明,在低时延的编码器配置下,相比VVC原始算法,当BD-BR增加了0.023%时,该算法的总体编码时间平均缩短13%,在保证编码质量的前提下能够有效降低编码的计算复杂度。

基于决策树的H.266/VVC帧内预测CU快速划分算法

新一代视频编码标准H.266/VVC较H.265/HEVC在同等质量情况下,码率相比后者降低了约50%,这得益于四叉树嵌套多类型树(QTMT)的分区结构与诸多新引入的编码工具。但是,H.266/VVC的编码复杂度也急剧增加。为了解决此问题,提出一种利用决策树加速帧内预测编码单元CU划分过程的快速算法。首先,为每个深度下的CU提取预先选定特征以表征其复杂度,然后将各类特征输入离线训练的决策树模型来预测CU分区结果,最后利用集成决策树模型的帧内预测框架,提前终止CU划分或删除冗余的候选分区模式。实验结果表明,与H.266/VVC参考软件VTM9.0相比,提出的快速算法可将各种测试序列的编码时间平均减少约52%,同时仅带来1.75%的BDBR提升。

H.266/VVC帧内预测关键技术研究

国际视频编码最新标准H.266/VVC在H.265/HEVC基础上,采用新的编码工具来提升编码效率。帧内预测能有效的去除像素间的空间冗余,是视频编码的关键环节。H.266/VVC在传统帧内编码技术基础上针对新的应用需求进一步扩展,并提出了新的编码技术。本文研究H.266/VVC帧内预测关键技术的最新进展,对比了与H.265/HEVC帧内预测技术的主要差异,分析了编码技术的性能和复杂度,为我国新一代视频编码标准帧内预测技术的选择提供参考。

H.266/VVC视频编码帧间预测关键技术研究

帧间预测是提高视频压缩比的关键技术,通过建立合理的运动模型,采用不同的预帧间预测模式从相邻运动信息预测出当前块的运动信息。H.266/VVC帧间预测面向高新视频等新型应用,在H.265/HEVC帧间预测技术基础上进一步扩展,采用更加复杂的预测工具和策略来提升运动矢量精度,降低编码数据量,以提升编码效率。本文重点研究H.266/VVC视频编码帧间预测关键技术,对比与H.265/HEVC帧间预测技术差异,分析编码性能和复杂度,为我国新一代视频编码标准帧间预测技术的选择提供参考。

基于Lookahead搜索的H.266/VVC帧内多类型树结构快速决策方法

第四代视频编码标准H.266/VVC引入的诸多新技术在提高了压缩效率的同时引入了很高的编码复杂度,其帧内编码最耗时的部分之一是编码树单元(CTU)结构决策。提出了一种用于H.266/VVC帧内编码的多类型树(MT)结构快速决策方法。该方法首先利用Lookahead搜索来得到深度为2或3的编码单元的近似率失真代价,根据近似率失真代价来移除冗余的MT划分模式。重要性低的划分模式会被优先移除,重要性高的划分模式会被优先保留。实验结果表明,与H.266/VVC参考软件VTM 10.0相比,所提出的算法在节约了46.86%的帧内编码时间的情况下,仅增加了1.02%的BDBR。

H.266/VVC视频编码的快速CU划分算法

H.266/VVC(Versatile Video Coding)是目前最为先进的视频编码标准,其为了适应更加复杂纹理的视频图像,在上一代视频编码标准H.265/HEVC(High Efficiency Video Coding)基础上引入了带有嵌套多类型树的四叉树,使得图像的块划分灵活,在提升编码性能的同时带来了显著增加的计算量。针对以上问题,提出了基于Sobel边缘检测的帧内快速CU划分技术,利用边缘特征来跳过几种CU划分方式达到减少运算量的效果,在AI(All In⁃tra)模式下,编码时间平均减少了39.95%,而BDBR(Bjøntegaard Delta Bitrate)仅上升了0.73%。

H.266/VVC残差编码关键技术研究

本文重点分析H.266/VVC标准中残差编码技术的演进过程,并与H.264/AVC和H.265/HEVC进行比较,为我国视频编码技术演进提供技术参考。

基于长短时记忆网络的H.266编码帧内预测优化算法

在H.266标准帧内预测的角度模式中,编码器根据邻近参考像素使用多抽头帧内插值滤波器生成预测块,预测残差偏大,降低了编码效率.论文提出一种针对水平和垂直模式的优化算法,利用长短时记忆网络表达相邻像素间的空域相关性,对预测残差进行二次预测,补偿标准线性预测过程,提高预测精度.实验结果表明,相比于原始的参考模型VTM2.0,结合长短时记忆网络的帧内预测算法可以使BD-rate降低0.34%,提高了编码效率.

利用显著性检测的机器视觉视频编码算法

近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有冗余的。因此,提出了一种在VVC编码过程中结合显著性检测的视频编码方法用于机器任务,用实例分割网络掩膜基于区域的卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)获得包含对象的二进制掩膜,并依此判定是否为感兴趣区域,指导VVC编码过程中编码树单元(Coding Tree Unit,CTU)的量化参数的偏移。实验证明,与VVC基线方法相比,所提方法可以在相似的检测精度下节省一定的比特率。

基于深度学习的VVC快速帧内模式决策

新一代视频压缩标准(H.266/VVC)在帧内预测中提供了67种预测模式,这使得编码效率得到大大提升,但同时也带来了极高的计算复杂度。本文提出了一种基于深度学习的帧内模式决策快速算法。首先针对编码块尺寸划分后块的大小形状不同的问题,对提取的亮度块进行预处理,并通过随机剪裁、重采样和卷积神经网络(CNN)上采样的方式,保证块的大小和质量。然后精心设计了CNN架构来降低帧内预测复杂度,并提出将当前编码块、相邻参考块以及残差块三者作为网络的输入,把率失真决策过程转换为分类问题,减少不必要的模式遍历。为训练所提出的深度学习网络,本文针对H.266的特点建立了模式决策数据集。实验结果表明,所提出的算法与VTM10.0相比,编码时间平均降低了39.56%~43.45%,有效地降低了编码的计算复杂度,同时率失真性能基本保持不变,与最新参考文献相比综合性能也有所提升。

基于已重建先验信息的VVC快速仿射运动估计算法

针对H.266/多功能视频编码(Versatile Video Coding,VVC)帧间仿射运动估计复杂度高的问题,提出了一种基于已重建先验信息的快速仿射运动估计算法。该算法利用帧间跳过(Skip)模式和仿射运动估计(Affine)模式之间的互斥性,根据上层级编码块(Coding Unit,CU)、本层级子CU和相邻CU的重建信息跳过冗余的仿射运动估计过程,以降低仿射运动估计的复杂度。实验结果表明,在不明显影响视频码率和质量的情况下,该算法的编码时间相较于VVC标准整体下降了10.17%,仿射运动估计时间下降了44.2%,有效地降低了仿射运动估计的复杂度。

基于经验变差函数的360度视频CU划分快速算法

随着虚拟现实技术的发展,360度视频越来越受欢迎。这些视频在使用标准编码器进行编码之前,要先将其转换为2D图像平面格式。为了提高编码效率,专家们提出了新一代视频编码标准H.266/VVC(Versatile Video Coding),然而,VVC分区模式的多样性导致编码360度高分辨率视频耗时过长。针对上述问题,设计一种CU划分早期决策算法。通过对ERP(Equirectangular projection)视频的统计实验,发现这类视频采用水平分区的概率大于垂直分区。利用经验变差函数设计算法衡量纹理方向差异度,再根据编码单元水平与垂直2个方向的差异程度选择不同的分区。实验结果表明:在全帧内模式下,与VVC测试模型VTM4.0相比,该算法节省了35.42%的编码时间,BD-rate仅增加0.70%。

基于DenseNet+FPN网络的视频帧内CU快速划分算法

针对多功能视频编码(versatile video coding,VVC)帧内编码中编码单元(coding units,CU)划分存在计算复杂度过高的问题,本文提出了一种基于DenseNet+FPN(feature pyramid network)的CU快速划分算法。该算法能够大幅度降低VVC的编码复杂度,减少编码时间。首先,本文提出了一种基于纹理复杂度的CU分类算法,来评估CU块的纹理复杂度。其次,提出一种基于DenseNet+FPN的网络模型,利用多尺度信息来优化CU划分,以适应多尺度情况下的编码需求。最后,设计了一个新的自适应的质量复杂度均衡损失函数,用于平衡编码质量和计算复杂度。所提算法进行了大量的实验分析,结果证明,与公共参考软件(WC test model 10.0,VTM10.0)相比,所提算法的帧内编码平均时间减少了44.268%,而BDBR(bj?ntegaard delta bit rate)仅增加了0.94%。