基于深度学习的VVC快速帧内模式决策

新一代视频压缩标准(H.266/VVC)在帧内预测中提供了67种预测模式,这使得编码效率得到大大提升,但同时也带来了极高的计算复杂度。本文提出了一种基于深度学习的帧内模式决策快速算法。首先针对编码块尺寸划分后块的大小形状不同的问题,对提取的亮度块进行预处理,并通过随机剪裁、重采样和卷积神经网络(CNN)上采样的方式,保证块的大小和质量。然后精心设计了CNN架构来降低帧内预测复杂度,并提出将当前编码块、相邻参考块以及残差块三者作为网络的输入,把率失真决策过程转换为分类问题,减少不必要的模式遍历。为训练所提出的深度学习网络,本文针对H.266的特点建立了模式决策数据集。实验结果表明,所提出的算法与VTM10.0相比,编码时间平均降低了39.56%~43.45%,有效地降低了编码的计算复杂度,同时率失真性能基本保持不变,与最新参考文献相比综合性能也有所提升。