屏幕内容视频编码的技术与标准

近来随着网络和视频技术的快速发展,屏幕内容的传输与共享变得越来越普遍。然而,对计算机图形/文档和摄像机图像/视频相混合的屏幕内容编码存在一系列挑战,如高压缩率、高质量和低成本等。文中首先介绍了应对这些挑战的多项关键技术,以及两项最新标准:JCT-VC的屏幕编码(HEVC-SCC)和VESA的显示流压缩(DSC)。然后对屏幕内容视频编码的技术、标准和应用的发展进行了展望。

结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法

本文提出了一种结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法。利用自然内容和屏幕内容视频DCT变换后系数能量分布不同的特点,结合当前预测单元(Prediction Unit,PU)梯度信息,将编码树单元(Coding Tree Unit,CTU)分成自然内容CTU,简单屏幕内容CTU和复杂屏幕内容CTU。对于自然内容CTU,选择35种传统帧内模式作为候选模式,跳过帧内块复制(Intra Block Copy,IBC)和调色板(Palette mode,PLT)模式;对于简单屏幕内容CTU,选择DC,PLANAR,水平和垂直模式作为候选模式,跳过IBC和PLT模式;对于复杂屏幕内容CTU,选择IBC和PLT模式,跳过其他候选模式。实验结果表明,在全I帧条件下,该算法相较于SCM- 8.3可以节省38.55%的编码时间,大幅度降低了编码复杂度的同时只增加了1.82%的码率。

基于屏幕内容的快速模式选择算法

屏幕内容编码是视频编码应用的重要内容,高效视频编码(HEVC)中屏幕图像内容编码的扩展方法主要有调色板模式和IntraBC(Intra Block Copy)模式,它们依据屏幕图像内容的特点提升了码率,然而,也增加了编码的复杂度和编码时间。因此,提出一种针对于屏幕图像内容的快速模式选择算法,该方法基于屏幕图像内容的像素平滑性,对于量化后颜色数量少的CU块不进行分割;并选择最佳的三个预测模式与IntraBC模式作比较,决定是否进行率失真优化过程。实验结果显示,与标准的HEVC扩展方法相比,该方法在仅增加0.4%比特率的情况下,节省了35%的编码时间。

HEVC-SCC快速算法研究分析

新一代高效视频编码标准HEVC是基于摄像机拍摄的自然图像特性所设计的,对包含计算机图像的视频编码性能不高,所以ITU-T和ISO/IEC在HEVC标准上提出了SCC扩展标准,HEVC-SCC中提出了新的编码工具,提高了对屏幕内容视频的编码能力,但是计算量也随之增加,使得其在实时应用上无法取得快速的编码速度。随之社会的高速发展,各个领域都或多或少地需要借助视频编码技术,尤其是受疫情影响下的教育领域,借助视频编码技术开展线上教学工作。本文从HEVC-SCC的编码框架出发,研究如何降低复杂度以及缩短编码时间,对未来的研究方向提出展望。

HEVC屏幕内容的帧内预测快速算法

屏幕内容编码(SCC)作为高效率视频编码(HEVC)的一个扩展版本。然而,基于原HEVC递归的划分策略以及新编码工具的加入使得编码复杂度很高。本文提出了一种基于屏幕内容的帧内预测快速算法。首先,提出一种分类方法,根据编码单位CU内容特征,将CU分类为3大类,分别是自然内容CU,屏幕内容完全平滑CU和屏幕内容复杂CU。然后,对于自然内容CU,选择传统的35种帧内模式为候选,跳过IBC和PLT模式。对于屏幕内容完全平滑CU,选择DC模式、Planar模式、水平角度模式和垂直角度模式为模式候选,跳过IBC模式并终止四叉树的划分。对于屏幕内容复杂CU,则先通过IBC预测再通过空间相关性判断是否跳过传统的帧内预测模式。实验结果表明,在全I帧条件下,该算法相比于SCM-3.0可以平均节省35.96%的编码时间,大幅度降低了编码复杂度,而码率只有微小的增加。

基于决策树的HEVC SCC帧内编码快速算法

为减少HEVC屏幕内容编码的编码时间,提高编码效率,本文提出了一种基于决策树的HEVC屏幕内容帧内编码快速CU划分和简单PU模式选择的算法。对视频序列特性分析,提取有效的特征值,生成决策树模型。使用方差、梯度信息熵和像素种类数用于生成CU划分决策树,使用平均非零梯度、像素信息熵等用于生成PU模式分类决策树。在一定深度的决策树模型中,通过对相应深度的CU的特征值的计算快速决策当前CU的划分与PU模式的类型。这种利用决策树做判决的算法通过减少CU深度和PU的模式遍历而降低编码复杂度,达到快速帧内编码的效果。实验结果表明,与HEVC屏幕内容的标准算法相比,该算法在峰值信噪比(PSNR)平均下降0.05 dB和码率平均增加1.15%的情况下,能平均减少30.81%的编码时间。

帧内块复制中的位移矢量参数编码算法

目的随着云计算和移动互联网技术的飞速发展,屏幕图像编码已成为视频压缩领域新的研究热点。帧内块复制(intra block copy,IBC)算法是屏幕内容编码(screen content coding,SCC)中的核心算法,已经成为高效视频编码(high efficiency video coding,HEVC)等标准中屏幕内容编码的重要组成部分。为了进一步消除IBC算法中的位移矢量(displacement vector,DV)参数编码的冗余,根据DV参数具有的固有帧内块匹配特性和相关性,提出了一种DV参数编码算法。方法首先,对待编码DV采用邻近块与最近块相结合的DV预测编码方案,进一步提高DV的预测编码效率;然后,对预测编码效率不高的DV,提出了一种基于区域划分与调整的高效DV直接编码方案。对SCC标准测试数据集合中的17个测试数据集合的3种编码配置从编码效率和复杂度两方面进行了评测。结果实验结果表明,对于SCC标准测试数据集合中移动的文字和图形序列类别,在全帧内、随机接入和低延迟这3种有损编码配置下,提出的DV算法与HEVC SCC中的IBC算法相比,在编解码复杂度没有任何影响的前提下,Y分量的BD(BjΦntegaard Delta)-rate平均降低率分别为1.04%、0.87%和0.93%,全帧内配置下Y分量的BD-rate降低率可达2.99%。结论本文方法优于HEVC-SCC中的IBC算法中的DV编码算法,能有效提升编码效率。