3D-HEVC中深度图编码技术研究进展

3D-HEVC是为了满足3D视频和自由视点视频的高效编码而最新制定的视频编码标准,它要求同时编码几个视点的纹理视频和深度图。完全采用传统的技术来编码深度图会使得深度图内部锐利边界处产生伪影效应,为此,一些新的针对于深度图的编码工具被开发。详细介绍了这些编码工具,同时介绍了编码深度图时所使用的率失真优化方法。

一种用于深度图编码的虚拟视失真估计模型

多视视频加深度(MVD,multi-view video plus depth)的3D视频格式中,深度图提供视频的场景几何信息,其不在终端成像显示而是通过基于深度图像的绘制(DIBR)技术用于绘制虚拟视图像。在深度图的压缩编码过程中,深度图的失真会引起绘制的虚拟视图像的失真。深度图用于绘制而不用于显示的特性使得准确估计深度图绘制的虚拟视失真可以提高深度图编码的率失真性能。本文分析了不同的深度图失真引起的不同的虚拟视失真,进而提出一种估计深度图失真引起虚拟视失真的指数模型,并将模型用于深度图编码的率失真优化(RDO)中。实验结果表明,本文提出的模型可以准确估计深度图失真引起的虚拟视失真,提高深度图编码性能,相比于HTM的VSO可以降低约10%的编码时间,并且虚拟视质量略优于HTM。

利用视频与深度图相关性的深度图帧内编码

因现有帧内编码算法编码深度图中含有边缘的宏块编码效率较低,故提出了一种利用视频与深度图之间相关性的边缘跳过帧内编码方法.该方法利用聚类方法从当前深度编码宏块及其参考像素部分对应的视频区域获得边缘信息,以此作为当前深度编码宏块及其参考像素的分割边缘信息,然后利用所得分割边缘信息将参考像素映射到当前编码宏块作为预测值.为了滤除聚类方法获得的分类信息中存在的噪点或者毛刺对预测的干扰,提出了双向扫描滤波的方法.利用所提边缘跳过帧内预测方法,可以跳过对边缘宏块中复杂边缘的编码,甚至边缘宏块完全被跳过不编码.实验结果表明,与原始编码算法相比,所提方法平均可减少24.25%的码率,峰值信噪比平均提升了0.70dB,主观编码质量也得到明显增强.

基于非均匀量化的小波域分布式深度图视频编码

针对分布式多视点加深度格式(DMVD)的视频编码中深度图视频解码质量问题,提出一种结合子带层及子带系数的小波域分布式深度视频非均匀量化方案,通过给边缘分配更多比特来提升深度图的边缘质量。结合深度图经小波变换后系数分布特性,对第N层的低频小波系数采用均匀量化方案,对其他层高频小波系数采用非均匀量化方案。针对高频系数的非均匀量化,对处于"0"左右的高频系数采用较大的量化步长,随着高频系数幅度值的增大,量化步长逐渐减小,量化逐渐精细,从而提升深度图中的边缘细节质量。实验结果表明,对于边缘较多且变化较明显的"Dancer"和"Poznan Hall2"深度序列,该算法能够有效地提高二者的边缘信息质量从而提高其率失真(R-D)性能,最高可达1.2 d B;而对于边缘区域较小且较为模糊的"Newspaper"和"Balloons"深度序列,系统的R-D性能也能被提升0.3 d B左右。

采用灰度共生矩阵进行深度预判的3D-HEVC深度图帧内快速编码算法

针对3D视频的3D-HEVC编码标准以多视点纹理视频和深度视频格式进行编码,其深度图编码仍延续纹理视频编码的模式和编码尺寸遍历选择,使得3D-HEVC的编码复杂度居高不下。为进一步减少3D-HEVC编码复杂度,本文针对深度图帧内预测编码,采用灰度共生矩阵对深度图中的CTU进行计算,统计并分析其矩阵中非零值个数与CTU分割深度的关系,根据非零值个数分布规律,设定阈值,使得帧内编码时可以预判编码模块的分割深度,从而选择性跳过部分不同深度CU的帧内预测过程。经过HTM-16.0测试平台的检验,本算法在全帧内编码模式下,测试序列合成视点比特率仅增加0.08%的同时,平均节省了16.8%的编码时间,与其他同类较新算法在HTM-16.0平台上的性能比较也有一定的优势。

3D-HEVC中深度图帧内预测模式判决过程的改进

深度图建模模式的使用可以有效地降低编码的深度图内部边界处的伪影效应,从而改善深度图的编码质量,但同时也极大地增加了编码的计算复杂度。为了降低由此而带来的计算复杂度,对深度图帧内预测的模式判决过程和现有的快速模式判决方案进行了分析,同时对不同大小的编码块使用深度图建模模式的情况进行了统计。然后,从编码块的特征和编码块的大小两个角度对现有的模式判决过程进行了改进。实验结果表明,改进后的方案在基本不影响编码质量的前提下能有效地加速帧内预测的模式判决过程。

基于纹理信息与深度图空时梯度的深度图上采样算法

针对基于"2D+深度"数据表示格式的3D视频数据,在编码前对深度图进行降采样编码能够有效地降低码率,然而引入的降采样失真将会影响合成图像的质量。因此,如何有效地在解码端进行上采样以降低降采样失真的影响成为了当前研究的关键问题。本文提出了基于纹理信息与深度图空时梯度的深度图上采样算法,基于深度序列中图像间的时间梯度,图像像素点的水平梯度和垂直梯度,确定深度图像素间的时空相关性,对采样参考点进行决策,从而利用相关的参考点对深度图进行上采样。实验表明,本文方法提高了深度序列的编码性能和最终合成的虚拟视点图像的质量。

一种基于局部直方图匹配的深度编码滤波算法

深度图压缩编码会引起深度图失真,进而造成虚拟合成视点图像边缘模糊、缺失甚至前/背景错位,严重影响3D视频质量。利用深度图边缘突出、内部平滑的特性,分析发现其局部累计直方图呈线性分段函数分布的规律。从深度图编码流中提取图像分块大小,建立图像块直方图映射函数,匹配编码失真后的深度图与原始参考深度图的局部累计直方图,校正由深度图编码引起的深度错误,改善深度图质量。实验结果表明,提出的方法不仅能提高深度图主观质量,消除深度图编码边缘模糊现象,而且信噪比最高可提高2.03dB。

基于边缘复杂度的深度图帧内模式选择方法

3D-HEVC在深度图中的内部模式众多导致了编码时间大量增加.为此,提出了一种基于边缘复杂度的深度图帧内模式选择方法.由于DMMs中的深度图帧内模式适用于不同特征的边缘,其中的Intra_Wedge模式针对简单边缘而Intra_Contour模式适用复杂边缘.因此提出了依据边缘复杂度情况分别选择不同深度图帧内模式到候选列表中.实验结果表明,该算法在保证视频质量的条件下,节省了29.24%的编码时间.

基于3D-HEVC的三维视频编码方法综述

三维高效视频编码(three-dimensional high efficiency video coding,3D-HEVC)是立体视频编码扩展的国际标准化组织(Joint Collaborative Team on 3D Video Coding Extension Development,JCT-3V)推出的目前最新的3D视频编码标准,基于3D-HEVC的三维视频编码技术的研究推动了其应用并成为目前三维视频编码技术的研究热点.在回顾3D视频编码标准发展基础上,描述了基于3D-HEVC的三维视频编码方案,对其中最为关键的三维视频纹理图与深度图编码方法与研究进展进行了重点分析与阐述.首先,对目前借助视频序列中纹理特性的三维视频纹理图编码方法展开了综述并说明其存在的问题.然后,对基于纹理特性和区域的三维视频深度图编码方法展开了分析和论述.最后,结合近年来最新的研究成果,展望了三维视频编码技术的发展并提出了新的研究课题.

基于纹理平滑度的视点合成失真优化快速算法

针对3D-HEVC中深度图编码采用的视点合成失真优化方法的高复杂度问题,提出一种基于纹理平滑度的快速算法。首先结合帧内DC预测特性和统计学方法分析平坦纹理图中像素规律并设定基于纹理图平坦度的跳过准则;然后在深度图编码采用视点合成失真优化方法时提前分离出纹理图平坦区域所对应的深度图区域,并终止该区域像素基于虚拟视点合成的视点合成失真计算过程。实验结果证明该算法的有效性,能在保持编码质量的同时减少大量编码时间。

基于自适应分段跳过规则的视点合成优化方法

对目前三维高效视频编码(3D-HEVC)标准的性能进行了分析,针对其深度图编码采用的合成视点失真变化(SVDC)计算复杂度高的问题,提出了一种基于自适应分段跳过规则的视点合成优化(VSO)方法。考虑到原始方法跳过了深度数据没有变化的模块或像素行,但忽略了可以在VSO中跳过的较小区域,该方法首先根据深度零失真准则和纹理平滑度准则判别出深度图中不会造成合成视点失真的区域,然后在深度图编码进行SVDC计算前基于自适应分段规则来提前跳过上述零失真区域,最后终止该区域的SVDC计算过程,有效地降低编码复杂度。对比实验结果证明了该方法的有效性,能在保持编码质量不变的前提下,平均减少14.2%的编码时间。