一种低延迟的3维高效视频编码中深度建模模式编码器

为了更好地对3D视频中深度图进行编码,该文将3维高效视频编码(3D-HEVC)标准新引入了深度建模模式(DMMs),新模式在提高了编码质量的同时改进了原有算法的复杂度。在设计DMM-1编码器电路时,传统架构电路的编码周期均较长,只能满足较低分辨率和帧率的视频实时编码要求。为了进一步提高3D-HEVC中DMM-1编码器的性能,该文对DMM-1算法架构进行了研究,针对其中楔形块评估无数据相关性的特点,提出了一种5级流水线架构的DMM-1编码器硬件电路,以期能够降低一个深度块编码所需的编码周期,并使用VerilogHDL进行实现。实验表明:该架构与Sanchez等人(2017年)的工作相比,以电路门数增加约1568门为代价,可减少至少52.3%的编码周期。

增强的深度建模模式Contour分割

在新一代高效三维视频编码标准(High Efficiency Video Coding for 3D,3D-HEVC)中,为了更加精确地表示深度图中的物体边界,利用非矩形块分割的深度建模模式(Depth modelling modes,DMMs)预测编码方法被引入,现有的DMMs模式包括锲形(Wedgelet)分割和轮廓(Contour)分割2种模式,其主要区别在于推导分割的方式不同。Contour分割利用已编码纹理块信息进行深度分区推导,然而这种分割方法仅仅利用了纹理与深度之间的结构相关性,而忽略了边界相邻块之间具有的边缘相似性,这潜在导致推导块分割不准确,进而影响编码效率。针对Contour分割模式导致的分割不准确问题,结合深度边界块之间的边缘相似信息,提出了一种增强的Contour分割方法。实验结果表明,与3D-HEVC的参考软件HTM11.0相比,在全帧内(AllIntra,AI)编码测试条件下,对于合成视点平均有近0.1%的BD-Rate节省。

基于平均差的Delta CPV快速决策算法

为了更精准地呈现深度图的边缘,深度建模模式被引入3D-HEVC。深度建模模式中,Delta CPV通过最小失真搜索得到,搜索过程需要遍历所有可能的Delta CPV的集合,这也增加了编码过程的计算复杂度。针对Delta CPV搜索过程计算复杂度高的问题,分析了搜索范围的决策过程,提出利用平均差确定搜索范围的方法。实验结果表明,改进的算法使DMM过程的编码时间减少10.9%,而BD-rate只增加了0.02%。

3D-HEVC深度图帧内预测快速编码算法

三维高效视频编码在产生了高效的编码效率的同时也是以大量的计算复杂性作为代价的。因此为了降低计算的复杂度,本文提出了一种基于深度学习网络的边缘检测的3D-HEVC深度图帧内预测快速算法。算法中首先使用整体嵌套边缘检测网络对深度图进行边缘检测,而后使用最大类间方差法将得到的概率边缘图进行二值化处理,得到显著性的边缘区域。最后针对处于不同区域的不同尺寸的预测单元,设计了不同的优化方法,通过跳过深度建模模式和其他某些不必要的模式来降低深度图帧内预测的模式选择的复杂度,最终达到减少深度图的编码复杂度的目的。经过实验仿真的验证,本文提出的算法与原始的编码器算法相比,平均总编码时间可减少35%左右,且深度图编码时间平均大约可减少42%,而合成视点的平均比特率仅增加了0.11%。即本文算法在可忽略的质量损失下,达到降低编码时间的目的。