基于3D-HEVC的三维视频编码方法综述

三维高效视频编码(three-dimensional high efficiency video coding,3D-HEVC)是立体视频编码扩展的国际标准化组织(Joint Collaborative Team on 3D Video Coding Extension Development,JCT-3V)推出的目前最新的3D视频编码标准,基于3D-HEVC的三维视频编码技术的研究推动了其应用并成为目前三维视频编码技术的研究热点.在回顾3D视频编码标准发展基础上,描述了基于3D-HEVC的三维视频编码方案,对其中最为关键的三维视频纹理图与深度图编码方法与研究进展进行了重点分析与阐述.首先,对目前借助视频序列中纹理特性的三维视频纹理图编码方法展开了综述并说明其存在的问题.然后,对基于纹理特性和区域的三维视频深度图编码方法展开了分析和论述.最后,结合近年来最新的研究成果,展望了三维视频编码技术的发展并提出了新的研究课题.

一种低延迟的3维高效视频编码中深度建模模式编码器

为了更好地对3D视频中深度图进行编码,该文将3维高效视频编码(3D-HEVC)标准新引入了深度建模模式(DMMs),新模式在提高了编码质量的同时改进了原有算法的复杂度。在设计DMM-1编码器电路时,传统架构电路的编码周期均较长,只能满足较低分辨率和帧率的视频实时编码要求。为了进一步提高3D-HEVC中DMM-1编码器的性能,该文对DMM-1算法架构进行了研究,针对其中楔形块评估无数据相关性的特点,提出了一种5级流水线架构的DMM-1编码器硬件电路,以期能够降低一个深度块编码所需的编码周期,并使用VerilogHDL进行实现。实验表明:该架构与Sanchez等人(2017年)的工作相比,以电路门数增加约1568门为代价,可减少至少52.3%的编码周期。

面向三维高效视频编码的深度图错误隐藏

基于多视点视频序列视点内、视点间存在的相关性,并结合视点间运动矢量共享技术,该文提出一种面向3维高效视频编码中深度序列传输丢包的错误隐藏算法。首先,根据3D高效视频编码(3D-HEVC)的分层B帧预测(HBP)结构和深度图纹理特征,将深度图丢失块分成运动块和静止块;然后,对于受损运动块,使用结合纹理结构的外边界匹配准则来选择相对最优的运动/视差矢量进行基于位移矢量补偿的错误掩盖,而对受损静止块采用参考帧直接拷贝进行快速错误隐藏;最后,使用参考帧拆分重组来获取新的运动/视差补偿块对修复质量较差的重建块进行质量提升。实验结果表明:相较于近年提出的对比算法,该文算法隐藏后的深度帧平均峰值信噪比(PSNR)能提升0.25~2.03 dB,结构相似度测量值(SSIM)能提升0.001~0.006,且修复区域的主观视觉质量与原始深度图更接近。

3D-HEVC深度视频编码MERGE模式快速选择

针对3D-HEVC中多视点深度视频编码进行研究,提出了一种对深度视频参考视点的MERGE模式快速选择算法。考虑到多视点深度视频相邻视点间相关性和MVD格式中深度视频与彩色视频间相关性,在两个方向上的参考CU采用相同编码深度时,借鉴深度视频主视点PU模式信息以加快当前CU帧间模式选择速度。在深度主视点采用MERGE模式时,当前视点跳过其他的预测模式而直接采用MERGE模式。实验结果表明,在码率和图像质量基本不变的情况下,提出的算法可以有效地提高帧间模式选择速度。

基于多类支持向量机的3D-HEVC深度视频帧内编码快速算法

深度视频编码中最优深度划分和模式选择过程具有非常高的计算复杂度。提出了基于多类支持向量机(MSVM,multi-class support vector machine)的深度视频帧内编码快速算法。该算法包括离线模型训练和快速编码2个部分。在离线模型训练中,用深度视频最大编码单元(LCU,largest coding unit)的最优划分深度作为标签,当前LCU的空域复杂度、空域相邻LCU的最优划分深度和彩色视频对应LCU的最优划分深度作为特征去构造MSVM模型。在编码时,提取LCU的特征,根据MSVM模型得到划分深度的预测值。根据该预测值提前终止编码单元递归划分和模式选择过程。实验结果表明,提出的算法在几乎不影响虚拟视点质量的情况下,平均节省35.91%的总体编码时间和40.04%的深度编码时间。

3D-HEVC深度视频快速帧内编码算法

多视点彩色加深度视频(MVD)是目前3D场景的主流表示方式之一。在3D-HEVC的编码框架中,深度视频帧内编码具有较高的编码复杂度。本文提出了一种基于区域分割的3D-HEVC深度视频快速帧内编码算法。首先根据对应彩色视频的纹理特征和深度视频的边界提取结果,把深度图分为四个区域;然后统计分析了各区域中深度视频编码失真对绘制中间视点质量的影响以及帧内编码预测模式的分布规律;最后设计了在不同区域里采用不同的CU尺寸提前决定、模式粗选限定和快速DMMs模式决定的算法。实验结果表明,本文提出的算法在绘制的中间视点质量不变的情况下平均节省55.11%的总体编码时间,对于深度视频的编码时间平均节省61.57%。

抗重压缩编码的3D-HEVC视频零水印算法

考虑到零水印算法的优越性以及目前针对3D高效视频编码标准的视频水印算法少的情况,提出了一种抗重压缩编码的视频零水印算法。首先,利用I帧的深度图及非I帧的运动矢量和编码单元划分情况对水印的构造位置进行选择。其次,通过全相位双正交变换及奇异值分解对16×16块进行处理,获取最大奇异值的最高有效位作为最终的特征信息。最后,得到的特征信息与图像水印进行异或生成零水印并进行零水印注册。实验结果表明,在不同量化参数的重压缩编码攻击、基于帧及重压缩编码混合攻击和信号处理及重压缩编码混合攻击下,本文算法具有良好的鲁棒性。

基于3D-SPIHT的立体视频图像压缩编码

该文提出一种新的立体视频编码方案:在辅助序列中进行视差补偿预测和三维等级数集合分区(3D-SPIHT)编码,3D-SPIHT算法建立在真三维小波分解基础上,通过定义一种新的时空方向树结构,实现了静止图像SPIHT算法的三维扩展,实验结果表明该方案的编码性能略高于传统方案,具有较低的计算复杂度,所产生的嵌入式辅助序列码流,可根据通道带宽自适应调整输出码率,最大限度地提高辅助序列的质量。

3D视频生成与编码的时间一致性深度图估计(英文)

In this paper, we propose a new algorithm for temporally consistent depth map estimation to generate three-dimensional video. The proposed algorithm adaptively computes the matching cost using a temporal weighting function, which is obtained by block-based moving object detection and motion estimation with variable block sizes. Experimental results show that the proposed algorithm improves the temporal consistency of the depth video and reduces by about 38% both the flickering artefact in the synthesized view and the number of coding bits for depth video coding.

3D-HEVC中改进的NBDV推导方法

为提高基于相邻块视差矢量(disparity vector from neighboring blocks,NBDV)的精确度,提出一种NBDV推导的改进算法。依据不同候选位置上DV被最终选为NBDV的概率和率失真优化算法,选出当前编码单元(coding unit,CU)的空域、时域相邻块所有最优视差矢量(disparity vector,DV),重新建立NBDV候选列表,根据列表中DV的数量,结合率失真优化算法推导出最终的NBDV。实验结果表明,改进算法较传统NBDV推导算法有大幅提高,NBDV更加精确,在保持码率,PSNR基本不变的情况下,编码时间平均可减少21.73%。

基于3D-HEVC标准的相邻块视差矢量获取算法质量优化的研究

在高效视频编码标准的三维扩展方案(3D-HEVC)中,相邻块视差矢量获取算法是视点间纹理图编码的一项关键技术.针对现有快速算法获取的视差矢量质量有所下降的问题,本文提出一种利用分组搜索和按比例组合策略的相邻块视差矢量获取质量优化算法.首先,改变原有相邻块视差矢量获取算法中将第一个搜索到的视差矢量作为最终视差矢量的准则;其次,设计一种新的分组结合方法,将时间方向和空间方向上的待搜索的候选块分为若干小组,并将互相临近的候选块中得到的视差矢量按比例结合为新的视差矢量;最后,设计新的分组搜索策略,在新的视差矢量与原有矢量中获取最终相邻块视差矢量.实验结果表明,在维持现有基于编码单元的简化相邻块视差矢量获取算法效率的前提下可实现编码质量提升.

3D-HEVC深度图帧内快速模式决策算法

3D-HEVC是多视点纹理加深度视频(MVD)的最新编码标准。针对3D-HEVC中深度图帧内编码过程计算复杂度高的问题,提出了一种减少帧内候选模式数目的快速模式决策算法。该算法基于最佳预测模式与粗选模式列表首位模式与之间的相关性,选择成为最佳预测模式概率较高的几种HEVC帧内预测模式加入到粗选模式列表中。实验结果表明,与原始HTM13.0相比,该算法使得深度图的编码时间减少26.35%,而引起的合成视点的失真忽略不计。

基于三维离散余弦变换的体三维视频数据压缩

针对体三维视频数据量巨大的问题,提出基于三维离散余弦变换(3D-DCT)的体三维视频数据压缩方法.该方法结合3D-DCT和三维运动估计,利用3D-DCT消除体帧内部的空间冗余.提出快速三维块匹配算法实现运动估计消除相邻体帧之间的时间冗余,利用半体素搜索算法提高块匹配精度.提出帧内体块和帧间体块的量化方法,对量化后的DCT系数采用三维之字形扫描方式组织,应用游程/自适应算术编码系统实现对DCT系数的编码.实验结果表明,对于运动较平缓的序列,该方法的性能优于JPEG2000方法;对于运动剧烈的序列,在高比特率情况下性能不如JPEG2000.该方法的平均峰值信噪比相对于3D-DCT静态体图像压缩方法提高2dB左右.

3D-HEVC合并模式快速判决方法研究

基于高效视频编码的3D视频编码(3D-HEVC)是目前正在研究的新一代3D视频编码标准。为降低3DHEVC中模式选择的计算复杂度,根据非独立视点纹理图中合并模式采用率高的特点,该文提出了一种3DHEVC合并模式快速判决方法。在B帧中,分析了当前编码单元(CU)与视点方向参考帧中参考块间编码模式的相关性;在P帧中,分析了位于相邻划分深度的CU间编码模式的相关性。根据分析的视点间和划分深度间的相关性设计快速判决条件,预判采用合并/合并-跳过模式编码的CU,判别出的CU在模式选择过程中只检查与预判模式相关的候选预测模式,从而降低计算复杂度。实验结果表明,与3D-HEVC原始算法相比,该文算法能够在率失真性能损失很小的前提下,平均节省11.2%的总编码时间和25.4%的非独立视点纹理图的编码时间。

基于学习模型的3D-HEVC提前Merge模式终止算法

作为高效视频编码(HEVC)的扩展,3D-HEVC 标准有效地提高了 3D 视频的压缩效率,但是也带来了很高的编码计算复杂度。为了显著地降低 3D-HEVC 编码复杂度,提出了一种提前 Merge 模式终止算法。首先,提取 Merge 模式编码后的残差信号作为特征信息;然后,根据当前编码帧内已经编码的编码单元(CU)的最优Merge 模式残差信号建立学习模型;最后,提取当前 CU 的 Merge 模式的残差信号,并且利用学习模型预测 Merge模式是否为最优模式。实验结果表明,提出的提前 Merge 模式终止算法分别将 3D-HEVC 纹理视点和深度图编码的时间降低了 41.9%和 24.3%,且编码性能的降低几乎可忽略不计。相较于现有的提前 Merge 模式算法,提出的提前 Merge 模式终止算法能进一步降低 3D-HEVC 的编码时间,并且设计简单,易于集成到 3D-HEVC 测试模型。

3D-HEVC虚拟视点合成技术研究

虚拟视点合成技术是实现自由视点电视和三维电影最主要的技术之一,已成为三维高效视频编码(3D High Efficiency Video Coding,3D-HEVC)实时渲染领域的研究热点。本文在介绍虚拟视点合成技术的基础上,综述虚拟视点合成技术的研究进展。总结了基于像素填充和基于样本填充方法在空洞填充中的应用,分析比较了不同滤波算法下深度图预处理对合成视图质量的影响以及帧间运动估计中的3种快速算法。

3D-HEVC深度建模模式的优化及并行设计

针对三维高效视频编码(3D High Efficiency Video Coding,3D-HEVC)增加的深度数据引入极高复杂度和资源消耗的问题,利用3D-HEVC的软件测试模型HTM16.1,对帧内预测算法的深度图进行分析,充分利用深度图中楔形分割具有相邻边缘分割和相对边缘分割的特点,提出了一种精简楔形搜索模板.实验表明,所提出的优化方案在不改变视频编码质量的情况下,节约了99.2%的存储空间,减少了61.8%的编码时间.此外,针对楔形波在视频测试平台上串行执行时间较长、存储消耗较大等缺点,考虑到提出的精简楔形搜索模板间无数据相关性,充分利用项目组提供的阵列处理器(DPR-CODEC)天然并行的特性,提出了一种帧内预测模式并行方案.所设计的并行方案数据加载时间的串/并加速比为1.912,在执行编码时各模板的串/并加速比达到1.637.

基于帧内帧间联合预测的深度视频编码方法

在基于多视点加深度(MVD)格式的视频编码方案中,深度视频的编码性能直接影响最终绘制的虚拟视点的质量。对于具有边界的深度块而言,传统的帧内预测和帧间预测模式仍存在一定的提升空间。因此,文中提出一种基于帧内帧间联合预测的深度视频编码方法。该方法首先获取当前深度块的最优帧内预测模式和最优帧间预测模式。然后,将这两种模式应用于边界深度块的不同区域。最后,自适应地调整预测结果的加权系数,实现联合预测。实验结果表明,相对于3D-HEVC平台的传统预测模式,本方法实现了更好的编码性能。

联合深度视频增强的3D-HEVC帧内编码快速算法

目的针对高效3维视频编码标准(3D-HEVC)深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元(CU)划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元(PU)进行分类,跳过低边缘强度PU的深度模型模式。结果实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。

可重构结构下四叉树编码划分并行设计与实现

针对三维高效视频编码过程中因数据量巨大而导致的计算时间长和硬件资源消耗大等问题,提出了一种基于可重构阵列处理器的四叉树编码单元(Coding Unit,CU)划分并行化设计方案。基于四叉树编码的循环嵌套分层结构,结合可重构阵列处理器分布式共享存储的特点,采用了数据级并行计算和流水线作业(功能并行)的思想进行加速。实现四叉树CU划分的并行映射与验证。结果表明,在不影响编码质量的情况下,该方案消耗较小的硬件资源,同时并行设计的加速比达到了9.64。与专用硬件相比,LUT资源消耗减少78%,REG资源消耗减少20%。