基于动态自重构结构的3D-HEVC帧内预测算法并行化实现

3D高效视频编码3D-HEVC中帧内预测算法在专用硬件上的实现具有一定的局限性,无法满足帧内预测算法多种模式灵活自主切换的需求,导致编码性能差,硬件资源利用率不高。针对这一问题,提出一种新的3D-HEVC帧内预测算法在可编程动态自重构阵列处理器上的实现方法,该方法基于动态自重构机制,通过可编程控制器实时收集阵列执行状态,监测到阵列对当前任务执行结束后自主下发新的执行任务。通过对不同预测模式映射方案的硬件自主重构,实现算法的灵活切换。实验结果表明,与相关工作相比,该方法在提高灵活性的同时,硬件资源减少了49.1%,计算延迟减少了29.2%。将测试序列经过整个帧内环路测试,测试结果显示,图像质量良好。

基于T-CNN的3D-HEVC深度图帧内快速编码算法

3D-HEVC标准中引入了具有大面积平坦区域、陡峭边缘和低纹理复杂度特性的深度图。针对深度图编码过程中编码单元(CU)率失真优化导致编码复杂度过高这一问题,本文在分析深度图编码所具有的特点的基础上,构建了深度图划分深度数据集,并提出了一种基于两通道特征传递卷积神经网络(T-CNN)的划分深度预测算法。使用本文提出的算法替换原始编码器中各视点下深度图CU划分模块,可以在一定的率失真性能损失下,将原始HTM-16.0编码器编码时间平均减少76%左右,编码效率得到了显著提升。

基于视频阵列处理器的3D-HEVC视差估计算法并行设计与实现

三维高效视频编码(3D High Efficiency Video Coding,3D-HEVC)中视差估计算法存在处理数据量大、运算时间长和资源消耗大的问题,进一步提高算法执行效率对于3D-HEVC的推广应用具有十分重要的意义。在深入分析视差估计算法的并行性的基础上,基于项目组开发的视频阵列处理器(DPR-CODEC),提出一种新的并行实现方案。在可重构阵列结构中完成了视差估计算法的并行映射、功能仿真和FPGA测试,显著减少了视差估计算法的执行时间。实验结果表明,所提出的并行实现方案相比于串行单PE执行时间节省了59%,基于可编程可重构阵列的并行实现在具有较高的执行效率的同时也具有较好的灵活性。

3D-HEVC深度图帧内编码快速算法

编码3D视频的3D-HEVC编码标准采用多视点加深度图的编码格式,新增的深度信息使编码复杂度剧增。本文针对编码块(Coding Unit,CU)的四叉树分割模型和帧内预测模式,提出了深度图帧内编码的快速算法。用Otsu’s算子计算当前CU的最大类间方差值,判断当前CU是否平坦,对平坦CU终止四叉树分割和减少帧内模式的遍历数目。根据子CU与上一层CU的相似性,利用已编码的上一层CU对提前终止CU分割算法做优化。本算法与原始3D-HEVC算法相比减少40.1%的编码时间,而合成视点的质量几乎无变化。

3D-HEVC中深度图帧内预测模式判决过程的改进

深度图建模模式的使用可以有效地降低编码的深度图内部边界处的伪影效应,从而改善深度图的编码质量,但同时也极大地增加了编码的计算复杂度。为了降低由此而带来的计算复杂度,对深度图帧内预测的模式判决过程和现有的快速模式判决方案进行了分析,同时对不同大小的编码块使用深度图建模模式的情况进行了统计。然后,从编码块的特征和编码块的大小两个角度对现有的模式判决过程进行了改进。实验结果表明,改进后的方案在基本不影响编码质量的前提下能有效地加速帧内预测的模式判决过程。

3D-HEVC中深度图编码技术研究进展

3D-HEVC是为了满足3D视频和自由视点视频的高效编码而最新制定的视频编码标准,它要求同时编码几个视点的纹理视频和深度图。完全采用传统的技术来编码深度图会使得深度图内部锐利边界处产生伪影效应,为此,一些新的针对于深度图的编码工具被开发。详细介绍了这些编码工具,同时介绍了编码深度图时所使用的率失真优化方法。

纹理图的3D-HEVC深度图编码单元快速划分算法

为了降低3D-HEVC编码标准中深度图的帧内预测编码复杂度和编码时间,使用概率统计分析纹理图的最大编码单元(LCU)划分分布与深度映射图的LCU划分分布之间的相关性,提出一种快速算法,通过判断纹理图中LCU的划分深度,跳过深度映射图中一些不必要的LCU划分和模式判别过程,从而在基本不影响视频质量的前提下,提高编码效率。实验结果表明,可以在保证峰值信噪比(PSNR)和比特率(bit-rate)基本不变的情况下,大幅度减少深度图的编码时间。

3D-HEVC深度图帧内快速模式决策算法

3D-HEVC是多视点纹理加深度视频(MVD)的最新编码标准。针对3D-HEVC中深度图帧内编码过程计算复杂度高的问题,提出了一种减少帧内候选模式数目的快速模式决策算法。该算法基于最佳预测模式与粗选模式列表首位模式与之间的相关性,选择成为最佳预测模式概率较高的几种HEVC帧内预测模式加入到粗选模式列表中。实验结果表明,与原始HTM13.0相比,该算法使得深度图的编码时间减少26.35%,而引起的合成视点的失真忽略不计。

3D-HEVC深度图帧内CU尺寸快速决策算法

为了降低3维高性能视频编码(3D-HEVC)中深度图帧内编码过程的计算复杂度,提出了一种基于灰度直方图的提前终止编码单元(Coding Unit,CU)划分的快速算法。首先,对当前CU的像素值进行统计并生成灰度直方图,然后计算灰度直方图中灰度值分布的区间长度,当灰度值分布的区间长度小于给定的阈值时,提前结束当前CU的分割进程。实验结果表明,与原始HTM13.0算法相比,所提算法平均减少了35.64%的深度图编码时间,且合成视点的比特率仅仅增加了0.11%,有效降低了深度图的编码复杂度。

采用灰度共生矩阵进行深度预判的3D-HEVC深度图帧内快速编码算法

针对3D视频的3D-HEVC编码标准以多视点纹理视频和深度视频格式进行编码,其深度图编码仍延续纹理视频编码的模式和编码尺寸遍历选择,使得3D-HEVC的编码复杂度居高不下。为进一步减少3D-HEVC编码复杂度,本文针对深度图帧内预测编码,采用灰度共生矩阵对深度图中的CTU进行计算,统计并分析其矩阵中非零值个数与CTU分割深度的关系,根据非零值个数分布规律,设定阈值,使得帧内编码时可以预判编码模块的分割深度,从而选择性跳过部分不同深度CU的帧内预测过程。经过HTM-16.0测试平台的检验,本算法在全帧内编码模式下,测试序列合成视点比特率仅增加0.08%的同时,平均节省了16.8%的编码时间,与其他同类较新算法在HTM-16.0平台上的性能比较也有一定的优势。

基于多类支持向量机的3D-HEVC深度视频帧内编码快速算法

深度视频编码中最优深度划分和模式选择过程具有非常高的计算复杂度。提出了基于多类支持向量机(MSVM,multi-class support vector machine)的深度视频帧内编码快速算法。该算法包括离线模型训练和快速编码2个部分。在离线模型训练中,用深度视频最大编码单元(LCU,largest coding unit)的最优划分深度作为标签,当前LCU的空域复杂度、空域相邻LCU的最优划分深度和彩色视频对应LCU的最优划分深度作为特征去构造MSVM模型。在编码时,提取LCU的特征,根据MSVM模型得到划分深度的预测值。根据该预测值提前终止编码单元递归划分和模式选择过程。实验结果表明,提出的算法在几乎不影响虚拟视点质量的情况下,平均节省35.91%的总体编码时间和40.04%的深度编码时间。

3D-HEVC深度视频编码MERGE模式快速选择

针对3D-HEVC中多视点深度视频编码进行研究,提出了一种对深度视频参考视点的MERGE模式快速选择算法。考虑到多视点深度视频相邻视点间相关性和MVD格式中深度视频与彩色视频间相关性,在两个方向上的参考CU采用相同编码深度时,借鉴深度视频主视点PU模式信息以加快当前CU帧间模式选择速度。在深度主视点采用MERGE模式时,当前视点跳过其他的预测模式而直接采用MERGE模式。实验结果表明,在码率和图像质量基本不变的情况下,提出的算法可以有效地提高帧间模式选择速度。

基于3D-HEVC的三维视频编码方法综述

三维高效视频编码(three-dimensional high efficiency video coding,3D-HEVC)是立体视频编码扩展的国际标准化组织(Joint Collaborative Team on 3D Video Coding Extension Development,JCT-3V)推出的目前最新的3D视频编码标准,基于3D-HEVC的三维视频编码技术的研究推动了其应用并成为目前三维视频编码技术的研究热点.在回顾3D视频编码标准发展基础上,描述了基于3D-HEVC的三维视频编码方案,对其中最为关键的三维视频纹理图与深度图编码方法与研究进展进行了重点分析与阐述.首先,对目前借助视频序列中纹理特性的三维视频纹理图编码方法展开了综述并说明其存在的问题.然后,对基于纹理特性和区域的三维视频深度图编码方法展开了分析和论述.最后,结合近年来最新的研究成果,展望了三维视频编码技术的发展并提出了新的研究课题.

3D-HEVC深度视频快速帧内编码算法

多视点彩色加深度视频(MVD)是目前3D场景的主流表示方式之一。在3D-HEVC的编码框架中,深度视频帧内编码具有较高的编码复杂度。本文提出了一种基于区域分割的3D-HEVC深度视频快速帧内编码算法。首先根据对应彩色视频的纹理特征和深度视频的边界提取结果,把深度图分为四个区域;然后统计分析了各区域中深度视频编码失真对绘制中间视点质量的影响以及帧内编码预测模式的分布规律;最后设计了在不同区域里采用不同的CU尺寸提前决定、模式粗选限定和快速DMMs模式决定的算法。实验结果表明,本文提出的算法在绘制的中间视点质量不变的情况下平均节省55.11%的总体编码时间,对于深度视频的编码时间平均节省61.57%。

基于3D-HEVC的立体视频码流组织方案

立体视频通常包含多个视点的纹理信息和深度信息,因而相对于传统的二维视频,立体视频数据量巨大,这就给立体视频的存储和传输带来了挑战,3D-HEVC作为最新的立体视频编码标准,有着良好的编码性能,但是依然无法满足立体视频在现有网络和终端环境下的自由共享,本文基于立体视频的数据特性和人眼视觉效应,提出一种优化的码流组织方案,该方案对立体视频不同视点的纹理信息和深度信息分别采用不同的量化参数,最终生成不同码率的立体视频码流,在码率逐渐降低的情况下,该方案能够保证较好的立体视频效果。

纹理类型预判和SDC优化的3D-HEVC深度图帧内算法

为了降低3D-HEVC中深度图编码的计算复杂度,提出了结合纹理类型预判的深度图帧内快速编码算法SOG-SDC。针对深度图中穷尽模式搜索开销大,采用DMMs(depth modeling modes)模式几率小,以及分段直流残差编码模式(segment-wise DC coding,SDC)判断复杂的问题,通过计算当前预测单元(prediction unit,PU)的梯度和(sum-of-gradient,SOG)来预判编码单元(coding unit,CU)的类型(平坦/非平坦),并根据CU类型进行两方面的优化:一方面,选择性地跳过DMMs模式的检查,并提前终止CU的分割;另一方面,只对全率失真列表中平坦预测模式进行SDC编码,跳过其他候选模式的SDC编码。实验结果表明,在合成视点主观质量基本不变的情况下,该算法相较于HTM16.0在比特率仅增加0.14%的情况下减少了26.03%的编码时间,有效地降低了3D-HEVC视频编码的计算复杂度。

采用深度帧内跳过模式的3D-HEVC视频水印算法

考虑到目前针对3维高效视频编码标准的视频水印算法缺乏的问题,提出一种基于深度帧内跳过模式的视频水印算法.首先,分析深度帧内跳过模式的编码过程,并将该模式的4种预测类型分为垂直、水平两大类;其次,进一步分析帧内误差传播问题,对深度帧内跳过模式的预测类型与水印值不匹配的嵌入单元进行选择,以消除传播误差.最后,根据水印嵌入前、后的率失真代价变化来决定是否修改其预测类型.结果表明:在不同的量化参数下,平均每帧嵌入容量分别为649.567,340.155,173.286和58.130 bit,平均比特率变化分别为0.043%,0.046%,0.460%和0.018%.算法对比结果还表明:文中所提算法具有更大的嵌入容量,对比特率的影响更小,在对比特率影响小的同时具有一定的抗重编码攻击性能.

3D-HEVC深度图像帧内编码单元划分快速算法

针对3维高性能视频编码(3D-HEVC)中深度图像帧内编码单元(Coding Unit,CU)划分复杂度高的问题,该文提出一种基于角点和彩色图像的自适应快速CU划分算法。首先利用角点算子,并根据量化参数选取一定数目的角点,以此进行CU的预划分;然后联合彩色图像的CU划分对预划分的CU深度级进行调整;最后依据调整后的CU深度级,缩小当前CU的深度级范围。实验结果表明,与原始3D-HEVC的算法相比,该文所提算法平均减少了约63%的编码时间;与只基于彩色图像的算法相比,该文的算法减少了约13%的编码时间,同时降低了约3%的平均比特率,有效地提高了编码效率。

3D-HEVC中改进的NBDV推导方法

为提高基于相邻块视差矢量(disparity vector from neighboring blocks,NBDV)的精确度,提出一种NBDV推导的改进算法。依据不同候选位置上DV被最终选为NBDV的概率和率失真优化算法,选出当前编码单元(coding unit,CU)的空域、时域相邻块所有最优视差矢量(disparity vector,DV),重新建立NBDV候选列表,根据列表中DV的数量,结合率失真优化算法推导出最终的NBDV。实验结果表明,改进算法较传统NBDV推导算法有大幅提高,NBDV更加精确,在保持码率,PSNR基本不变的情况下,编码时间平均可减少21.73%。

基于3D-HEVC标准的相邻块视差矢量获取算法质量优化的研究

在高效视频编码标准的三维扩展方案(3D-HEVC)中,相邻块视差矢量获取算法是视点间纹理图编码的一项关键技术.针对现有快速算法获取的视差矢量质量有所下降的问题,本文提出一种利用分组搜索和按比例组合策略的相邻块视差矢量获取质量优化算法.首先,改变原有相邻块视差矢量获取算法中将第一个搜索到的视差矢量作为最终视差矢量的准则;其次,设计一种新的分组结合方法,将时间方向和空间方向上的待搜索的候选块分为若干小组,并将互相临近的候选块中得到的视差矢量按比例结合为新的视差矢量;最后,设计新的分组搜索策略,在新的视差矢量与原有矢量中获取最终相邻块视差矢量.实验结果表明,在维持现有基于编码单元的简化相邻块视差矢量获取算法效率的前提下可实现编码质量提升.