多视点与深度视频编码技术研究综述

多视点与深度视频(MVD)可以有效表示自由视点视频,减少了需传输视点的个数,该表达形式正受到越来越多的关注,如何对MVD进行高效编码尤为重要。介绍了自由视点视频的发展现状及国内外研究概况,详细讨论了深度图像的高效编码技术及多视点与深度联合编码技术,并对多视点与深度视频编码技术进行了总结及展望。

3D视频生成与编码的时间一致性深度图估计(英文)

In this paper, we propose a new algorithm for temporally consistent depth map estimation to generate three-dimensional video. The proposed algorithm adaptively computes the matching cost using a temporal weighting function, which is obtained by block-based moving object detection and motion estimation with variable block sizes. Experimental results show that the proposed algorithm improves the temporal consistency of the depth video and reduces by about 38% both the flickering artefact in the synthesized view and the number of coding bits for depth video coding.

结合显著性的MVD视频整帧丢失错误隐藏

基于多视点视频加深度(Multiview Video plus Depth,MVD)格式的三维视频能给用户提供多视角的沉浸式视觉体验.针对MVD视频流传输中彩色帧发生整帧丢失的情况,提出了一种结合视觉显著性的三维视频整帧丢失错误隐藏算法.先将丢失帧各区域划分为三种不同的显著等级,然后对低、中、高显著区域,分别采用时域直接拷贝、时域和视点间像素自适应搜索法和新型的运动矢量补偿法进行恢复.相较于目前的对比算法,经提出算法重建后的丢失帧的峰值信噪比值(Peak Signal to Noise Ratio,PSNR)和结构相似度值(Structural Similarity Index Measure,SSIM)能分别提高0.99~2.61 dB和0.005~0.012,并且重建图像主观视觉质量更佳.

基于中心凹恰可觉察失真模型的多视点深度视频编码方法

针对深度视频压缩中存在的大量视觉冗余,提出了一种基于中心凹恰可觉察失真(FJND)模型的深度视频编码方法。首先通过左右通道的彩色和深度视频绘制虚拟视点图像,并利用FJND模型得到虚拟视点图像的FJND,然后根据深度视频中几何偏移和深度值失真之间的关系确定深度视频左通道的可允许失真,将深度视频左通道分区域采用自适应量化参数进行编码,并对右通道的深度视频根据与左通道量化参数的关系进行编码。实验结果表明,本文方法在相同码率下,虚拟视点图像质量平均提高0.48dB;在相同虚拟视点图像的绘制质量下,深度视频编码码率平均减少26%。

面向六自由度视频应用的多视点视频码率分配

六自由度(Six Degree of Freedom,6DoF)视频系统允许用户从全方位、以任意视角身临其境地体验场景,是沉浸式视频技术的发展方向。根据6DoF视频系统中用户观看位置的变化,对多视点彩色与深度视频的码率分配是高质量场景生成的关键。本文从虚拟视点的失真出发,提出一种基于虚拟视点质量预测(Quality prediction model of virtual view,QPMVV)模型的视点级码率分配方法。首先理论分析了彩色和深度视频编码失真和虚拟视点失真的关系,然后通过实验统计分析了虚拟视点质量与彩色和深度视频编码量化参数的关系,建立了多视点彩色和深度视频的QPMVV模型,最后推导出多视点彩色和深度视频的相关视点的码率分配比例。实验表明,与平均分配的方法相比,本文码率分配方法能显著提升虚拟视点的主观和客观质量。虚拟视点越偏离中心位置,质量改善越明显。