基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。

面向高质量虚拟视点的深度编码及JNDD研究

高清三维视频对显示质量的要求提高推动深度编码快速发展,在编码深度的过程中考虑绘制出来虚拟视点的质量,在编码器中加入绘制的过程,可以使用基于绘制失真的率失真优化指导编码。人眼对深度的感知在一定变化内不会察觉(JNDD),如果能够找到JNDD的具体定义,能够推动三维视频编码的进一步发展。

基于JNDD模型面向虚拟视绘制快速深度图编码

为了降低深度数据的编码复杂度并保证重建虚拟视点的质量,提出了一种基于JNDD模型面向虚拟视点绘制的快速深度图编码算法,引入最小可觉深度差模型,将深度图划分为对绘制失真敏感的竖直边缘区域与失真难以被人眼察觉的平坦区域,并相应地为编码过程中的宏块模式选择设计了两种搜索策略。实验结果表明,与JM编码方案相比,该方法在保证虚拟视质量与编码码率基本不变的前提下,显著降低了编码复杂度,有助于在三维视频系统中提高深度编码模块的编码速度。

恰可察觉深度差异模型的深度图优化方法

针对人眼视觉对空间深度变化的灵敏度特性,研究人眼对深度细节感知的最小可察觉差值。通过大量的主观实验得到恰可察觉深度差异(JNDD,just noticeable depth difference)模型,并提出基于此JNDD的三边滤波深度图优化算法,用来抑制不被感知的深度细节,减少由于深度估计过程中引入的噪声而导致的深度绘制失真。主观和客观实验结果证明本文所提出的基于JNDD模型的三边滤波深度图优化算法,在降低深度编码码率的情况下,可使合成虚拟视点图像中物体的边缘更加平滑,减少了边缘噪声。