多视成像实时校正与立体显示

手工摆放的平行摄像机阵列所拍摄的多视点立体图像往往会产生垂直视差.为了消除多视点图像的垂直视差,必须进行多视点图像的校正.提出一种简单有效的多视图校正算法,并基于该算法构建了自由立体显示系统.应用多线程进行摄像机软同步以及后续的实时优化.当摄像机图像的上传分辨率为1 280×960、上传速率为25帧/s、目标3D显示器的分辨率为1 920×1 080时,采用双线性插值,可达到20帧/s左右的显示速率;若采用复杂度更低的插值方法,则可达到20帧/s以上的显示速率.该算法实现了8路摄像机实时校正和立体显示的3D电视系统.

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。

调整量最小的多视图像校正算法

在多视自由视点电视(FTV)系统中,摄像机阵列拍摄的多视视频存在垂直视差、且水平视差分布不均等问题,严重影响合成视频的质量效果。现有的多视图像校正方法虽然消除了垂直视差,但是校正图像过程中引入的旋转和平移失真较大,使人眼产生不舒适感。为此,本文提出一种适于平行摄像机阵列的多视图像校正算法,首先建立理想的摄像机安放位置,然后计算多视图像校正变换,将实拍图像映射到理想摄像机位置处,得到校正后图像。在设计理想的摄像机安放位置时,考虑人眼视觉特性,确保坐标轴旋转和平移调整量最小化,实现多视图像校正变换引入图像失真总量最小。实验表明,该算法不仅可以消除垂直视差,而且图像校正过程中引入的失真小,符合人眼视觉习惯,能有效改善合成视的图像质量,提高人眼观看舒适程度。

基于边缘的面向虚拟视绘制的深度编码算法

深度图由锐边缘包围纹理的匀质区域组成,因此边缘信息对于虚拟视的绘制至关重要.由于深度图不同区域的失真会对绘制虚拟视质量产生不同的影响,提出一种基于边缘的面向虚拟视绘制的深度编码算法.将深度图划分为边缘区域和平坦区域:对于边缘区域,采用全搜索策略,以提高边缘区域的编码质量;对于平坦区域,采用SKIP模式和16×16模式,以提高编码效率.除此之外,在去块滤波中,提出一种利用纹理图和深度图边缘相似性的可保护深度图片边缘的中值三边滤波器.实验结果表明,与JM编码方案相比,该方法在码率基本不变的前提下,提高了编码效率和虚拟视绘制的主观质量.