一种用于DIBR的去隔行算法

提出了一种适用于DIBR的去隔行算法。该算法首先采用一种基于方向的场内插值算法对隔行参考图像及其深度图像去隔行,这种场内插值算法能够通过对插值方向进行自适应的选择,有效地消除锯齿现象;然后算法会根据逐行的参考图像及其深度图像进行三维图像变换,得到逐行的目标图像。实验表明,所提出的去隔行算法能得到画质较高的逐行新视图,且算法性能是鲁棒的。该算法适用于基于DIBR的3D视频的去隔行。

递进填充线算法对DIBR虚拟图像的修复

在基于深度图的虚拟图像绘制(DIBR)中,前景物体的遮挡会造成虚拟图像中的空洞问题.针对Criminisi算法及模板匹配对空洞边界噪声敏感的问题,提出一种基于递进填充线的填补算法.首先根据视点变换的方向将空洞的背景部分边界扩大,以消除深度误差造成的空洞边界上的残余前景噪声;在空洞填充的遍历过程中,采用提出的递进填充线算法对每次更新后的剩余空洞提取基于视点方向的部分边界作为填充线,以限制被填充块的搜索范围,使被填充空洞块的择优顺序以背景纹理优先,避免了空洞边界上前景纹理的误填充.实验结果表明,该算法峰值信噪比比Criminisi算法平均高出1.617 3,比基于深度的模板匹配算法平均高出1.310 5,能更有效地抑制DIBR空洞纹理的错误生长,修复图像质量.

Depth Based View Synthesis Using Graph Cuts for 3DTV

In three-dimensional television (3DTV), an interactive free viewpoint selection application has received more attention so far. This paper presents a novel method that synthesizes a free-viewpoint based on multiple textures and depth maps in multi-view camera configuration. This method solves the cracks and holes problem due to sampling rate by performing an inverse warping to retrieve texture images. This step allows a simple and accurate re-sampling of synthetic pixels. To enforce the spatial consistency of color and remove the pixels wrapped incorrectly because of inaccuracy depth maps, we propose some processing steps. The warped depth and warped texture images are used to classify pixels as stable, unstable and disoccluded pixels. The stable pixels are used to create an initial new view by weighted interpolation. To refine the new view, Graph cuts are used to select the best candidates for each unstable pixel. Finally, the remaining disoccluded regions are filled by our inpainting method based on depth information and texture neighboring pixel values. Our experiment on several multi-view data sets is encouraging in both subjective and objective results. Furthermore, our proposal can flexibly use more than two views in multi-view system to create a new view with higher quality.

Detection of the Single Image from DIBR Based on 3D Warping Trace and Edge Matching

Recently, the popularity of 3D content is on the rise because of its immersive experience to view- ers. While demands for 3D contents and 3D technologies increase, only a few copyright protection methods for 3D contents have been proposed. The simplest infringement is the illegal distribution of the single 2D image from 3D content. The leaked image is still valuable as 2D content and the leakage can be occurred in DIBR system. To detect the leaked image, we focus on the hole-filled region which is caused by the hole-filling procedure mandatory in DIBR system. To estimate the hole-filled regions, two different procedures are conducted to extract edges and to estimate 3D warping traces, respectively. After that, the hole-filled regions are estimated and the left-right-eye image discrimination (LR discrimination) is also conducted. Experimental results demonstrate the effectiveness of the proposed method using quantitative measures.

基于边缘差异的虚拟视图像质量评价方法

为了降低多视视频中的传输数据量,可适当减少包含纹理图及其对应深度图的多视数量,而在自由立体视频系统的终端采用基于深度图的绘制技术,生成新的虚拟视点。由于不准确的深度图估计、遮挡及合成算法等原因,合成虚拟视的边缘会出现高频噪声。对于这种特有的失真,用一般的评价方法并不能准确反映人眼的视觉感知。该文在分析失真虚拟视与原始视像素差异基础上,对各差异像素进行分类,并分配权重,提出了一种基于视觉加权的边缘差异质量评价方法,对边缘像素施加较高权重。经多视视频序列实验证明,该文方法相比于其它评价方法,能更好地预测人类视觉对虚拟视图像的主观感知。

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术(Double-sided Depth-Image Based Rendering,Double-sided DIBR)中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。(1)提出一种深度差值估计法。(2)在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。(3)对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。(4)改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比(Peak Signal to Noise Ratio,PSNR)以及结构相似(Structural SIMilarity,SSIM)都有所提高。

基于空间加权的虚拟视点绘制算法

在自由视点视频系统中,如何能在视频终端得到高质量的视频图像已成为基于深度图的绘制(DIBR)技术所研究的主要任务,其中虚拟视点像素插值是该技术中影响绘制质量的一个重要环节。针对虚拟视点绘制标准方案中存在的问题,提出了一种基于空间加权的像素插值算法。它是通过对多个投影像素点的深度值和水平方向绝对距离进行加权操作来实现像素插值的。在插值过程中,该算法考虑了不同区域投影像素点个数对像素插值准确性的影响,从而剔除了部分失真像素点,并且在图像输出前还分别对左、右参考虚拟视点进行了失真检测和矫正。实验结果表明,该算法改善了绘制的主、客观质量,其中,PSNR平均提高0.30 d B,SSIM平均提高0.001 3。因此,该算法可以有效地抑制像素插值过程引入的噪声,提高像素插值的精度。

一种预处理后分类填补空洞的方法

深度图像绘制(depth-image-based rendering,DIBR)技术是目前解决3D显示中片源短缺问题普遍采用的方法,但采用DIBR技术绘制的目标图像上不可避免地会产生空洞点。为了获取更高质量的目标图像,文章提出一种预处理后分类填补的空洞点解决方案。该方案在预处理阶段,先对滤波后的深度图进行前景向后景的梯度过渡,经过DIBR变换之后得到的目标图像上空洞点会减少且更为分散;在空洞填补阶段,先对目标图像上的空洞点进行标记,对非边界的大小空洞点自动匹配不同的插值模板进行插值填补,对边界位置的大空洞点则用参考图像上相应位置像素点进行填补。实验结果表明,该方案能够较好地填补梯度过渡后目标图像上的空洞点,填补结果准确且算法简单,填补耗时短。

基于深度引导空洞填补的虚拟视点绘制方法

针对单视点绘制虚拟视点图像存在的空洞问题,提出一种基于深度引导空洞修复的虚拟视点绘制方法。核心思想是通过对多个映射像素点的深度信息和空间位置信息进行加权插值操作来实现细小的空洞填充,并且分区域对大型空洞填补。在像素点插值的过程中,该方法首先考虑映射像素点的可靠性,剔除不可靠的像素点,从而减少错误的映射像素点。在填补大型空洞中,继承基于样本图像修复算法的优点,并引入深度信息来辅助空洞填补,以较为准确的方式来修复图像。实验结果表明,无论是主观视觉效果,还是客观值都要比Criminisi算法要好。

对3D Warping分解的高质量虚拟视点绘制方法

基于深度图像的虚拟视点绘制(DIBR)作为自由视点视频应用中的核心问题,由其获得的任意视频的质量和速度对于自由视点视频的发展至关重要。为解决经典DIBR方法存在的重叠、空洞、伪影,以及由于重采样导致的细小裂纹问题以提高虚拟视点图像质量,提出了一种基于改进的3D Warping过程的虚拟视点绘制方法。该方法从整个3D Warping过程出发,将3D Warping过程分解成两步而无需进行三维建模,并分别在两步中提出了改进的方法。在第一步中,通过在变换矩阵中引入可调的系数对三维参数进行修改;在第二步中,主要针对由于重采样导致的细小的裂纹问题,提出了自适应一投多算法,在兼顾时间复杂度的同时改善了裂纹问题。实验结果表明,无论从主观质量还是客观评价标准来看,该方法都能够显著提高虚拟视点绘制的图像质量。

基于边缘PUnet网络的虚拟视图空洞修复

基于深度图的绘制(DIBR)是虚拟视点合成的关键技术,但其生成的虚拟视图存在大面积连续的空洞.传统的图像修复算法修复后的空洞缺乏语义感,现有的部分卷积神经网络修复后的空洞边缘失真,因此本文提出基于边缘信息的部分卷积神经网络修复算法.首先本文利用视差移位来生成虚拟视图,并对虚拟视图进行赋值和膨胀预处理操作,以消除裂缝和伪影对后期空洞修复的影响,然后在部分卷积神经网络中加入设计的边缘检测器,使部分卷积神经网络重点学习图片的边缘部分,最后利用学习好的网络模型修复虚拟视图中的大面积空洞.实验结果表明本文方法可以对大面积连续的空洞进行修复,修复后的空洞区域不仅具有语义感,且边缘细节也更精细.

图像空洞填补算法及其FPGA硬件实现

文章提出了一种有效的空洞填补算法,该算法首先通过深度梯度过渡减少前景与后景的边界空洞,然后根据空洞与周围像素远近关系设置不同填补权值并进行空洞填补;同时算法依据填补像素中不同的空洞数量给出不同填补方法。仿真结果表明,目标视图的峰值信噪比与均方误差分别达到38.64 dB和8.90,能够有效地消除目标视图中的空洞。运用Quartus Ⅱ软件,对该算法进行现场可编程门阵列(field programmable gate array,FPGA)硬件实现及测试;结果表明,该算法在硬件实现上也能够有效填补图像中的空洞。

一种去除虚假边缘的任意视点绘制方法

基于深度图的视点渲染(DIBR)是支撑3D视频服务的一种重要技术。为了解决任意视点绘制结果中常出现的虚假边缘问题,本文在前向映射过程中采用了一种深度图不连续区域检测的算法,且在后向映射过程为了节省计算成本仅对必要的像素点集处理,并对alpha融合后的图像进行纹理修复,获得了高质量的视点绘制结果。实验证明,在微软提供的多视点数据集上测试得到PSNR和SSIM指标都优于DIBR标准参考方法的处理结果。

3D-HEVC虚拟视点合成技术研究

虚拟视点合成技术是实现自由视点电视和三维电影最主要的技术之一,已成为三维高效视频编码(3D High Efficiency Video Coding,3D-HEVC)实时渲染领域的研究热点。本文在介绍虚拟视点合成技术的基础上,综述虚拟视点合成技术的研究进展。总结了基于像素填充和基于样本填充方法在空洞填充中的应用,分析比较了不同滤波算法下深度图预处理对合成视图质量的影响以及帧间运动估计中的3种快速算法。

3D视频中基于前景的过渡像素深度划归方法

DIBR(Depth Image Based Rendering)算法的提出,使得3D视频只需要一个原始视点的纹理信息及其对应的深度信息就能绘制出新的虚拟视点,因此深度信息的精准与否将直接影响到绘制的虚拟视点质量。由于深度失真经常发生在前景与背景的过渡区域,本文对该区域像素定义为过渡像素,针对这种过渡像素的深度失真问题进行了分析,并提出了一种基于前景的过渡像素深度划归方法。主要思想是:通过阈值判断找出过渡像素的位置,然后将前景的深度值赋予过渡像素。实验表明,这种方法能够有效的减少绘制过程的失真,提高虚拟视点的质量。

An adaptive interpolation algorithm for hole-filling in free viewpoint video

Depth image based rendering （DIBR） is an effective approach for virtual view synthesis in free viewpoint television and 3D video.One of the important steps in DIBR is filling the holes caused by disoeclusion regions and wrong depth values.Most of the existing hole-filling methods work well in areas of low spatial activity but fail to obtain satisfactory results in high spatial activity regions.In this paper,we combine the depth based hole-filling and the adaptive recursive interpolation algorithm which is capable of handling edges passing through the missing areas.Accoring to the experimental results,we confirm that the depth based adaptive recursive interpolation algorithm can provide better rendering quality objectively and subjectively.

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。

采用图像修复的基于深度图像复制

在传统的基于深度图像复制(DIBR)的基础上提出一种基于图像修复的DIBR方法,将预处理深度图像和图像修复算法相结合来填补三维图像映射后的空洞。与传统方法相比更加灵活,本文方法仅需传输一路参考图像序列,从而有效降低DIBR系统的传输带宽。实验结果证明,本文所提出方法是有效的。

快速3维坐标变换的绘制算法

目的基于深度图的绘制(DIBR)是一种新型的虚拟视点生成技术,在诸多方面得到了广泛的应用。然而,该技术还不能满足实时性的绘制需求。为了在保证绘制质量不下降的前提下,尽可能地提高绘制速度,提出了一种高效的3D-Warping(3维坐标变换)算法。方法主要在以下3个方面进行了改进:1)引入了深度—视差映射表技术,避免了重复地进行视差求取操作。2)对深度平坦的像素块进行基于块的3D-Warping,减少了映射的次数。对深度非平坦像素块中的像素点采取传统的基于像素点的3D-Warping,保证了映射的准确性。3)针对两种不同的3D-Warping方式,分别提出了相应的插值算法。在水平方向上,改进的像素插值算法对紧邻插值和Splatting(散射)插值算法进行了折中,只在映射像素点与待插值像素点很近的情况下才进行紧邻插值,否则进行Splatting插值;在深度方向上,它对Z-Buffer(深度缓存)技术进行了改进,舍弃了与前景物体太远的映射像素点,而对其他映射像素点按深度值进行加权操作。结果实验结果表明,与标准绘制方案的整像素精度相比,绘制时间平均节省了72.05%;与标准绘制方案的半像素精度相比,PSNR平均提高了0.355 d B,SSIM平均提高了0.001 15。结论改进算法非常适用于水平设置相机系统的DIBR技术中的整像素精度绘制,对包含大量深度平坦区域的视频序列效果明显,不但能够提高绘制的速度,而且可以有效地改善绘制的客观质量。