一种用于DIBR的去隔行算法

提出了一种适用于DIBR的去隔行算法。该算法首先采用一种基于方向的场内插值算法对隔行参考图像及其深度图像去隔行,这种场内插值算法能够通过对插值方向进行自适应的选择,有效地消除锯齿现象;然后算法会根据逐行的参考图像及其深度图像进行三维图像变换,得到逐行的目标图像。实验表明,所提出的去隔行算法能得到画质较高的逐行新视图,且算法性能是鲁棒的。该算法适用于基于DIBR的3D视频的去隔行。

递进填充线算法对DIBR虚拟图像的修复

在基于深度图的虚拟图像绘制(DIBR)中,前景物体的遮挡会造成虚拟图像中的空洞问题.针对Criminisi算法及模板匹配对空洞边界噪声敏感的问题,提出一种基于递进填充线的填补算法.首先根据视点变换的方向将空洞的背景部分边界扩大,以消除深度误差造成的空洞边界上的残余前景噪声;在空洞填充的遍历过程中,采用提出的递进填充线算法对每次更新后的剩余空洞提取基于视点方向的部分边界作为填充线,以限制被填充块的搜索范围,使被填充空洞块的择优顺序以背景纹理优先,避免了空洞边界上前景纹理的误填充.实验结果表明,该算法峰值信噪比比Criminisi算法平均高出1.617 3,比基于深度的模板匹配算法平均高出1.310 5,能更有效地抑制DIBR空洞纹理的错误生长,修复图像质量.

Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering

A new algorithm is proposed for restoring disocclusion regions in depth-image-based rendering （DIBR） warped images. Current solutions include layered depth image （LDI）, pre-filtering methods, and post-processing methods. The LDI is complicated, and pre-filtering of depth images causes noticeable geometrical distortions in cases of large baseline warping. This paper presents a depth-aided inpainting method which inherits merits from Criminisi＇s inpainting algorithm. The proposed method features incorporation of a depth cue into texture estimation. The algorithm efficiently handles depth ambiguity by penalizing larger Lagrange multipliers of flling points closer to the warping position compared with the surrounding existing points. We perform morphological operations on depth images to accelerate the algorithm convergence, and adopt a luma-first strategy to adapt to various color sampling formats. Experiments on test multi-view sequence showed that our method has superiority in depth differentiation and geometrical loyalty in the restoration of warped images. Also, peak signal-to-noise ratio （PSNR） statistics on non-hole regions and whole image comparisons both compare favorably to those obtained by state of the art techniques.

Detection of the Single Image from DIBR Based on 3D Warping Trace and Edge Matching

Recently, the popularity of 3D content is on the rise because of its immersive experience to view- ers. While demands for 3D contents and 3D technologies increase, only a few copyright protection methods for 3D contents have been proposed. The simplest infringement is the illegal distribution of the single 2D image from 3D content. The leaked image is still valuable as 2D content and the leakage can be occurred in DIBR system. To detect the leaked image, we focus on the hole-filled region which is caused by the hole-filling procedure mandatory in DIBR system. To estimate the hole-filled regions, two different procedures are conducted to extract edges and to estimate 3D warping traces, respectively. After that, the hole-filled regions are estimated and the left-right-eye image discrimination (LR discrimination) is also conducted. Experimental results demonstrate the effectiveness of the proposed method using quantitative measures.

用于3DTV的图像绘制技术

针对3DTV的应用,对深度图像绘制技术(DIBR)、光线空间表示法和光场绘制法这3类绘制方法分别提出了改进算法,实验结果表明新生成视图质量良好,可以用于3DTV系统的交互式场景渲染。

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。

基于边缘差异的虚拟视图像质量评价方法

为了降低多视视频中的传输数据量,可适当减少包含纹理图及其对应深度图的多视数量,而在自由立体视频系统的终端采用基于深度图的绘制技术,生成新的虚拟视点。由于不准确的深度图估计、遮挡及合成算法等原因,合成虚拟视的边缘会出现高频噪声。对于这种特有的失真,用一般的评价方法并不能准确反映人眼的视觉感知。该文在分析失真虚拟视与原始视像素差异基础上,对各差异像素进行分类,并分配权重,提出了一种基于视觉加权的边缘差异质量评价方法,对边缘像素施加较高权重。经多视视频序列实验证明,该文方法相比于其它评价方法,能更好地预测人类视觉对虚拟视图像的主观感知。

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术(Double-sided Depth-Image Based Rendering,Double-sided DIBR)中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。(1)提出一种深度差值估计法。(2)在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。(3)对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。(4)改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比(Peak Signal to Noise Ratio,PSNR)以及结构相似(Structural SIMilarity,SSIM)都有所提高。

二维多视点图像阵列采集及虚拟视点合成算法

针对二维多视点图像阵列由于采集设备限制而难于获取的问题,采用单个相机结合摄影轨道的方法进行采集.为了提高采集效率和满足不同显示设备对图像源的需求,提出一种基于深度图绘制(DIBR)技术的二维虚拟视点合成算法,在水平、垂直以及斜线方向实现了相邻参考图像间的虚拟视点合成.实验结果给出了实际采集到的二维多视点图像阵列以及合成的虚拟视点图像,并分别从图像质量和立体感两个方面对虚拟视点图像进行评价,评价结果表明,虚拟合成后的图像具有连续的视差变化可以真实再现拍摄对象的结构信息.

基于空间加权的虚拟视点绘制算法

在自由视点视频系统中,如何能在视频终端得到高质量的视频图像已成为基于深度图的绘制(DIBR)技术所研究的主要任务,其中虚拟视点像素插值是该技术中影响绘制质量的一个重要环节。针对虚拟视点绘制标准方案中存在的问题,提出了一种基于空间加权的像素插值算法。它是通过对多个投影像素点的深度值和水平方向绝对距离进行加权操作来实现像素插值的。在插值过程中,该算法考虑了不同区域投影像素点个数对像素插值准确性的影响,从而剔除了部分失真像素点,并且在图像输出前还分别对左、右参考虚拟视点进行了失真检测和矫正。实验结果表明,该算法改善了绘制的主、客观质量,其中,PSNR平均提高0.30 d B,SSIM平均提高0.001 3。因此,该算法可以有效地抑制像素插值过程引入的噪声,提高像素插值的精度。

一种预处理后分类填补空洞的方法

深度图像绘制(depth-image-based rendering,DIBR)技术是目前解决3D显示中片源短缺问题普遍采用的方法,但采用DIBR技术绘制的目标图像上不可避免地会产生空洞点。为了获取更高质量的目标图像,文章提出一种预处理后分类填补的空洞点解决方案。该方案在预处理阶段,先对滤波后的深度图进行前景向后景的梯度过渡,经过DIBR变换之后得到的目标图像上空洞点会减少且更为分散;在空洞填补阶段,先对目标图像上的空洞点进行标记,对非边界的大小空洞点自动匹配不同的插值模板进行插值填补,对边界位置的大空洞点则用参考图像上相应位置像素点进行填补。实验结果表明,该方案能够较好地填补梯度过渡后目标图像上的空洞点,填补结果准确且算法简单,填补耗时短。

基于深度引导空洞填补的虚拟视点绘制方法

针对单视点绘制虚拟视点图像存在的空洞问题,提出一种基于深度引导空洞修复的虚拟视点绘制方法。核心思想是通过对多个映射像素点的深度信息和空间位置信息进行加权插值操作来实现细小的空洞填充,并且分区域对大型空洞填补。在像素点插值的过程中,该方法首先考虑映射像素点的可靠性,剔除不可靠的像素点,从而减少错误的映射像素点。在填补大型空洞中,继承基于样本图像修复算法的优点,并引入深度信息来辅助空洞填补,以较为准确的方式来修复图像。实验结果表明,无论是主观视觉效果,还是客观值都要比Criminisi算法要好。

对3D Warping分解的高质量虚拟视点绘制方法

基于深度图像的虚拟视点绘制(DIBR)作为自由视点视频应用中的核心问题,由其获得的任意视频的质量和速度对于自由视点视频的发展至关重要。为解决经典DIBR方法存在的重叠、空洞、伪影,以及由于重采样导致的细小裂纹问题以提高虚拟视点图像质量,提出了一种基于改进的3D Warping过程的虚拟视点绘制方法。该方法从整个3D Warping过程出发,将3D Warping过程分解成两步而无需进行三维建模,并分别在两步中提出了改进的方法。在第一步中,通过在变换矩阵中引入可调的系数对三维参数进行修改;在第二步中,主要针对由于重采样导致的细小的裂纹问题,提出了自适应一投多算法,在兼顾时间复杂度的同时改善了裂纹问题。实验结果表明,无论从主观质量还是客观评价标准来看,该方法都能够显著提高虚拟视点绘制的图像质量。

基于边缘PUnet网络的虚拟视图空洞修复

基于深度图的绘制(DIBR)是虚拟视点合成的关键技术,但其生成的虚拟视图存在大面积连续的空洞.传统的图像修复算法修复后的空洞缺乏语义感,现有的部分卷积神经网络修复后的空洞边缘失真,因此本文提出基于边缘信息的部分卷积神经网络修复算法.首先本文利用视差移位来生成虚拟视图,并对虚拟视图进行赋值和膨胀预处理操作,以消除裂缝和伪影对后期空洞修复的影响,然后在部分卷积神经网络中加入设计的边缘检测器,使部分卷积神经网络重点学习图片的边缘部分,最后利用学习好的网络模型修复虚拟视图中的大面积空洞.实验结果表明本文方法可以对大面积连续的空洞进行修复,修复后的空洞区域不仅具有语义感,且边缘细节也更精细.

图像空洞填补算法及其FPGA硬件实现

文章提出了一种有效的空洞填补算法,该算法首先通过深度梯度过渡减少前景与后景的边界空洞,然后根据空洞与周围像素远近关系设置不同填补权值并进行空洞填补;同时算法依据填补像素中不同的空洞数量给出不同填补方法。仿真结果表明,目标视图的峰值信噪比与均方误差分别达到38.64 dB和8.90,能够有效地消除目标视图中的空洞。运用Quartus Ⅱ软件,对该算法进行现场可编程门阵列(field programmable gate array,FPGA)硬件实现及测试;结果表明,该算法在硬件实现上也能够有效填补图像中的空洞。

一种去除虚假边缘的任意视点绘制方法

基于深度图的视点渲染(DIBR)是支撑3D视频服务的一种重要技术。为了解决任意视点绘制结果中常出现的虚假边缘问题,本文在前向映射过程中采用了一种深度图不连续区域检测的算法,且在后向映射过程为了节省计算成本仅对必要的像素点集处理,并对alpha融合后的图像进行纹理修复,获得了高质量的视点绘制结果。实验证明,在微软提供的多视点数据集上测试得到PSNR和SSIM指标都优于DIBR标准参考方法的处理结果。

基于块的分级空洞填充技术

空洞填充技术是基于深度图像绘制(Depth Image Based Rendering,DIBR)的一种非常重要的后期处理技术,针对单路彩色加深度3D视频系统,提出了一种基于块的分级空洞填充技术,该技术首先将含有空洞的目标图像中的空洞区域分成两个等级,等级一为小空洞区域,等级二为大空洞区域。然后对两个等级的空洞分别进行处理,对于等级一区域的空洞直接利用块的均值来填充空洞;对于等级二区域的空洞,先在空洞区域的边缘产生一个含有空洞的块,然后搜索周围与之最匹配的块来填充当前块中的空洞。实验结果显示,相较于传统的邻域和仅仅使用块均值填充,分级空洞算法较好地改善了填充后图像的主观质量,且其客观性能也有一定的提升。

3D视频中基于前景的过渡像素深度划归方法

DIBR(Depth Image Based Rendering)算法的提出,使得3D视频只需要一个原始视点的纹理信息及其对应的深度信息就能绘制出新的虚拟视点,因此深度信息的精准与否将直接影响到绘制的虚拟视点质量。由于深度失真经常发生在前景与背景的过渡区域,本文对该区域像素定义为过渡像素,针对这种过渡像素的深度失真问题进行了分析,并提出了一种基于前景的过渡像素深度划归方法。主要思想是:通过阈值判断找出过渡像素的位置,然后将前景的深度值赋予过渡像素。实验表明,这种方法能够有效的减少绘制过程的失真,提高虚拟视点的质量。

3D-HEVC虚拟视点合成技术研究

虚拟视点合成技术是实现自由视点电视和三维电影最主要的技术之一,已成为三维高效视频编码(3D High Efficiency Video Coding,3D-HEVC)实时渲染领域的研究热点。本文在介绍虚拟视点合成技术的基础上,综述虚拟视点合成技术的研究进展。总结了基于像素填充和基于样本填充方法在空洞填充中的应用,分析比较了不同滤波算法下深度图预处理对合成视图质量的影响以及帧间运动估计中的3种快速算法。

An adaptive interpolation algorithm for hole-filling in free viewpoint video

Depth image based rendering （DIBR） is an effective approach for virtual view synthesis in free viewpoint television and 3D video.One of the important steps in DIBR is filling the holes caused by disoeclusion regions and wrong depth values.Most of the existing hole-filling methods work well in areas of low spatial activity but fail to obtain satisfactory results in high spatial activity regions.In this paper,we combine the depth based hole-filling and the adaptive recursive interpolation algorithm which is capable of handling edges passing through the missing areas.Accoring to the experimental results,we confirm that the depth based adaptive recursive interpolation algorithm can provide better rendering quality objectively and subjectively.