基于深度图像绘制技术的Criminisi算法的改进

针对基于深度图像绘制技术(depth-image based rendering,DIBR)中产生的空洞问题,为提高虚拟视点质量,提出一种基于深度图像绘制技术的Criminisi改进算法。对优先级进行改进,加入指数形式的置信度项和新的数据项,加强对细节部分的填补;在搜索最佳匹配块时,采用新的颜色匹配因子,添加梯度因子,结合深度因子,对映射后的纹理图和相对应的深度图进行搜索匹配。实验结果表明,相较传统空洞填补算法,改进算法在主观图像质量与客观峰值信噪比(peak signal to noise ratio,PSNR)方面有所提高。

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术(Double-sided Depth-Image Based Rendering,Double-sided DIBR)中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。(1)提出一种深度差值估计法。(2)在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。(3)对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。(4)改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比(Peak Signal to Noise Ratio,PSNR)以及结构相似(Structural SIMilarity,SSIM)都有所提高。

基于深度图像绘制的视图合成

基于深度图像绘制(DIBR)的视图合成是3DTV中的关键技术。为了消除或减小合成视图中的空洞,常需要对深度图像进行平滑,但这往往会造成图像质量的下降,并造成"视图失真"。提出了一种新的基于DIBR的视图合成方法。该方法执行两次三维图像变换,第一次变换采用平滑后的深度图像,得到含有较小空洞的目标图像;第二次变换采用原始的深度图像,得到含有较大空洞的目标图像。然后以第二次变换得到的目标图像为基准将两幅目标图像融合,最后对得到的目标图像进行空洞填充。实验结果表明该方法合成的图像的质量令人满意,适用于3DTV中的视图合成。

基于GPU加速的深度图像绘制

基于深度图像的绘制(DIBR)广泛应用于虚拟视点的合成,但是目前实现DIBR的算法复杂度都比较高,很难较实时地应用到3DTV系统中。采用单路纹理图像和其对应的深度图像进行虚拟视点的合成,在图形处理单元(GPU)上应用CUDA(Compute Unified Device Architecture)技术实现了基于深度图像的绘制。通过在NVIDIA Telsa C2050图形卡上运行,绘制分辨力1 024×768和640×480的图像速率分别达到了15 f/s(帧/秒)和24 f/s,分别能够准实时或实时地应用到3DTV系统中;同时本文的绘制方法有效地节约了传输带宽,绘制图像的主观质量良好。

基于深度图像和半像素的虚拟视点绘制

为提高虚拟视点图像的绘制精度,提出了一种基于深度图像和半像素的虚拟视点绘制方法。该方法首先对参考图像进行预处理,包括图像的半像素处理和亮度校正,然后利用正向3D图像映射获得虚拟视点的图像和深度信息,再利用逆向3D图像映射填补由深度信息不准确等因素产生的部分空洞,并根据深度信息擦除背景伪影,最后根据空洞类型的不同采用不同的方法进行空洞填补。实验结果证明,利用该方法可以绘制出令人满意的虚拟视点图像。

基于深度图像的视点绘制新方法

针对虚拟视点合成中存在的伪影和空洞问题,提出一种基于深度图像的视点绘制新方法.该方法首先使用视点同步生成机制得到虚拟视点的图像和深度信息,并根据深度信息擦除背景伪影;其次,通过基于深度的空洞填补和边界处理方法进一步消除视点图像中的空洞和前景边缘失真.实验结果表明,与MPEG的3DV/FTV标准参考方法相比,该方法生成的虚拟视点PSNR值提高了2dB.

基于DIBR和图像融合的任意视点绘制

虚拟视点生成是3维视频会议等应用领域中的关键技术,为了快速高质量地进行任意视点绘制,提出了一种基于深度图像绘制(DIBR)和图像融合的新视点生成方法,该方法首先对参考图像进行预处理,包括深度图像的边缘滤波和参考图像规正,以减少目标图像中产生的较大空洞和虚假边缘;然后利用3维图像变换生成新视点图像,并用遮挡兼容算法对遮挡进行快速处理;接着再对两幅目标图像进行融合得到新视点图像;最后用插值法填充剩余的较小空洞。实验证明,该新方法能获得令人满意的绘制效果。

基于DIBR和图像修复的任意视点绘制

基于深度的图像绘制(DIBR)是高级视频应用的关键技术,为提高视点变换的图像质量,提出一种基于DIBR和图像修复的任意视点绘制方法。首先对深度图像进行形态学处理,以减少视点变换产生的空洞,平滑目标视点内部的物体轮廓;利用视点变换方程生成目标视点;对含有空洞的目标视点采用图像修复算法进行后处理,设计了含有深度项的代价函数,在深度的约束下进行纹理搜索,将最佳匹配块填补到空洞;在修复空洞的过程中采用亮度优先的策略以适应不同的色度采样格式。实验的主观效果对比和PSNR数据都显示本文算法比其他算法更为优越。

高质量的虚拟视点图像的绘制方法

针对应用深度图像的绘制(DIBR)技术生成的虚拟视点图像中存在的空洞问题,提出了一种基于DIBR的高质量的虚拟视点图像绘制算法。先由多幅参考图像分别生成同一虚拟视点位置的多幅目标图像,将这些虚拟视点目标图像融合为含有少量空洞的目标图像,然后采用逆映射的方法在多幅参考图像中找到这些剩余少量空洞的对应内容并填充空洞,从而生成高质量的虚拟视点图像。实验结果表明最后生成的虚拟视点图像具有良好的视觉效果。

基于边缘差异的虚拟视图像质量评价方法

为了降低多视视频中的传输数据量,可适当减少包含纹理图及其对应深度图的多视数量,而在自由立体视频系统的终端采用基于深度图的绘制技术,生成新的虚拟视点。由于不准确的深度图估计、遮挡及合成算法等原因,合成虚拟视的边缘会出现高频噪声。对于这种特有的失真,用一般的评价方法并不能准确反映人眼的视觉感知。该文在分析失真虚拟视与原始视像素差异基础上,对各差异像素进行分类,并分配权重,提出了一种基于视觉加权的边缘差异质量评价方法,对边缘像素施加较高权重。经多视视频序列实验证明,该文方法相比于其它评价方法,能更好地预测人类视觉对虚拟视图像的主观感知。

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。

DIBR中基于平面扫描的深度重建方法(英文)

提出一种DIBR中基于平面扫描法的深度重建方法,与立体深度重建算法和基于图像的视觉壳算法不同,本文进一步改进平面扫描算法,无需任何场景的几何先验知识,而是利用每个像素点的深度信息合成真实场景的虚拟视点。当输入图像映射至相互平行的虚拟深度平面时,采用"动态判决方法"来计算像素间的色彩一致度;并在虚拟视合成中采用了基于视向权重策略的新视点重建方法。本文算法获取的深度信息更为精确,虚拟新视点的质量得到较大提高。

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。

一种用于视图合成的空洞填充算法

针对较小的空洞提出了一种新的空洞填充算法。该算法总是先填充那些4邻域像素集中不空的像素大于等于本轮域值的空洞点,并且每填完一遍空洞点之后都重新搜索4邻域像素集中所有像素都不空的空洞点以开始下一轮填充。实验表明,该算法能较好地填充较小的空洞,特别是对纹理单一区域中的空洞能产生良好的填充效果。该算法适用于经过平滑深度图处理后剩余空洞的填充。

一种用于DIBR的去隔行算法

提出了一种适用于DIBR的去隔行算法。该算法首先采用一种基于方向的场内插值算法对隔行参考图像及其深度图像去隔行,这种场内插值算法能够通过对插值方向进行自适应的选择,有效地消除锯齿现象;然后算法会根据逐行的参考图像及其深度图像进行三维图像变换,得到逐行的目标图像。实验表明,所提出的去隔行算法能得到画质较高的逐行新视图,且算法性能是鲁棒的。该算法适用于基于DIBR的3D视频的去隔行。

基于块的分级空洞填充技术

空洞填充技术是基于深度图像绘制(Depth Image Based Rendering,DIBR)的一种非常重要的后期处理技术,针对单路彩色加深度3D视频系统,提出了一种基于块的分级空洞填充技术,该技术首先将含有空洞的目标图像中的空洞区域分成两个等级,等级一为小空洞区域,等级二为大空洞区域。然后对两个等级的空洞分别进行处理,对于等级一区域的空洞直接利用块的均值来填充空洞;对于等级二区域的空洞,先在空洞区域的边缘产生一个含有空洞的块,然后搜索周围与之最匹配的块来填充当前块中的空洞。实验结果显示,相较于传统的邻域和仅仅使用块均值填充,分级空洞算法较好地改善了填充后图像的主观质量,且其客观性能也有一定的提升。

适用于DIBR的匹配误差校正算法

由于可见性变化、深度图像的不精确性以及计算的不精确等原因,采用基于深度图像绘制(DIBR)技术生成的虚拟视点视图中可能会存在匹配误差.为此,提出了一种适用于DIBR的匹配误差校正算法——零交叉校正(ZCC)算法.该算法建立在顺序匹配约束的基础上,通过分析目标图像像素点与参考图像上对应匹配点的映射关系来确定匹配误差区域,将区域内所有点的匹配点都赋值成起始点的匹配点,从而达到匹配误差校正的目的.实验表明,该算法可以有效地消除匹配误差.由于该算法与DIBR中的三维图像变换过程没有直接联系,因而它可以作为一种附加的误差检测与校正算法应用于DIBR的后处理过程中.

构造全局背景的虚拟视点合成算法

虚拟视点合成技术是三维电视、多视点视频等诸多领域中的关键技术。目前,基于深度图像的绘制(DIBR)受到了广泛的关注,而这一技术的主要难点在于如何降低映射过程中产生的空洞。为解决这个问题,提高合成图像的质量,同时降低所需参考视点的数量,本文提出了一种基于全局背景图像的虚拟视点合成算法。首先,我们利用视频序列的帧间互补信息生成一张全局背景图像,并以此为辅助图像,去填补从参考视点映射到虚拟目标视点的各帧图像。与传统方法相比,本文算法能使用空洞区域对应的真实像素进行填充,提高了图像的质量。最后,对填补后仍余留的空洞采用图像修复算法进行处理,得到最终的虚拟视点图像。实验结果表明,这个算法优于传统算法,并且只利用了一个参考视点。

一种基于时间导向的DIBR空洞填补方法

在立体成像系统中,填充新视点合成时图像中产生的空洞是虚拟视点合成技术的重要环节,已有方法是对空洞区域周围的像素进行水平的推测运算来得到填洞像素,其正确率不高而且容易造成图像边缘失真。提出一种基于时间导向的DIBR空洞填补方法,首先通过结构相似帧的方法得到与关键帧拥有相同背景的前后帧图像,然后比较空洞位置对应的前后帧图像的深度值,利用背景信息对空洞区域进行填补。实验结果表明,新方法得到的填补后的图像效果可以较为真实地还原特定的场景,与原始视点的结构相似性可达到91.36%,比传统方法提高了8.38%。

3D-HEVC虚拟视点合成技术研究

虚拟视点合成技术是实现自由视点电视和三维电影最主要的技术之一,已成为三维高效视频编码(3D High Efficiency Video Coding,3D-HEVC)实时渲染领域的研究热点。本文在介绍虚拟视点合成技术的基础上,综述虚拟视点合成技术的研究进展。总结了基于像素填充和基于样本填充方法在空洞填充中的应用,分析比较了不同滤波算法下深度图预处理对合成视图质量的影响以及帧间运动估计中的3种快速算法。