单帧非自然图像深度估计与动态合成

深度学习在单目深度估计任务上表现优异,通过学习单帧图像与深度图像之间存在的映射关系来估计图像的深度。但是,目前单目深度估计的研究仅关注于自然图像,当把它应用于非自然图像,如绘画图像时,相对于自然图像,它们有着低纹理、切边锐利、平滑过渡相对少的特点,会出现深度估计中前后不同物体的层次感不明显,以及同一物体上出现深度不一致的问题。本文根据这类图像设计了一个由单目深度估计模块和RGB图像指导的精细化模块构成的精细单目深度估计网络RefineDepth来改善以上问题。同时,由于绘画图像缺乏对应深度信息,本文通过三维场景卡通风格渲染图像来模拟绘画类非自然图像的方式,制作了两个绘画图像数据集SSMO和SU3D,并建立了一个真实的山水画测试集。实验结果表明,模型在测试的数据集上都取得了出色的结果。最后,将绘画图像进行基于深度图像渲染,动态合成立体效果。

基于虚拟现实技术的图像多特征点匹配拼接方法

为解决图像局部区域重叠问题,获取高质量图像,提出基于虚拟现实技术的图像多特征点匹配拼接方法。采用深度图像渲染技术去除原始图像的噪声,减少空洞数量;通过可视化方式确定相邻图像的重叠区域,采用二进制局部特征描述符算法得到重叠区域内的所有特征点;依据夹角反余弦算法粗匹配图像中所有特征点,利用RANSAC算法删掉误匹配点,获得正确匹配点,精准匹配图像多特征点;通过转换矩阵坐标变换正确匹配点实现图像拼接,并通过加权平滑融合方法融合图像拼接过程中产生的痕迹,获取最佳的图像虚拟现实呈现结果。实验结果证明:该方法能够有效实现图像的拼接,消除图像中重叠与错位部分,使拼接后的图像可以达到无缝平滑的效果。

零视差点重组在三维图像数字水印中的应用

在基于深度图像渲染(DIBR)水印方案中,利用深度图像和中央彩色图像通过像素平移渲染出左眼视图和右眼视图,嵌入到中央图像的水印信息会受到严重破坏,无法在左眼视图和右眼视图中正确提取水印信息。本文提出一种DIBR中零视差点的三维图像数字水印方法,利用深度值确定视差值,标定视差为零的点,重新组合成新的载体图像,进行水印嵌入。由于视差为零的像素点在生成左右眼视图时没有发生水平移动,所以此方法克服了DIBR过程中的像素平移带来的攻击。实验证明此方法能得到和二维水印一致的效果并且对于高斯噪声和JPEG压缩都具有良好的鲁棒性。

一种基于改进的空洞填充算法的新DIBR方法

针对虚拟视点合成,提出一种新的基于深度图像的渲染算法流程。该算法使用层次聚类来解决虚拟视点合成中的遮挡问题。通过统计每一个遮挡周围的像素的深度分布,对像素深度使用凝聚式层次聚类来决定遮挡周围的深度平面个数。选择最远深度平面中的像素作为恢复该遮挡的候选像素,提出的算法在Middlebury stereo数据集上的评估取得很好的效果。

数字电影2D/3D转换技术解析

随着3D电影的快速发展,2D/3D转换技术逐渐成为业内关注的热点,行业应用日益丰富。2D/3D转换有两种主要技术:基于深度的图像渲染技术(DBIR)和基于建模的图像渲染技术(MBIR)。目前大部分转换电影采用基于深度的图像渲染技术,转换流程中以产生精细的图像深度为核心,围绕深度图需进行图像增强、图像分割、深度图调整、立体图像合成和图像修补等步骤。根据一些优秀转换片的经验,转换过程中技术人员和创作人员需要充分地交流,以影片创作为导引,利用3D技术来增强影片的艺术感染力,并赢得观众的认可。由于影片内容的复杂性,目前的技术并不完善,还需要在细节处理和转换效率方面进一步提升。