对象引导的单幅散焦图像深度提取方法

2D图像转3D图像是解决3D影视内容缺乏的主要手段之一,而深度提取是其中的关键步骤.考虑到影视作品中存在大量散焦图像,提出单幅散焦图像深度估计的方法:首先通过高斯卷积将散焦图像转换成两幅模糊程度不同的图像;其次计算这两幅图像在边缘处的梯度幅值比例,进而根据阶跃信号与镜头的卷积模型得到边缘处的模糊度;再次将边缘处的模糊度转换成图像的稀疏深度并利用拉普拉斯矩阵插值得到稠密深度图;最后通过图像的视觉显著度提取前景对象,建立对象引导的深度图优化能量模型,使前景的深度趋于一致并平滑梯度较小区域的深度.该方法利用对象引导的深度优化,剔除了拉普拉斯矩阵插值引入深度图的纹理信息.模拟图像的峰值信噪比和真实图像的视觉对比均表明该算法比现有方法有较大改善.

基于边缘梯度的散焦图像深度恢复

在散焦图像中,点的模糊程度随物体的深度而变化,因此可以利用散焦图像中点的散焦程度来估计物体的深度信息。本文提出了一种基于散焦图像中物体的边缘梯度关系来恢复图像深度图的新算法,用一个已知参数的高斯函数对图像进行再模糊,然后求出模糊后的物体边缘梯度,再与原图像中物体边缘梯度相比,再将该比值与图像的深度关联,求出图像中物体边缘处的深度,再利用后续深度插值方法和深度图优化恢复出整幅图的深度信息。这种算法仅需要一幅图像即可进行深度信息恢复,有较好的有效性。

基于循环神经网络的散焦图像去模糊算法

近年来,基于深度学习的运动模糊去除算法得到了广泛关注,然而单幅散焦图像去模糊算法鲜有研究。为针对性地解决单幅图像的散焦模糊问题,提出一种基于循环神经网络的散焦图像去模糊算法。首先级联两个残差网络,分别完成散焦图估计和图像去模糊;随后,为了保证散焦图和清晰图像的深度特征可以更好地跨阶段传播以及阶段内相互作用,在残差网络中引入LSTM(long short-term memory)循环层;最后,整个残差网络进行了多次迭代,迭代过程中网络参数共享。为了训练网络,制作了一个合成散焦图像数据集,每一张散焦图像都包含对应的清晰图像和散焦图。实验结果表明,该算法相较于对比算法在主客观图像质量评价上均有显著优势,在复原结果中具有更锐利的边缘和清晰的细节。对于真实双像素图像散焦模糊数据集DPD,该算法相比DPDNet-Single在峰值信噪比(PSNR)和结构相似性(SSIM)上分别提高了0.77 dB、5.6%,因此所提方法可以有效处理真实场景散焦模糊。

基于非局部生成对抗网络的单张散焦图像去模糊

由于相机的景深有限,通常很难从单个相机获得全焦图像。针对因散焦现象而变得模糊的散焦图像,本文提出了一个端到端的非局部生成对抗神经网络DNGAN,通过在真实的数据集下训练模型,实现散焦图像的去模糊和散焦图的估计。DNGAN由散焦图估计和特征融合两大核心模块组成。其中散焦图估计模块采用编码器-解码器的结构实现对输入图像聚焦和散焦区域的判断;特征融合模块采用融合了注意力机制的由粗到细的非局部思想,让散焦图像充分融合周围相似的高频细节纹理信息,并结合散焦图估计模块的结果,指导散焦图像有偏重的进行去模糊图像增强;同时加入生成对抗模块让网络生成更加丰富的纹理特征。本论文实验从客观评价指标和图像视觉对比效果两方面论证了提出的网络在真实数据集下的散焦图像去模糊任务和散焦图估计任务上的优势。