光场图像基线编辑方法

图像重定向是图像编辑中的一个基本问题,主要研究根据具体应用要求对图像内容进行重构。当前针对光场图像角度和空间超分辨率以外的重定向的研究尚属空白。提出了一种光场图像基线编辑方法。算法主要包含三个步骤:首先对光场图像进行标定得到相机参数,并估计光场图像每个子视点图像的视差图;然后根据基线编辑的要求对光场图像进行重定向处理,即将每个子视点图像投影到目标光场图像对应的子视点;最后构建一个深度学习算法对目标光场图像进行优化,对直接重定向过程中因遮挡去除导致的图像空洞区域进行修复。实验结果表明,所提算法能够实现基线编辑的光场图像重定向处理,得到高质量的目标光场图像。该算法可用于一系列光场图像编辑应用,包括光场图像拼接、不同图像间物体拷贝和复制、光场图像的立体显示等。

双LSTM的光场图像去雨算法研究

单张图像去雨由于有限的输入信息,会严重影响去雨效果。光场图像不同于普通2D图像,能够记录三维场景的丰富结构信息。针对此类问题并且利用光场图像特点,提出一种基于双LSTM神经网络的光场图像去雨算法。提出的神经网络包括雨条纹检测网络(Rain Streaks Detecting Network,RSDNet)和背景修复网络(Background Restoring Network,BRNet)。所提算法主要包含三个步骤。使用匹配成本量最优化方法计算光场图像子视点的深度图;利用RSDNet提取雨条纹,并利用LSTM结构将雨条纹高频信息传递给BRNet;借助BRNet网络修复背景图像得到无雨子视点图像。为了训练和测试所提算法,构建了一个由真实背景场景光场图像和雨图像合成的有雨图像光场数据集。充分的实验结果表明,提出的算法能够有效地修复光场图像。

利用条件生成对抗网络的光场图像重聚焦

目的传统的基于子视点叠加的重聚焦算法混叠现象严重,基于光场图像重构的重聚焦方法计算量太大,性能提升困难。为此,本文借助深度神经网络设计和实现了一种基于条件生成对抗网络的新颖高效的端到端光场图像重聚焦算法。方法首先以光场图像为输入计算视差图,并从视差图中计算出所需的弥散圆(circle of confusion,COC)图像,然后根据COC图像对光场中心子视点图像进行散焦渲染,最终生成对焦平面和景深与COC图像相对应的重聚焦图像。结果所提算法在提出的仿真数据集和真实数据集上与相关算法进行评价比较,证明了所提算法能够生成高质量的重聚焦图像。使用峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)进行定量分析的结果显示,本文算法比传统重聚焦算法平均PSNR提升了1.82 d B,平均SSIM提升了0.02,比同样使用COC图像并借助各向异性滤波的算法平均PSNR提升了7.92 d B,平均SSIM提升了0.08。结论本文算法能够依据图像重聚焦和景深控制要求,生成输入光场图像的视差图,进而生成对应的COC图像。所提条件生成对抗神经网络模型能够依据得到的不同COC图像对输入的中心子视点进行散焦渲染,得到与之对应的重聚焦图像,与之前的算法相比,本文算法解决了混叠问题,优化了散焦效果,并显著降低了计算成本。