基于可微渲染的自由视点合成方法

针对目前非受控环境下自由视点合成易受高度可变的照明条件、相机参数等因素影响的问题,提出一种近似可微延迟逆渲染管线(ADDIRP),通过在延迟逆渲染管线中加入基于物理的相机模型,实现准确模拟相机的光学成像过程。首先,根据输入图像及对应位姿分别创建光度相机模型和几何相机模型,其中光度相机模型由曝光、白平衡等可学习参数表示,几何相机模型由可学习的内参和外参表示。其次,利用渲染图像与目标图像的图像空间损失对管线各组件进行优化,使延迟逆渲染管线对复杂多变的光照和粗糙拍摄的图像具有较强的鲁棒性。最终,生成与传统图形引擎兼容的3D内容重建。实验结果表明,与已有方法相比,ADDIRP在现实世界数据集上具有更优的性能,在合成数据集上,在保证合成质量相近的前提下,具有更出色的视觉感知一致性。