基于深度学习的单视图彩色三维重建

从单个图像中同时恢复3D形状及其表面颜色的任务极具挑战性,为此提出一个端到端的网络模型来解决这一难题,该模型采用编码器与解码器结构。以单张图像作为输入,首先通过编码器提取特征,再将其同时送入形状生成器和颜色生成器中,得到形状估计以及与其对应的表面颜色,最后通过可微渲染框架渲染生成最终的彩色三维模型。为了保证重构三维模型的细节,在网络的编码器中引入注意力机制以进一步提高重建效果。实验结果表明,与三维重建网络模型相比,所设计的模型在真实三维模型交并比上分别提高10%和3%;与开源项目相比,所设计的模型在结构相似性上提高了3%,在均方误差上降低了1.2%。