基于生成对抗模型及光路分解的全局光照绘制

针对现有全局光照图像重建高频特征效果模糊的问题,提出一种基于生成对抗模型及光路分解的全局光照绘制网络,以各类图形辅助属性(法线、深度、粗糙度等)为主要输入,学习光照传输的抽象表示并编码,用于推理光照图像。第一,将光照解耦为漫反射和镜面反射两部分,设计独立的生成对抗网络端到端地学习和推理光照子图,避免混频光照的相互干扰,保证高频细节的清晰重现。第二,使用自编码器作为绘制网络的基本结构,添加多尺度特征融合模块用于不同感受野下的特征合成,以促进阴影、镜面反射等复杂特效的有效表达。第三,使用旋转损失和特征损失两种增强的对抗损失函数,增加网络训练的稳定性。实验结果表明,与现有降噪或图像生成模型相比,该方法能够有效地生成视觉上更逼真的全局光照图像,保留更多高频细节,PSNR指标提升8%~20%。

交互式蒙特卡洛全局光照超分辨率重建

针对现有全局光照图像的重建效果模糊且耗时较长问题,提出一种基于生成对抗的交互式图像超分辨率重建网络,使用低分辨率的高频噪声推理高分辨率的全局光照图像。将G-buffer中的图形特征作为辅助输入,利用其低噪与相似性,为网络增加图像高频信息;为避免多模态输入下产生冗余特征,利用注意力机制抑制辅助输入中的无效信息;建立混合感知损失函数,促进产生自然的图像风格。实验结果表明,在4 spp的低分辨率噪声输入下,能够在交互式帧率下获得4倍超分辨率全局光照图像,支持阴影、间接漫/镜面反射等光照效果。