混合现实飞行模拟器的神经重光照方法

目的混合现实技术通过混合现实场景和虚拟场景,为飞行模拟器提供了沉浸式体验。由于现实场景和虚拟场景的光照条件不一致,混合结果往往使用户产生较强的不协调感,从而降低体验沉浸感。本文使用虚拟场景的光照条件对机舱现实图像场景进行重光照,解决光照不一致问题。方法受计算机图形学重要的渲染方法——预计算辐射传输法的启发,首次提出一种基于辐射传输函数估计的神经重光照方法。首先使用卷积神经网络估计输入图像中每个渲染点的辐射传输函数在球谐函数上的系数形式表达,同时将虚拟环境中提供光照信息的环境光贴图投影到球谐函数上,最后将对应球谐系数向量进行点乘,获得重光照渲染结果。结果目视评测,生成的重光照图像与目标光照条件匹配程度良好,同时保留原图中细节,未出现伪影等异常渲染结果。以本文生成的重光照数据集为基准进行测试,本文方法生成结果峰值信噪比达到28.48 dB,比相似方法高出7.5%。结论成功在多款战斗机模型中应用了上述方法,可以根据给定虚拟飞行场景中的光照条件,对现实机舱内部图像进行重光照,实现机舱内外图像光照条件一致,提升了应用混合现实的飞行模拟器的用户沉浸感。