基于深度学习的投影互反射补偿

沉浸式投影系统的互反射补偿是虚拟现实技术中常被忽略,但又非常重要的研究课题。在沉浸式投影系统中,常常因为屏幕和投影仪之间的光线互反射造成投影图片质量严重下降,从而影响虚拟现实系统的真实性。现有的方法采用求解光传输矩阵的方式消除反射光,存在矩阵求逆复杂,效果不佳等问题。采用深度学习对投影图片进行补偿,能够避免复杂的矩阵求解过程,具有更优的视觉效果和ROI表现。

基于投影补偿网络的图像增强方法研究

在投影系统中,常常伴随着复杂的物理杂散光效应,从而使投影图像质量受到严重影响。互反射补偿就是为了消除这些杂散光的影响。通过改变输入图像,使投影出的图像和原图一致。这是解决投影图像退化的一个重要但常常被忽视的问题。传统的方法通常通过计算矩阵求逆来解决这个问题。本文首先设计一个深度卷积神经网络,即投影补偿网络(PCN)来学习求逆的过程。PCN由一系列卷积层提取图像特征。此外,在VGG网络上计算特征图的损失来提高感知质量。然后建立一个沉浸式多投影相机显示系统,并在这个系统上开展实验。最后通过图像质量评价指标证明所提出方法的有效性。

注意力机制的曲面沉浸式投影系统补偿

目的沉浸式投影系统已广泛运用于虚拟现实系统之中,然而沉浸式投影系统中的互反射现象严重影响着虚拟现实系统的落地使用。沉浸式投影系统的互反射是指由于投影机光线和屏幕反射光线相互叠加造成的亮度冗余现象,严重影响了投影系统的成像质量和人眼的视觉感受。为此,本文提出一种新的基于互反射通道(interreflection channel,IRC)先验和注意力机制的神经网络。方法IRC先验基于这样一个事实,即大多数受到互反射影响的投影图像都包含一些亮度较高的区域。高亮度区域往往受互反射影响更为严重,而低亮度区域受互反射影响程度较低。根据这一规律,采用IRC先验作为注意力图的监督样本,获取补偿图像的亮度区域信息。同时,为了对投影图像不同区域按影响程度进行差异化补偿,提出一种新的由两个相同子网络构成的补偿网络结构Pair-Net。结果实验对比了4种现有方法,Pair-Net在ROI(region of interesting)指标分析上取得了明显优势,在人眼感受上有显著的效果提升。结论本文提出的基于注意力机制的网络模型能够针对不同区域进行差异化补偿,很大程度上消除了互反射影响,提升了沉浸式投影系统的成像质量。