VR头盔遮挡情况下的3D面部重建

基于虚拟现实(VR)头戴式显示器(HMD)设备的远程会议或远程呈现是一个非常有趣和有前景的应用,因为HMD可以为用户提供身临其境的感受,但是面对面通信时,无法实时获取面部表情,阻碍了正常的交流。针对这一问题,本文提出了一种基于卷积神经网络(CNN)的解决方案,用于HMD用户的实时3D面部重建,首先通过据合成生成大量的HMD面部标签数据集,然后使用该数据训练一个面部神经网络,以获得3D人脸模型参数。大量的实验结果表明,该系统可以高效、有效地生成具有面部姿态、面部表情的3D头像。

基于非线性优化的VR场景拼接方法研究

在虚拟现实(VR)技术中,为获得更宽的视场需要将多幅图片通过拼接构建出全景.目前大多数基于特征的图像拼接算法采用单应性矩阵变换或保持内容的变形来实现图像对准.基于单应性矩阵变换方法很难处理视差,而保持内容变形方法不能保持图像的结构特性.本文提出了一种精确的单应性矩阵的求解方法,由匹配点和特征点求得全局单应性矩阵,并通过非线性优化方法对该结果进行优化.进一步针对局部变形带来的误差,结合几何和光度约束来设计代价函数,通过最小化该函数获得更好的图像对准结果,从而产生精确的拼接图像.通过各种开放数据集的实验结果表明,本文提出的图像配准方法效果最好.