联合视口预测和超分辨率重建的实时VR全景视频流式传输方法

现有基于视口预测的VR全景视频流式传输方法尚未有效地考虑VR视频的时间维度信息,并且忽略了客户端在提高视频重建质量上应发挥的作用.为了进一步提高传输系统的综合性能及用户体验质量,提出一种联合视口预测和超分辨率重建的实时VR全景视频流式传输方法.在服务器端提出时间非局部注意力模块,并将其嵌入GhostNet中对VR全景视频进行全局上下文建模,捕获视频内容特征在时间维度上的长距离依赖;在客户端提出轻量级VR全景视频超分辨率重建模型,对来自服务器端预测视口内的次要内容进行质量增强及投影失真优化.在VR全景视频用户头部运动数据集上的实验结果表明,所提方法的平均视口预测精度和平均带宽占用分别为95.6%和52.9%,与5种代表性的传输方法相比,该方法能够获得更高的视口预测精度和更低的带宽占用,同时具有良好的视频重建质量和较低的计算资源消耗.