三维投影变换辅助的云游戏编码优化算法

针对传统视频压缩技术无法对云游戏视频中复杂的全局相机旋转以及剧烈变化的大范围运动进行很好的运动估计与补偿的问题,提出了一种三维投影变换辅助的编码优化算法,以提高云游戏视频的编码效率。分析了三维游戏场景下一点投影到二维平面的详细空间变换过程,在此基础上通过建立约束进行最优化估计构建了虚拟相机的内参估计算法。利用估计的内参,结合相机运动信息,基于图像单应性理论生成了与待编码帧平行的辅助参考帧,利用其更新参考帧列表参与编码。由于生成的辅助参考帧与待编码帧之间只有平移运动,所以更有利于传统的运动估计和补偿。实验结果表明:与原始的高效视频编码(HEVC)相比,所提算法在云游戏视频上可以实现平均8.14%的BD-rate增益,一定程度上缓解了云游戏对网络带宽的高需求;特别地,在仅有相机旋转的情况下,BD-rate可达-24.68%,同时编码时间平均缩短5.34%;与HEVC-SCC相比,所提算法的BD-rate性能增益超过20%。