基于卷积网络的帧率提升算法研究

基于运动补偿的帧率提升算法是目前主要的帧率提升方法。为减小内插帧中的块效应、孔洞和遮挡问题,提高插值帧质量,提出一种基于卷积神经网络(convolutional neural network)的自学习帧率提升(frame rate upconversion)方法。卷积神经网络用于利用两相邻帧预测待插值帧。在卷积神经网络的训练阶段,假设高帧率视频是存在的,网络参数由高帧率视频与低帧率视频训练而来。最后视频数据以低帧率视频加网络参数的形式传输,在接收端就可以利用卷积神经网络重建高帧率视频。实质上,这样做是通过增加视频发布者的负担以提供给视频接收者更多便利。对于视频点播网站来说,这是提升用户体验的重要因素。实验表明,该方案相对于传统的基于运动补偿的帧率提升算法,平均PSNR提升至少0.6 d B,取得较大程度的提升,并且该方法是基于全局的帧预测方法,可以有效避免块效应、孔洞和遮挡问题。