-
题名基于深度体素流的模糊视频插帧方法
被引量:4
- 1
-
-
作者
林传健
邓炜
童同
高钦泉
-
机构
福州大学物理与信息工程学院
福建省医疗器械与医药技术重点实验室(福州大学)
福建帝视信息科技有限公司
-
出处
《计算机应用》
CSCD
北大核心
2020年第3期819-824,共6页
-
基金
国家自然科学基金资助项目(61802065)~~
-
文摘
针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成:去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络(CNN),提取并学习深度模糊特征以实现两帧输入图像的运动模糊去除;插帧模块用于估计帧间的体素流,所得体素流将用于指导像素进行三线性插值以合成中间帧。其次,制作了大型模糊视频仿真数据集,并提出一种先分后合、由粗略至细致的训练策略,实验结果表明该策略促进了多任务网络有效收敛。最后,对比前沿的去模糊和插帧算法组合,实验指标显示所提方法合成中间帧时峰值信噪比最少提高1.41 dB,结构相似性提升0.020,插值误差降低1.99。视觉对比及重制序列展示表明,所提模型对于模糊视频有着显著的帧率上转换效果,即能够将两帧模糊视频帧端对端重制为清晰且视觉连贯的三帧视频帧。
-
关键词
深度学习
卷积神经网络
去模糊
体素流
视频插帧
-
Keywords
deep learning
Convolutional Neural Network(CNN)
debluring
voxel flow
video frame interpolation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于压缩与精化深度体素流模型的视频插值
- 2
-
-
作者
茹妞妞
于晋伟
杨卫华
卞玮
-
机构
太原理工大学数学学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第9期248-253,共6页
-
基金
国家自然科学基金(11671296)。
-
文摘
视频插值是利用视频相邻帧的图像信息合成中间帧,可直接应用于慢动作视频回放、高频视频合成、动画制作等领域。现有基于深度体素流的视频插值模型存在合成精度低、参数量大的问题,限制其在移动端的部署应用。提出一种压缩驱动的精化深度体素流插值模型。通过预训练深度体素流模型提高视频的插值质量并确定高精度参数,利用稀疏压缩技术裁剪卷积通道数,以减少参数量并得到粗体素流,同时将输入视频帧、粗体素流和粗中间帧作为精体素流网络的输入,获得精体素流。在此基础上,通过三线性插值方法计算得到精中间帧,以增强模型对边缘信息的捕获能力,从而提高中间帧质量。在Vimeo 90K和UCF101数据集上的实验结果表明,相比DVF、SepConv、CDFI等模型,该模型的峰值信噪比和结构相似性分别平均提高1.59 dB和0.015,在保证参数量增幅较小的前提下,能够有效优化视频合成效果。
-
关键词
视频插值
预训练模型
参数压缩
卷积神经网络
精化深度体素流模型
-
Keywords
video interpolation
pre-training model
parameter compression
Convolutional Neural Network(CNN)
refined Deep Voxel Flow(DVF)model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-