基于逆向重建和运动轨迹偏移的视频重定向质量评价

随着视频重定向方法的日渐发展,对视频重定向质量客观评价算法的要求愈高。现存的视频重定向质量客观评价算法均以Scale Invariant Feature Transform flow(SIFT-flow)稠密匹配为基础。当原始帧与重定向帧尺寸不一致时,SIFT-flow稠密匹配会产生错误,客观评价算法性能下降。在匹配过程中,逆向重建网格存在未匹配区域。基于上述情况,提出一种基于逆向重建和运动轨迹偏移的视频重定向质量客观评价算法。该算法通过减小目标函数平滑项的权重和删除黑边减少了错误匹配的情况,并提出网格损失率(Grid Loss Ratio,GLR)衡量未匹配区域的空间失真,且使用网格运动轨迹偏移量减少对SIFT-flow稠密匹配的依赖。与Multimedia Lab(ML)主观数据库的肯德尔相关系数达到0.593,其标准差为0.295。与其他算法相比,该算法能更好地评估重定向过程的失真,更符合人们的主观评价结果。

基于运动历史图的网格变形视频重定向

保持时域连贯性与保证图像空域的重建质量在视频重定向中至关重要。针对这个问题,提出一种基于运动历史图的网格变形方法进行视频大小的调整。通过估计帧间摄像机的运动,将视频帧对齐在时间轴上,构造全局运动模型,从而获得全局运动历史图;利用运动历史图来顺序指导单帧图像形变,将单帧图像的放缩问题转换为网格变形问题,通过构造一系列约束条件在网格上建立保持整体形状的最优化模型,实现背景的时间连续性的同时又有效地保持运动对象的形状。测试结果显示无论是处理静止的视频还是具有复杂运动的视频,该方法都能获得令人满意的结果,且能实现对视频流的实时处理。

基于运动历史图的智能裁剪视频重定向

保持视频帧的时间连续性和重要对象的整体结构在视频重定向中至关重要。针对这一问题,提出一种基于运动历史图的智能裁剪方法进行视频大小的调整。首先基于时间轴将视频帧通过估计帧间摄像机运动对齐,从而构造全局运动模型;然后在全局运动模型的基础上,利用重要度图获得全局运动历史图;最后,基于运动历史图检测重要区域、裁剪重要区域并缩放至目标尺寸。运动历史图的应用不仅保证视频帧时间连续性,而且能处理包含复杂运动场景的视频。实验结果表明,提出方法针对复杂的摄像机运动和物体运动情况均能获得很好的视频重定向结果。

HTML5视频重定向在桌面虚拟化中的应用

随着桌面虚拟化技术发展,多媒体视频播放占用CPU高、带宽大等难题越发凸显,造成服务器资源紧张。为解决该问题,视频重定向技术受到关注,其研究重点为本地视频及FLASH视频重定向技术。对当下流行的HTML5在线视频重定向技术进行了研究。为降低服务器CPU和网络带宽占用,提出一种重构Windows Media Fundation播放架构方法,结合二值化视频区域查找算法完成虚拟机内HTML5视频播放重定向。该方法能有效降低CPU和网络带宽占用。完成视频重定向后虚机内部CPU资源占用降低约70%~80%,且用户在流畅度和清晰度方面体验感更好。

一种基于人眼视觉注意力的三维视频重定向方法

从人眼视觉注意力的角度出发,提出了一种三维视频重定位方法。首先,引入场景的深度信息,并结合梯度、显著性和运动对象检测构造模型,得到视觉注意力能量项;然后,分别构造帧内能量项和帧间能量项,并结合视觉注意力能量项,构造总能量函数进行细缝裁剪,实现视频的重定向。实验结果表明,本文方法能够较好地保护视频场景中的重要对象,并避免较大的失真和抖动。

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合的视差优化方法同时在时域和舒适度上对视差进行优化,并考虑了时域保持,具有良好的视差优化与时域保持效果,展现了较高的稳定性和鲁棒性。本文方法能够用于3D视频的重定向,在保持立体视觉舒适性的同时适配不同尺寸的3D显示屏幕。