A Survey on Multiview Video Synthesis and Editing

Multiview video can provide more immersive perception than traditional single 2-D video. It enables both interactive free navigation applications as well as high-end autostereoscopic displays on which multiple users can perceive genuine 3-D content without glasses. The multiview format also comprises much more visual information than classical 2-D or stereo 3-D content, which makes it possible to perform various interesting editing operations both on pixel-level and object-level. This survey provides a comprehensive review of existing multiview video synthesis and editing algorithms and applications. For each topic, the related technologies in classical 2-D image and video processing are reviewed. We then continue to the discussion of recent advanced techniques for multiview video virtual view synthesis and various interactive editing applications. Due to the ongoing progress on multiview video synthesis and editing, we can foresee more and more immersive 3-D video applications will appear in the future.

多视点视频编码的研究现状及其展望

阐述了多视点视频编码(MVC)的主要研究问题。其中首先介绍了MVC的体系结构和发展过程;然后详细讨论了MVC的研究内容,包括预测结构、提高MVC编码效率的技术和高层语法;最后在总结MVC研究现状的基础上,提出了MVC在3D视频应用中的研究思路。

多视点视频中基于局部直方图匹配的亮度和色差校正

由于相机性能的差异,多视点视频序列之间总是存在亮度和颜色的差异,为降低这种差异对多视点系统中各种后续处理效果的影响,提出了一种基于部分重叠局部直方图匹配的亮度和色差校正算法。该直方图匹配算法先通过原图像直方图和参考图像直方图的匹配建立映射函数,然后使用该映射函数来校正原图像的亮度和色差值。根据映射函数的计算方法不同,直方图匹配可以分为全局直方图匹配和局部自适应直方图匹配。在全局直方图匹配算法中,由于整幅图像是使用统一的映射函数,因此校正性能较差。而局部自适应直方图匹配算法则是利用局部信息为每个像素建立唯一的映射函数,因此能够准确地校正图像不同区域的差异,但是算法的复杂度非常高。该部分交叠的局部直方图匹配方法中,一小块范围内的像素是使用同样的局部直方图来建立映射函数,然后使用条件去块滤波器去除可能存在的块效应。与自适应局部直方图匹配算法相比,该算法不仅可减少计算直方图和映射函数的次数,而且在降低计算复杂度的同时,还能够自适应地校正图像不同区域的差异。该算法可作为多视点视频系统中的预处理技术,实验结果表明,该算法能够提高后续压缩过程的性能。

多视点视频中基于乘加误差模型的亮度和色差校正

由于相机性能的差异,多视点视频序列之间总是存在亮度和颜色的差异,这种差异会影响多视点视频压缩和显示等后续处理过程的性能。本文由此提出了一种适用于多视点视频的亮度和色差(亮色度)校正算法。根据相机成像原理,不同相机的亮色度差异可以归类为乘性误差和加性误差。灰度级偏移,相机电子元件的放大和量化因子差异等都可以由乘加误差模型表示。为降低计算复杂度,本文采用直方图形状匹配的方法计算乘加误差模型的参数。该算法可作为多视点视频系统中的预处理过程,实验结果表明,该算法能够有效地提高后续压缩过程的性能。

基于HBP编码结构的MVC快速算法

针对MVC系统中运算量最大的矢量预测部分——单向搜索和双向搜索,该文提出一种快速算法。根据多视点视频的序列相关性,采用立体-运动约束模型在运动域和视差域进行联合迭代单向搜索,设计可信度因子来自适应地调整修正搜索窗口,同步搜索得到运动和视差矢量。此外,通过分析双向预测宏块的特性,提出一种双向搜索提前中止算法。实验结果证明该文算法的有效性,能在保持编码质量的同时极大减少算法复杂度。

基于动态多阈值的多视点视频编码宏块模式快速选择算法

本文分析了多视点视频编码中宏块模式选择情况的统计特性,把宏块模式分为四类。提出了基于宏块模式类率失真均值的多阈值快速宏块模式选择算法及阈值的近似计算方法和动态更新算法,理论分析了该快速算法的编码率失真性能。实验结果表明,所提出快速算法在几乎不影响编码率失真性能的情况下,编码速度比多视点视频编码校验模型提高1.92倍到7.07倍。

基于多视点视频编码的差错控制算法

多视点视频编码(Multiview Video Coding,MVC)利用运动估计和视差估计取得了较好的编码性能,但在易错的网络环境下传输MVC视频码流,将导致差错在视点内与视点间进行扩散.针对多视点视频的编码特性,提出了一种端到端的失真度估计模型,并将此模型与率失真优化相结合得到一种基于联合信源信道的编码模式选择算法.实验结果表明该方法能够在易错网络环境下有效的提高多视点视频的传输效率.

基于精细可扩展编码的多视角视频编码研究

多视角视频几倍于目前普通视频的数据量,如果不采用有效的压缩编码技术,其有效的传输和存储将是不可能的,也成为制约多视角视频广泛应用的瓶颈.因此,进行高性能多视角视频编码技术的研究是十分必要的.尤其是随着网络的发展,能提供交互的多视角视频技术越来越受到关注.如何有效地通过网络传输多视角视频信号的问题显得更加重要.针对这一问题,采用精细可扩展编码(FGS)的思想设计了多视角视频编码器.实验表明,方案在保证了高编码效率的同时能较好地解决多视角视频的网络传输问题.

基于随机访问的多视点视频编码模式评价模型

运用随机图论、超空间等方法,首先提出了针对编码预测结构的随机访问性能评价函数,对解码端和服务器端的随机访问支持代价进行评价.进而根据实际应用中的带宽、交互限制等多种目标建立了编码策略评价的多目标非线性数学模型,对编码策略在多种性能参数约束条件下如何实现最优策略进行了讨论.利用该非线性多目标规划模型对多视点视频编码策略进行了优化设计,可以获得较好的随机访问性能.

面向IP网络的多视点立体视频的实时容错传输

提出了一种在IP网络上实时传输多视点立体视频的传输系统.视频流采用H.264/AVC格式编码.由于多视点立体视频庞大的数据量,系统通过2个IP信道分别进行传输.针对网络中的丢包现象,该系统采用一种新的数据包处理方法,利用各个视点之间的相关性进行丢失数据恢复.提出了一种多视点立体视频错误掩盖的算法,用来解决IP网络传输中的丢包问题.实验结果表明了该多视点立体视频传输系统的可行性.

P2P网络立体电视网络传输及播放优化

为提供稳定高效的网络多视点立体电视服务,设计并实现了网络立体电视中P2P对等体的测量机制和调度机制.P2P对等体测量机制基于多视点视频的传输失真模型对对等体的失真率进行计算评估,应用VoDCrawler软件对P2P网络中影响数据传输的对等体关键参数进行测量,从而将失真率低和数据传输效果好的对等体提供给用户连接,达到优化网络对等体的数据传输的目的.实时分配数据传输任务的调度机制根据对等体列表中每个对等体的测量结果,对数据传输的任务分配进行优化,保证了多视点立体视频的视点完整性以及保证QoS的视频播放服务.实验结果表明,网络立体电视用户在获取服务时的服务质量可满足需求,视频播放的帧速率高且稳定.

多视点视频编码去相关颜色校正

多视点视频编码效率受到各个视点图像之间颜色不均衡的影响。在三色激励值近似线性无关的lαβ颜色空间中,对多视点视频数据实现了颜色校正。根据视频序列原始数据的特点,选择合适的变换矩阵,提供了YUV到lαβ空间的变换式。为降低不同视点间亮度差异的影响,在块搜索和匹配中结合相关分析法,获取最优匹配块。将匹配块数据变换到从lαβ衍生的一个线性无关的颜色空间中,采用统计量逼近的方法对数据进行了更简便的校正。结果表明,所校正的数据变换回YUV空间后,主观效果良好,消除了颜色差异,在编码性能上,Y分量平均PSNR提高达l.4dB以上,证明了该颜色校正算法的有效性。

多视点视差估计中基于图像块特征矢量和相似尺度的参考视点选择方法

在多视点视频处理中,采用多参考视点的视差估计方法能够在很大程度上消除各个视点间的冗余性,达到对多视点视频数据有效编码压缩的目的。研究了多视点信号处理中视差估计的多参考视点选择问题,采用快速Walsh变换谱构造图像块特征矢量,并提出了基于图像块特征和相似尺度的多参考视点选择方法。实验结果证明,本文方法能在保证编码质量的前提下,减少视差估计的计算复杂度。

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一。探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现。实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列。

联合运动估计的多视点视频视差估计新方法

针对多视点视频编码中运动估计和视差估计运算量大的特点,提出了一种联合运动估计的多视点视频视差估计方法.在时域上对每个视点的宏块的运动状态建立Kalman滤波器,预测当前宏块的运动矢量.在运动估计基础上结合空域信息,分析了视差矢量和运动矢量的几何关系,计算了当前宏块的视差矢量.实验结果表明,本文方法和全搜索算法及快速算法相比,在大幅节省了编码时间基础上又提高了率失真性能.

分布式视频编码关键技术及研究进展

系统地阐述了分布式视频编码(distributed video coding,DVC)技术框架的基本原理和近五年的发展历程;列举了国内外多个研究小组的基本思想研究现状;分析了分布式视频编码技术的发展趋势;揭示了技术的关键和研究热点;展望了该技术在信息安全、可伸缩编码、多描述编码以及光场编码中的应用前景。

多视点视频编码预测结构的研究

不同的多视点视频序列具有不同的时空相关性,MVC采用的分层B帧预测结构无法充分利用视频序列的属性。本文提出了一种能适应不同视频序列编码的方法,通过研究多视点视频图像中的时空相关性和视点间的相关性,适当地取消部分时间层的视点间预测并且对所有P视点的非关键帧均采用视点间预测和调整了I视点的位置。实验结果表明,本文方法在提高编码效率的同时使得预测结构具有更好的随机访问性能、更低的编码复杂度。

基于自适应参考帧模式选择的多视点视频编码方法

基于多视点视频序列相关性,提出独立片的概念,进而提出一种采用自适应参考帧模式选择的多视点视频编码方法.在保证高率失真性能的前提下,应用独立片、自适应算法有效地降低了多视点视频编码计算复杂度,将多种性能进行有机结合,可以根据用户外部设置的参数调整自适应模式.实验结果表明,该方法在保证高压缩效率的前提下,能有效地降低计算复杂度,并改善随机访问性能.

采用率失真与模式特征的多视点视频编码快速模式选择

现有的多视点视频编码使用了分层B帧(Hierarchical B Picture,HBP)的预测结构,其帧内预测、帧间预测以及视点间预测的模式选择给多视点视频编码带来了庞大的计算复杂度。针对这一问题,我们在分析了JMVC模式分布比例的基础上,提出了一个快速帧间模式选择的算法。这种算法利用率失真代价和预测模式特征之间的关系来及时判定最优模式:如果上一尺寸预测模式的率失真代价小于当前尺寸预测模式的率失真代价则认为上一预测模式为最优模式,跳过检查其他更小尺寸的预测模式;反之,如果上一尺寸的预测模式的率失真代价大于当前尺寸的预测模式的率失真代价,则继续检查其他更小的尺寸。这样,通过提前终止一些不必要的模式选择过程,多视点视频编码的计算量得到大幅的降低。实验结果表明:所提算法能在保持JMVC中全搜索算法的编码效率同时,使计算复杂度减少了81.66%。

联合多视点视频编码中的快速搜索算法分析

对比分析联合多视点视频编码中的全搜索算法和TZSearch(TZS)快速算法,描述TZS算法的原理及搜索过程并对其进行分析,并根据实验统计结果设置了使搜索提前终止的阈值.实验表明,在编码比特率轻微增加和峰值信噪比略微下降的条件下,设置了阈值的TZS算法比原有的联合多视点视频编码中的TZS算法在编码时间上大幅减少.对于运动比较平缓的序列适合采用阈值为2的TZS2算法,而对于运动比较剧烈的序列适合采用阈值为3的TZS3算法.