多视点视频编码的研究现状及其展望

阐述了多视点视频编码(MVC)的主要研究问题。其中首先介绍了MVC的体系结构和发展过程;然后详细讨论了MVC的研究内容,包括预测结构、提高MVC编码效率的技术和高层语法;最后在总结MVC研究现状的基础上,提出了MVC在3D视频应用中的研究思路。

多视点视频编码中的运动和视差估计快速算法

针对多视点视频编码复杂度高的问题,提出一种基于分层B帧视点-时间预测结构的运动和视差联合估计快速算法.利用参考帧图像和当前编码图像的运动矢量及视差矢量之间的几何关系,设计可靠的预测矢量作为搜索起始点,并分别在不同方向的参考帧内进行小范围的运动补偿以得到最佳运动和视差矢量.该方法由前一次运动/视差估计得到候选矢量来进行下一次视差/运动估计,只需1次搜索过程就能同时确定最佳运动和视差矢量.实验结果表明,该算法与JMVM全搜索算法相比,能在保持编码质量的同时,节省87.69%的编码时间.

基于相关性分析的多模式多视点视频编码

多视点视频编码方法除需具有较高编码效率外,还必须支持视点或时间的随机访问、低延时编解码、视点可分级等性能.多视点视频信号的时间、视点间相关性随相机密度、光照、对象运动等因素不同而变化.文中提出基于多视点视频信号相关性分析的多模式多视点视频编码方法,改变传统单一预测模式的多视点编码结构,将多种性能优良的预测编码模式有机结合,根据多视点视频相关性分析灵活选择合适的预测编码模式,以获得优异的编码综合性能.实验结果表明,所提出的多模式多视点视频编码方法在保证高压缩效率的前提下,可进一步降低复杂度,提高随机访问性能.

多视点视频编码中的视频目标提取与视差匹配

在单通道视频目标分割算法的基础上 ,首先提出一种多视点视频编码中的视频目标提取方案 .然后提出一种基于多级块匹配视差估计算法 .应用Moravec算子对视差矢量图进行检测 ,提取特征视差矢量并对其进行精确度检验 .若特征视差矢量不够精确 ,则其所在块将重新进行小范围的块匹配 .若块匹配误差仍太大则将其分裂为四个子块重新匹配 .与传统块匹配算法相比 ,新方法能获得较为精确和平滑的视差场 ,提高重建后的图像质量 .

多视点视频编码混合快速搜索算法

EPZS是联合多视点视频编码(JMVC,Joint Multi-view Video Coding)运动估计中采用的一种预测搜索算法,其搜索速度慢.针对EPZS算法的性能不足,我们在预测矢量集合、搜索模型、阈值设置和搜索策略四个方面进行改进,提出了一种混合快速搜索算法.在联合多视点视频编码测试平台JMVC8.3中,对三个由平行摄像机采集的多视点视频测试序列BallRoom、Exit和Vassar进行测试.实验结果表明:在保证视频重建质量和码率的前提下,与Jmvc中的EPZS算法相比,编码速度平均提高了55.66%～69.62%,改进算法的效果明显,编码效率得以提高.

多视点视频编码快速帧间模式选择算法

为解决多视点视频编码(MVC)可变尺寸块的模式选择计算复杂度过大的问题,提出了基于模式复杂度的多视点视频编码快速模式选择算法。该算法首先分析了多视点视频编码参考模型(JMVC)中各尺寸块的分布特点。然后,提出模式复杂度的概念以确定当前宏块的模式特征。最后,将宏块分成3个不同的模式类型:如果当前宏块属于简单模式,那么仅16×16分块被检查,其他分块均跳过;若当前宏块属于中等模式,则8×8块被跳过;若当前宏块属于复杂模式,所有模式分块都要检查。这样算法对那些不必要的模式选择过程就可以提前终止,从而使得计算量大大减少。实验结果表明:所提算法能保持同JMVC中全搜索算法几乎相同的编码效率,同时使计算复杂度减少62.75%。

基于H.264标准的多视点视频编码方案的研究

为研究一种新的高效的多视点视频编码方法,提高编码效率,并有效地提高视点间随机切换访问的能力,利用H.264中的新技术多参考帧、SP/SI帧、分层B帧编码等,根据时空预测编码结构的方法,提出了一种基于分层B帧并有利于视点间随机切换访问的多视点视频编码方案。实验结果表明,该方案在提高了编码效率的同时,在视点较多的情况下能够有效地提高视点间随机切换访问的能力。

多视点视频编码方法研究

多视点视频作为1种新型的数字媒体,其独特的立体感和视点交互功能使它有着广阔的应用前景.分析了现有的多视点视频编码技术,针对几种典型的多视点视频编码方案进行重点讨论,对比了各编码方案的率失真性能,并对几种典型的多视点视频编码方案进行了相应的总结.

基于宏块多相关性的多视点视频编码方法

为降低多视点视频编码(MVC)中过高的计算量,提出基于宏块多相关性的多视点视频编码视间预测与Direct模式提前终止算法。分析MVC参考模型(JMVC)中时域预测和视间预测的特点及Direct模式的分布情况。基于当前宏块的时间和视点之间率失真代价的大小关系判断是否进行视间预测。利用先前已编码宏块的编码模式信息确定是否跳过Direct模式。实验结果表明,同JMVC的全搜索算法相比,该算法能降低编码的计算复杂度,平均可达75.62%,同时保持几乎相同的编码率失真性能。

一种多视点视频编码的宏块模式快速选择新算法

分析了多视点视频编码中宏块模式的选择情况,提出了顺序可选宏块模式集的概念。比较分析了率失真代价最优宏块模式和最省时间可选宏块模式的搜索过程,讨论了编码宏块模式为最省时间可选宏块模式对率失真性能的影响,并在此基础上提出了基于顺序可选宏块模式集的快速宏块模式选择算法。实验结果表明,所提出算法在基本保持率失真性能的情况下,能明显降低宏块模式选择的复杂度,编码速度比多视点视频编码校验模型提高3.2倍到5.8倍。

基于多视点视频编码的差错控制算法

多视点视频编码(Multiview Video Coding,MVC)利用运动估计和视差估计取得了较好的编码性能,但在易错的网络环境下传输MVC视频码流,将导致差错在视点内与视点间进行扩散.针对多视点视频的编码特性,提出了一种端到端的失真度估计模型,并将此模型与率失真优化相结合得到一种基于联合信源信道的编码模式选择算法.实验结果表明该方法能够在易错网络环境下有效的提高多视点视频的传输效率.

基于随机访问的多视点视频编码模式评价模型

运用随机图论、超空间等方法,首先提出了针对编码预测结构的随机访问性能评价函数,对解码端和服务器端的随机访问支持代价进行评价.进而根据实际应用中的带宽、交互限制等多种目标建立了编码策略评价的多目标非线性数学模型,对编码策略在多种性能参数约束条件下如何实现最优策略进行了讨论.利用该非线性多目标规划模型对多视点视频编码策略进行了优化设计,可以获得较好的随机访问性能.

高效率的多视点视频编码预测结构

预测结构是多视点视频编码(Multi-View Video Coding,MVC)研究的主要内容之一。MVC目前采用HHI(Heinrich-Hertz-Institute)提出的分层次B帧预测结构(HBP),比联播预测结构获得了更好的压缩效率。分析了多种预测结构,并针对平行摄像机采集的多视点视频序列,提出了一种新的预测结构AS_EIPP,该结构充分利用相邻视点间的相关性和多参考帧模式,进一步提高了压缩效率。在多视点视频软件测试平台JMVC8.3上进行验证,实验结果表明:新的预测结构在保证重建视频质量基本不变的前提下,压缩效率比HBP预测结构提高了1%～4%。

多视点视频编码去相关颜色校正

多视点视频编码效率受到各个视点图像之间颜色不均衡的影响。在三色激励值近似线性无关的lαβ颜色空间中,对多视点视频数据实现了颜色校正。根据视频序列原始数据的特点,选择合适的变换矩阵,提供了YUV到lαβ空间的变换式。为降低不同视点间亮度差异的影响,在块搜索和匹配中结合相关分析法,获取最优匹配块。将匹配块数据变换到从lαβ衍生的一个线性无关的颜色空间中,采用统计量逼近的方法对数据进行了更简便的校正。结果表明,所校正的数据变换回YUV空间后,主观效果良好,消除了颜色差异,在编码性能上,Y分量平均PSNR提高达l.4dB以上,证明了该颜色校正算法的有效性。

多视点视频编码模式决策快速算法

多层循环的多参考帧选择算法和运动估计搜索等算法提高了模式选择精度,但导致多视点视频编码复杂度急剧增加.我们在运动估计快速搜索算法的基础上,结合采用信息重用技术的多参考帧选择算法,提出一种模式决策快速算法.其中信息重用技术通过模式集合划分思想,根据模式尺寸块大小和编码特点将所有编码模式划分成三个集合,在同一集合中小尺寸块重用大尺寸块的最佳参考帧索引和最佳编码方向以减少多参考帧循环搜索次数.实验结果表明:与JMVC8.3.1原算法相比能减少70%-90%的编码复杂度,峰值信噪比(PSNR)下降在0.1d B以内,码率增加幅度少于6%.

一种基于统计分析的多视点视频编码中Direct模式提前终止算法

提出了一种针对多视点视频编码中Direct模式的提前终止算法.该算法基于当前编码宏块相邻视点、时间及空间方向的已编码邻近宏块的编码信息,提出了一个描述当前宏块的邻近块代价影响因子,通过与阈值比较可对多数编码宏块直接选择Direct模式进行编码,从而略过其他模式的相关计算.实验结果表明,与原始的多视点视频编码算法相比,该算法可平均减少约88.2%的编码时间,同时峰值信噪比仅下降约0.29dB,编码比特率增加约0.68%.

分布式多视点视频编码中的立体边信息生成

新兴的分布式多视点视频编码通过在解码端使用立体边信息可充分挖掘传统单视点的时间相关性和多视点特有的视间相关性。研究了一种多视点运动预测的立体边信息生成算法,提出了近似视差估计和编码端掩模融合算法。实验证明,解码端采用近似的视差矢量,编码端传递某些先验信息,都能有效提高立体边信息精度,降低计算复杂度。

基于视间相关性的多层次多视点视频编码快速预测算法

为解决多视点视频编码(MVC)计算复杂度过高的问题,提出一种多视点视频编码快速预测算法。计算当前宏块Direct模式的率失真代价并将其与自适应阈值进行比较,以提供有效的提前终止策略。当率失真代价小于自适应阈值时,Direct模式被选作最优模式,模式选择过程提前终止。当率失真代价大于自适应阈值时,利用运动复杂度将当前宏块分成不同的运动类型,每种类型的宏块仅检查指定的模式,从而使得不必要的模式检查过程提前结束。实验结果表明,该算法在保持几乎不变的编码效率基础上,大幅减少了MVC的计算量。

多视点视频编码中随机访问解码路径的联合计算方法

随机访问性能是评价多视点视频编码预测结构性能的一个重要指标,往往通过计算解码路径的复杂度来衡量,该文提出一种编码端和解码端联合计算的方法,通过对视频序列实际编码情况的统计来更新解码时的参考图像列表,进而获取更准确的参考帧信息.实验结果表明,所提出的方法能准确地计算出所需的参考帧,且参考帧数量比现有方法更少,能有效提高随机访问性能.

一种优化的多视点视频编码预测结构

首先分析了JMVC的参考预测结构,利用1个Go P(Group of Picture)中不同时间层上的帧与其参考帧之间的相关度不同和不同时间层上的帧数目也不同的特点,提出了去除奇数视点最高和次高时间层的视点间预测,并增加偶数视点非关键帧的最低和次低时间层的视点间预测的预测结构。实验结果表明,提出的预测结构基本不影响视频质量,且表现出了更加出色的编码效率,编码的复杂度减少幅度高达15%,输出码率也有所减少,较好地改善了编码的实时性能。