A pixel-based outlier-free motion estimation algorithm for scalable video quality enhancement

Scalable video quality enhancement refers to the process of enhancing low quality frames using high quality ones in scalable video bitstreams with time-varying qualities. A key problem in the enhancement is how to search for correspondence between high quality and low quality frames. Previous algorithms usually use block-based motion estimation to search for correspondences. Such an approach can hardly estimate scale and rotation transforms and always in- troduces outliers to the motion estimation results. In this paper, we propose a pixel-based outlier-free motion estimation algorithm to solve this problem. In our algorithm, the motion vector for each pixel is calculated with respect to estimate translation, scale, and rotation transforms. The motion relationships between neighboring pixels are considered via the Markov random field model to improve the motion estimation accuracy. Outliers are detected and avoided by taking both blocking effects and matching percentage in scale- invariant feature transform field into consideration. Experiments are conducted in two scenarios that exhibit spatial scalability and quality scalability, respectively. Experimental results demonstrate that, in comparison with previous algorithms, the proposed algorithm achieves better correspondence and avoids the simultaneous introduction of outliers, especially for videos with scale and rotation transforms.

A complexity-scalable software-based MPEG-2 video encoder

With the development of general-purpose processors (GPP) and video signal processing algorithms, it is possible to implement a software-based real-time video encoder on GPP, and its low cost and easy upgrade attract developers' interests to transfer video encoding from specialized hardware to more flexible software. In this paper, the encoding structure is set up first to support complexity scalability; then a lot of high performance algorithms are used on the key time-consuming modules in coding process; finally, at programming level, processor characteristics are considered to improve data access efficiency and processing parallelism. Other programming methods such as lookup table are adopted to reduce the computational complexity. Simulation results showed that these ideas could not only improve the global performance of video coding, but also provide great flexibility in complexity regulation.

基于模糊量化和2 bit深度像素的运动估计算法

提出了一种2 bit深度像素的运动估计算法。首先,将像素深度的降采样过程形式化为区间分划和区间映射2个步骤,其中前者为多对一映射,决定着运动估计性能,后者为一一映射;其次,提出一种非均匀量化方法求解区间分划的3个初始阈值,并利用隶属度函数对初始阈值细化,从而克服信号噪声等因素导致的初始阈值周围像素值的误匹配;再次,讨论了适用于2 bit深度像素运动估计的误差度量准则,进而提出了基于模糊量化和2 bit深度像素的运动估计算法;最后,借助信号自相关函数,建立比特深度转换误差—运动向量精度模型来估计该算法所能达到的预测精度。实验结果证明,对于多种类型的视频序列,尤其是场景细节和物体运动比较复杂者,该算法始终能保持较高的估计精度,运动补偿的平均峰值信噪比较之传统2 bit深度像素的运动估计提高0.27 dB。

一种新的小波域视频可分级运动估计方案

首先提出了一种运动估计方法MLBS（Modified Low Band Shift），并在此基础上提出了基于MLBS的小波域视频可分级运动估计方案MLBSSME．利用MLBS方法，提高了运动估计的准确度．借助重叠块运动补偿方法，有效降低了最高分辨率下解码图像的块效应．根据小波变换的多分辨率特性，利用缩小了的搜索窗口提高了搜索速度．这种方法可有效应用于空间可分级和数率可分级的视频编码器中．实验结果证明，对于多种类型的标准测试视频流，MLBSSME算法始终能保持很高的估计精度．利用该算法补偿得到的预测帧，其PSNR较之基于下层LL子带的分层运动估计方法和子带直接运动估计方法平均要高出1～3dB，而对于空间细节较简单的视频，其PSNR比LBS方法提高了0．5～1dB，并且算法的时空复杂度是LBS方法复杂度的30％～40％．

计算能力可伸缩的运动估计率失真优化

不同硬件设备具有不同的计算能力,能否在任意给定计算能力约束下达到最好的编码效率,是当前视频编码研究领域的一个极具挑战性问题.同时,随着分块结构越来越灵活的编码标准不断出现(如:HEVC,H.264等),运动估计不得不反复地应用在大小不同的各种分块上,导致其对编码总体计算复杂度的影响愈加重要.在此背景下,本文提出了一种针对运动估计的计算能力可伸缩(Complexity scalable)优化算法.我们通过对运动估计过程中预测失真度和计算复杂度的变化规律建模,发现根据各宏块的特性设置不同的预测失真度阈值可以优化地分配计算资源.而该阈值的大小则恰恰是各宏块的最小预测失真度加上一个由复杂度约束统一决定的偏移量.有鉴于此,我们进一步构造了计算能力可伸缩的优化运动估计算法,在不增加额外计算量的前提下,快速地得到各个宏块所对应的优化阈值,并完成运动估计.通过实验分析,该算法不仅具备自动适应不同计算复杂度约束的能力,而且在任意给定的复杂度约束下,都能提供优化的编码性能.

一种提高可伸缩性视频编码质量的有效方法

可伸缩性视频编码(SVC)技术和运动补偿时间滤波(MCTF)技术分别是图像和视频处理及可伸缩视频编码领域的新的研究方向,近年来取得了很多成果。该文介绍了MCTF的有关概念以及相关实现方法,并在此基础上提出了一种改进的实现MCTF的方法。实验结果表明,在同样的压缩率下由改进的MCTF重构的图像比传统的MCTF重构的图像能取得更好的质量。

MPEG-4视频标准及其关键算法

MPEG-4引入了视频对象的概念,有效地支持基于内容的图像编码,对不同的视频源标准格式和不同的视频码率提供有效的编码,以满足众多多媒体的应用需求。本文系统地分析了MPEG-4视频编码算法,对MPEG-4视频标准的关键概念进行了详细的解释。

快速运动估计与AGS结合的可伸缩性视频编解码系统

可伸缩性视频编解码(SVC)系统是一种能够实现时间、空间、质量等可调节可伸缩的视频编解码技术。它是通过采用运动补偿时域滤波(MCTF)和运动估计(ME)技术结合有损编码及熵编码等技术,实现对视频序列进行成组编解码的任务。其中,如何更加有效地提高对时间相关性的利用以及如何根据视频性质进行自适应调节图像组(GOP)大小问题是提高系统编码效率的关键环节。文中通过采用一种利用时间信息的快速运动估计技术及对应的自适应GOP结构(AGS),有效提高了可伸缩性视频编解码系统的编码能力。

基于运动矢量可分级的视频编码方法

传统的视频可分级编码,未考虑到运动矢量编码的渐进传输。特别是在低码率情况下,运动矢量占据了视频的大部分码流,其中有些运动矢量幅值较小,对其后的运动估计和运动补偿预测的影响并不大,这些运动矢量所占用的比特流还是一定的,由于未能采取可分级技术,导致编码效率降低。因此,提出一种基于运动矢量可分级的视频编码方法,对运动矢量模进行判断,截取其比特流,以达到质量可分级,并通过实验分析,说明该方法的可行性。

H.264 SVC层间预测选择快速算法

针对H.264SVC采用层间预测编码工具而引起的高计算复杂度问题,提出H.264SVC层间预测选择快速算法.在层间残差预测方面,先作一次运动搜索,估计宏块在2种层间残差预测选择结果之间的模式代价比,利用该模式代价比预测残差数据对增强层宏块编码的影响,从而快速选择层间残差预测.在层间运动预测方面,利用宏块的运动信息和模式代价信息来快速选择层间运动预测.实验结果表明,与参考算法相比,该算法在同等质量条件下,编码速度平均提高了30%左右.该算法可以与模式选择快速算法结合使用,进一步提高编码速度.

基于可分级视频编码的双向双维运动信息可分级

为进一步提高基于一种运动信息可分级模型的可分级视频编码的编码效率,减小运动信息可分级的最低码率限制,对该运动可分级模型的二维多向性进行了具体研究与改进,更新了运动估计的流程,提出了多向上的两个运动可分级维度的运动分级等级一致性原则以及二维数据的渐进式存储存取结构,从而实现了二维多向上的运动可分级。实验测试结果证明该二维多向的运动信息模型优于不可分级的运动信息,能有效提高可分级视频编码系统的效率。

基于多分辨率的H.264多参考帧运动估计算法

提出一种基于多分辨率的H.264多参考帧运动估计算法,通过引入多分辨率的思想,迅速得到第1个参考帧的运动矢量,利用该运动矢量和已建立的临时矢量映射表预测其余参考帧的运动矢量,无须对多参考帧中的每一帧都进行同等复杂度的运动搜索。在x264编码平台下的实验结果表明,该算法在保持H.264编码器编码性能的同时,可显著提高编码器的编码速度。

多标准视频编码器下的运动估计评估

运动估计是视频编码过程中最为复杂和耗时的阶段。为分析和优化其性能,从多个流行的开源视频编码器中提取出单独的运动估计算法模块,根据视频分辨率和视频内容的不同建立程序输入集,从而构成一套完整的测试程序集合。利用性能分析工具对算法性能和微体系结构性能进行量化分析,给出这些算法在当今主流处理器体系结构上的性能差异。实验结果表明,复杂视频和高分辨率视频下的运动估计算法耗时最长,且大部分算法的指令级并行性没有太大差异。算法最后一级高速缓存的缺失率和分支误预测率都较低,分别在0.01%和7%以下。