基于卷积神经网络的分数像素运动补偿

分数阶插值是帧间编码运动补偿中一项重要技术。为改进传统插值滤波器插值效果不佳,现有基于深度学习的方法存在只生成半像素样本、需要对各个分像素位置及量化参数(QP)训练相应模型、需引入额外的信息作为输入等不足之处,本文提出一种用于帧间编码分数像素运动补偿的卷积神经网络(CNN)方法。首先以残差稠密网络为基础,然后联合多尺度失真特征提取结构及亚像素卷积来增加特征提取准确性和生成分数像素。为了训练所提出的网络,本文分析该分数阶插值任务的特点,构建了带有真实性失真的数据集。该模型依靠参考帧生成各个位置的分数像素样本,且适应任意的量化参数。实验结果表明,与H.265/HEVC相比可以节省更多的比特数。在低延迟P(LDP)的配置下,平均降低2%的BD-rate,与同类方法相比综合性能也有所提升。

针对H.264改进的快速整像素运动估计算法

以视频压缩标准H.264联合开发模型(JM)中的运动估计算法UMHexagonS为基础,提出了一个新的快速整像素运动估计算法来改进压缩编码性能。在起始搜索点预测部分,提出了新的预测运动矢量(MV)检测顺序,以提高起始搜索点的准确度;在全局搜索部分提出了自适应全局搜索方法,根据准确度最高的两个预测MV之间的关系,适当跳过非对称十字型模板搜索和非均匀多重六边形模板搜索,并通过对不同序列的测试,验证了判断准则的可行性与准确性。根据实际序列中最佳MV相对起始点的分布,提出了改进5×5搜索。另外,增加了针对子宏块的提前终止策略,在不增加额外运算量的前提下,进一步减少了运动估计开销。实验结果表明,相对UMHexagonS算法,提出的改进算法使搜索点总数平均减小了83.80%,信噪比平均下降了0.021dB,或输出码率等效增加了0.46%。该算法有效降低了运动估计的运算量,而只带来了很小的编码性能下降,且对不同运动强度的视频序列具有均匀的算法效果。

一种分像素运动补偿插值滤波方法及高效VLSI实现

现代视频编码标准普遍采用变换与运动补偿预测混合型编码架构,该架构对运动补偿预测后的残差图像和运动矢量等信息进行变换编码,运动补偿预测的准确度对编码性能有显著影响.由于实际对象的运动精度是任意小的,允许运动矢量具有“分像素”精度,可以有效地提高运动补偿预测准确度,为了得到“分像素”位置的像素值,需要参考其周围相邻的像素值进行插值滤波.文中提出了一种低空间复杂度1/4像素插值方法两步四抽头插值法(Two Steps Four Taps Interpolation,TSFT),该方法与目前国际上最先进的视频编码标准H.264/AVC相比,可以降低11%的空间复杂度,计算复杂度和编码效率相当,已经被国内制定的编码标准AVS1.0采纳.另外,分像素插值是解码端主要的访存和计算瓶颈,文中给出了一个基于多级流水线结构的VLSI实现结构,可以降低访存带宽,同时提高插值器的运算速度,满足高清视频实时解码的需要.

面向H.264的多级自适应快速整像素运动估计算法

为了减少运动估计计算量,提高视频编码效率,提出了一种多级自适应快速整像素运动估计算法。首先,根据前一帧的帧级运动强度和当前块预测运动矢量(PMV)分别预测帧级和宏块级搜索范围,取其中最小值作为最终搜索范围。其次,根据宏块级运动强度,将宏块分为低、中、高三种运动强度类型,针对不同的类型自适应选择钻石、改进的六边形、UMHexagonS算法模板。然后,根据宏块运动矢量方向性,对高运动强度类型宏块采取方向自适应搜索策略。最后,对UMHexagonS算法进行了改进。实验结果表明,本文算法比FFS、UMHexagonS、EPZS算法分别平均减少了70.290%、19.124%、14.113%的运动估计时间,而峰值信噪比基本不变且码率增加较少。

HEVC的高效分像素运动补偿

现有的视频编码方法单独针对不同的编码技术进行优化,虽然简化了算法的实现,但却忽略了这些技术之间的内在关系而局限了性能的进一步提升.尝试针对HEVC中的分像素插值和分像素运动估计,建立一种整合的优化算法,同时提升两者的计算速度.首先,通过细分不同分像素的插值方法,把每个分像素的插值代价融合在分像素运动估计的搜索中,并构建一种性价比优先的分像素运动估计方法.该运动估计方法的每一步搜索都按照最小化计算代价和最大化率失真收益的原则进行,保证以最小的计算消耗获得最优的性能.其次,为了配合该方法,针对HEVC的特性构建了一种分区域分像素集的分像素插值算法.该插值算法在分像素运动估计过程中仅动态地计算所用到的分像素,解决了现有插值算法无法同时降低重复计算和冗余计算的问题.实验结果表明,该整合算法可以在几乎不产生率失真性能损失的情况下,大幅度地加快分像素运动估计和插值的速度.

基于像素运动的图像模糊机理与恢复技术

从像素运动的角度分析了因运动造成图像模糊的实际过程，根据模糊图像像素间的关系建立了一维和二维匀速直线运动所造成的模糊图像的模糊模型，进而由模糊过程的逆过程给出了恢复模型。最后对匀速直线运动造成的图像模糊进行了模拟和恢复,取得了令人满意的 效果。

一种AVS-M整数像素运动估计快速算法

根据AVS—M编码过程中运动估计的特点，在整数像素运动矢量搜索过程中，提出一种基于起点预测和早停止的自适应运动估计快速搜索算法．与MVFAST算法相比，大大减少了搜索点数，加速了搜索过程，平均速度提高了39．9％～45．7％，减少了整数像素运动估计的计算量，在保持较低的编码码率和较好的图像质量的同时，提高了编码速度．

基于运动矢量空间相关性的H.264分像素运动估计

随着整像素运动估计快速算法的发展,分像素运动估计的计算量在运动估计中所占比重越发明显。为了减少分像素运动估计的计算量,提出了一种利用运动矢量空间相关性来预测整像素运动块,对整像素运动块进行分像素搜索过程跳过的分像素运动估计方法。实验结果表明,该算法与全分像素搜索算法结合使用,在基本保持搜索精度不变的情况下,比单纯的全分像素搜索算法减少60%左右的分像素搜索点。该算法可与其他快速分像素搜索算法结合使用,以获得更好的编码性能。

分数像素运动矢量代价产生器的VLSI设计

针对H.264/AVC视频编码器的系统芯片设计,通过分析分数像素运动估计(FME)模块的数据并行度和硬件利用率,探讨了分数像素运动矢量代价产生器的复用结构,再依据FME模块的具体设计约束,提出了可以复用产生1/2像素和1/4像素运动矢量代价的硬件实现结构,并且在FPGA开发板上进行了分数像素运动矢量代价产生器的设计验证。

基于方向信息的快速整像素运动估计优化

针对H．264／AVC标准采用的UMHexagonS整像素运动估计算法，提出了一种进一步降低其运算复杂度的改进方法．通过利用UMHexagonS算法中非对称十字型搜索中水平及垂直方向上的运动估计的成本大小和方向信息，自适应地将25点的正方形搜索修改为最大7点搜索，以及将16点非均匀多层次六边形格点搜索修改为最大4点搜索，从而实现减少搜索点数，节省搜索时间．实验结果表明，提出的算法在保证原有UMHexagonS算法码率失真性能的同时，能节省大约23％～42％整像素运动估计时间．

基于AVS-M的亚像素运动估计快速算法

提出一种适用于AVS-M基于预测的亚像素运动估计快速搜索算法。分析亚像素候选点的匹配误差关系以排除可能性小的点,保证亚像素搜索的准确性。采用有效的搜索策略,对于不同运动特征的视频序列,在平均PSNR下降不超过0.01 dB的情况下,该算法与亚像素全搜索算法相比,减少了68.50%～87.69%的搜索点数,与中心偏置亚像素搜索算法相比,减少了44.68%～67.38%的搜索点数。

分数像素运动估计的VLSI结构设计

根据H.264/AVC视频编码中分数像素运动估计(FME)的算法特点,针对视频编码系统的不同具体需求,提出了FME的4种VLSI实现结构,并对这些结构的硬件利用率和运算速度进行了对比分析。

基于最优位置计算的快速亚像素运动估计

亚像素运动估计是提高视频压缩性能的有效方法,但当前普遍采用的亚像素全搜索算法不仅运算复杂度极高而且随亚像素精度的增加插值存储开销成指数级增长.该文提出了一种快速算法,该算法首先利用整像素运动估计的中间结果直接计算出最优亚像素位置,并在此基础上将最终搜索点数减少到2个以下,避免了传统方法的逐点搜索比较,不仅大幅度提高了搜索速度,且插值存储开销趋近于零.实验结果表明该算法以极小的搜索代价取得了与全搜索相当的效果.

H.264中1/4像素运动预测的快速搜索算法

提出了一种新的1/4像素运动预测快速搜索算法,测试结果表明,此算法大大减少了搜索点数,降低了计算量,可使搜索速度明显提高。

HEVC整像素运动估计的并行螺旋搜索算法及其硬件实现

为了能够在硬件上有效减少整像素运动估计(IME)的计算复杂度,提出一种基于并行螺旋搜索算法的整像素运动估计硬件架构设计方案.该设计按照螺旋顺序,首先,由中心向四周扩散的方式逐点搜索;其次,在搜索过程中每一个搜索点处同时处理所有PU块,通过这种PU块共享搜索过程的方式来减少周期数;最后,通过提前结束判断的方式,跳过不必要的搜索点,进一步减少周期数.用Verilog语言进行硬件描述,利用VCS工具进行仿真,且仿真SAD结果与HEVC参考软件(HM)结果数据一致,证明其正确性;通过对多个序列进行测试,平均每1733.4个时钟处理一个64 px×64 px大小的CTU.硬件框架在VIVADO平台下,用Virtex-7系列芯片进行综合,得到工作频率为198 MHz,能够实现4 K@56.4 f·s^(-1)的吞吐率.

基于亚像素运动矢量的AVS编码快速搜索算法

针对AVS视频编码系统中运动搜索模块运算量较大的问题，提出一种基于亚像素运动矢量的快速搜索算法。该算法利用整像素点进行分区域预测，并采用二步搜索法快速定位出最匹配亚像素点。实验结果表明，与传统方法相比．在峰值信噪比下降不足0．1dB的情况下，该算法减少超过50％的亚像素搜索次数，视频编码时间缩短18％～30％。

适用于AVS的高性能整像素运动估计硬件设计

提出了一种适用于AVS的高性能整像素运动估计的硬件设计。该设计采用了二维内置SAD加法树计算阵列结构,通过合理的安排片上存储,极大地降低了I/O带宽;运用了加1电路选择进位加法器,进一步缩小了结构面积,提高了处理速度。实验表明,使用SMIC 0.18μm CMOS工艺库在250 MHz频率下综合,所提出的结构只需102 K门,满足对AVS高清视频实时处理的要求。

全插值分像素运动估计VLSI结构

提出一种高效的分像素运动估计VLSI结构。通过采用对整个搜索窗口进行并行插值,并设计数据路由结构对数据流进行分配存储的方法,在节省存储空间的同时,有效降低了存储器的访问次数,提高了数据利用率,解决了分像素运动估计数据存储量大、搜索窗口访存次数多以及搜索时间长的问题。在SMIC 0.13μm工艺下,用Synopsys DC进行逻辑综合。在时钟频率300 MHz下,处理1080P的视频图像,速度可以达到65 frame/s。

一种快速的半像素运动矢量搜索算法

提出了一种基于梯度预测的快速半像素运动矢量搜索算法。实验结果表明,在H.263编码器中使用该算法的运算量,比在相同量化阶下的半像素运动矢量搜索算法下降45%,并且图像的PSNR和码率变化很小。该算法可以很容易地应用到H.264的1/4像素运动矢量搜索中。

H．264整像素运动向量搜索算法的FPGA实现

通过比较几种常用的整像素向量搜索算法,以EPZS算法为基础,引入一种适合硬件实现的H.264整像素向量搜索算法。算法首先从内存需求及流水线安排角度考虑,从EPZS算法中选取若干适合硬件的搜索模板。其次,算法选取若干易获取的预测点,并根据其与当前向量的相关程度排序。在解决了FPGA流水线延迟过大产生的硬件空闲问题后,已用XC2V3000芯片成功实现。实验表明算法在大幅缓解内存访问的压力、减小搜索点的同时,可保证视频的峰值信噪比及码流大小。