基于神经网络的HEVC帧间预测方法及其硬件研究

相比于H.264,高效视频编码标准(HEVC)提出了许多新技术,提高了编码性能,但是也显著提高了编码复杂度。本文从硬件实现的角度出发,对已有的帧间CU划分预测神经网络的结构进行了多方面的优化,使其参数减少了70%,加法和乘法运算分别减少了60%、58.2%。并对优化后的卷积神经网络参数采用10位定点数方案进行定点化处理,进一步有效减少硬件资源的开支。对比于HEVC参考软件(HM16.5),优化后网络引起的BD-BR和BD-PSNR平均损失为1.718%和-0.056dB,平均节省35%~52%的编码复杂度,并且定点化处理后引起的性能损失可忽略不计。

一种基于时域相关性的高性能视频编码快速帧间预测单元模式判决算法

为了降低高性能视频编码(HEVC)的编码计算复杂度,根据视频时域上高度相关性的特点,该文提出一种快速高性能视频编码(HEVC)帧间预测单元(PU)模式判决算法。分析了时域上相邻帧两帧相同位置编码单元(CU)的PU模式之间的相关性;同时,针对视频中可能存在对象运动,还分析了前一帧对应位置CU的周边CU与当前帧中当前CU间PU模式的相关性。根据分析的时域相关性,跳过当前CU中冗余的PU模式,从而降低编码复杂度。实验结果表明,在编码效率和峰值信噪比(PSNR)损失很小的情况下,在目前已有的HEVC快速帧间预测算法的基础上,进一步降低了31.30%的编码时间。

基于帧间预测误差扩展的可逆视频水印

为了提高可逆视频水印的嵌入容量和嵌水印视频质量,提出一种使用运动估计和预测误差直方图修改的算法.在嵌入端,根据视频中相邻帧间的内容关系,对每一帧使用运动估计获得其像素的预测误差,生成预测误差直方图,并通过扩展位于直方图峰值点的预测误差来嵌入水印;在每帧的嵌入过程中会产生少量用于提取水印和还原视频的头信息,包括运动向量和边界表等,将其与水印一起嵌入到该帧的参考帧中.在提取端,先获取参考帧中的水印和头信息并还原参考帧,保证提取操作具有正确的上下文,然后根据获取的头信息和还原后的参考帧提取当前帧中的水印.实验结果表明,采用文中算法获得的预测误差直方图具有高度的集中性,并且对像素值的修改十分微小,比其他可逆水印算法具有更大的嵌入容量和更好的嵌水印视频质量.

H.264帧间预测快速算法

帧间预测是实时视频编解码技术的研究重点,高精度的匹配和补偿可以减少帧间预测误差,提高视频图像的压缩效果.为了降低在视频编码标准H.264中帧间预测的高计算复杂度问题,提出一种帧间预测快速算法.该算法在利用运动矢量的时空相关性对最优匹配点位置进行预测的基础上,依次进行"十"字形分布的五点搜索和九点均布的矩形搜索;并在搜索过程中引入根据最优点和次优点界定搜索方向、搜索窗口自适应伸缩和中途截止等多种优化策略,以提高整像素块匹配的搜索速度.实验结果表明,与全搜索算法相比,文中算法在不降低搜索精度的情况下,其运动估计速度约为全搜索算法的12倍;与UMHexagonS算法相比,在重建图像质量和码率接近的情况下,速度提高了1.87倍.

基于结构相似的H.264帧间预测改进算法

H.264/AVC通过帧间多模式预测、率失真优化及其它新技术,大大提高了视频压缩效率.失真测度的选择对帧间预测模式及运动估计中匹配块的选择有很大影响.在H.264帧间预测过程中,失真测度选用的是当前块和候选块之间的绝对差和(SAD)及平方差和(SSD).结构相似度(SSIM)是新提出的一种图像质量评价方法,与其他评价方法相比,它更加符合人眼视觉系统(HVS)且计算量不大.文中将SSIM引入到H.264帧间预测作为失真测度,提出了基于结构相似的帧间预测方法(IPBSS).该方法是在作者前期工作积累上的进一步改进.实验结果显示,该算法可以在保持视觉质量不下降的前提下,平均节约13%的码流.

基于帧间预测和联合优化的干涉多光谱图像压缩感知重建算法

根据干涉多光谱图像的特点,提出一种基于帧间预测和联合优化的干涉多光谱图像压缩感知重建算法。在干涉多光谱图像重建中,根据干涉多光谱图像的帧间相关特性,通过帧间预测除去当前帧图像测量数据中帧间相关的测量数据,并利用干涉多光谱图像预测去相关以后的残差图像的熵值较小的特征,用基于联合优化的重建方法重建帧间预测残差图像,最后得到当前帧的恢复图像。实验结果表明,在相同观测数目下,本文算法与其他方法相比,有效提高了图像重建质量,而且计算复杂度较低。

基于帧间预测的红外焦平面阵列非均匀校正算法

提出了一种基于帧间预测的非均匀校正算法,它可以通过场景配准从当前已校正图像中估计出下一帧未校正图像的真值,然后将所得的场景估计与相应的噪音图像用于线性拟合,其拟合参量即可用来进行非均匀校正.该方法的主要优点在于抗噪音能力强,预测准确度高,且能够实时处理.详细阐述了算法的基本原理及其流程,并用真实红外数据对算法性能进行验证,取得了较好的效果.

基于运动特征的HEVC快速帧间预测算法

高效视频编码(high efficiency video coding,HEVC)帧间预测方法相比于其他视频编码标准具有更高的编码效率,但同时也带来了更高的编码复杂度.为了加速HEVC帧间预测过程,提出了一种快速帧间预测算法.该算法首先判断当前编码单元(coding unit,CU)的运动特征,然后根据不同的运动特征采取不同的优化措施以减少帧间预测时间.基于HEVC校验模型(HM6.0)的实验结果表明,该算法在基本保持传统算法性能的基础上,编码时间平均可减少53.33%.

HEVC帧间预测编码单元深度快速选择算法

为降低高效视频编码(HEVC)帧间预测编码的计算复杂度,提出一种快速编码单元(CU)深度选择算法。利用当前CU与时空域相邻CU的深度信息,初步预测当前CU的深度范围,并根据当前CU与邻近CU的运动矢量信息对当前CU深度选择做进一步终止判断。实验结果表明,该算法与HEVC测试模型(HM16. 0)相比,在低时延和随机访问2种编码配置下,码率分别仅增加0. 93%和1. 01%,而编码时间减少了29. 1%和30. 3%。

基于运动信息分布的帧间预测模式选择算法

多模式预测可以提高H.264标准的编码效率和率失真性能,但会增加编码复杂度。针对上述情况,分析多预测模式帧间预测的复杂度,提出一种基于运动信息分布的帧间预测模式选择算法,以宏块中全零子块的分布情况、各子块的绝对误差和及运动向量的大小作为缩小待选模式集的判据,从而提高编码速度。实验结果表明,该算法的编码质量与全搜索算法相当,编码速度提高了37%～93%。

H.264/AVC帧间预测模式的快速分类方法

H.264/AVC采用RDO技术进行帧间模式选择,提高了编码效率,但增加了计算复杂度。该文提出了快速分类算法,利用相邻宏块率失真特征以及预测模式之间的时空相关性,缩小了模式选择的范围,降低了帧间预测的复杂度。结果表明,该方法可减少25%-46%的序列编码时间,保持了H.264/AVC的编码性能与视觉效果。

H.264/AVC可变尺寸帧间预测块模式决策研究

文章对H.264/AVC中可变尺寸帧间预测块模式决策进行了深入研究。首先对JM8.4程序所采用的全搜索模式决策方法的步骤及率失真优化策略进行了分析。然后将目前已提出的优化方法归类,并重点介绍和阐述了几种典型方法的理论依据以及决策思路。在理清思路的基础上,总结、归纳各类方法的优化思路,并比较了其优缺点,提出了最佳优化策略。

快速HEVC帧间预测编码单元深度选择算法

为提高编码效率,提出一种快速CU(Codizy Unit)深度选择算法。首先,计算当前CU的平均深度预测值(MPD:Mean Predrition Depth),根据MPD值对当前CU进行初步分类以减少CU深度选择的冗余遍历;然后,根据获得的参考帧同位置CUcol(Co-located CU)的率失真(RD:Rate Distortion)代价与其深度总和的比值作为参数对当前CU深度选择做进一步终止判断。实验结果表明,与原始算法HM16相比,快速CU算法在平均比特率减少0.10%,峰值信噪比仅降低0.08 d B的情况下,编码平均时间减少了59%,与文中参考文献[9]和文献[13]算法相比,编码时间平均减少了11%,有效降低了编码复杂度,提高了编码效率。

AVS-M帧间预测模式快速选择算法的研究

AVS-M是我国拥有自主知识产权的数字音视频编码系列标准的移动视频标准。AVS-M采用率失真优化(RDO)技术进行帧间模式的选择,增加编码过程中宏块进行模式选择的计算复杂度。本文提出一种快速的帧间模式选择算法。该算法首先对SKIP模式提前判决,再采用二分搜索法对帧间模式的选择,对于宏块层的模式划分采用MAD(平均绝对差值)方法,对亚宏块层的模式利用视频序列的时域、空域相关性来划分。仿真结果表明,该方法保持相同视频质量的情况下,提高了编码速度。

基于帧间预测模式的插值滤波器

为了进一步降低计算复杂度,提高视频图像的质量,通过对帧间预测模式的运动补偿分析及图像的频谱分析,提出了一种基于帧间预测模式的插值滤波器算法。该算法对每个不同的分块编码模式使用不同阶次的插值滤波器,为每一个分块编码模式选择最优的插值滤波器。实验结果表明,该算法不仅能有效地降低计算复杂度,还能提高信噪比,使图像的质量得到进一步的改善。

基于纹理相似性的高效视频编码帧间预测优化算法

为了提高高效率视频编码(HEVC)的编码效率,该文对帧间预测算法进行优化,提出一种基于纹理相似性的快速深度判决算法。随着视频分辨率的提高,视频序列中的空域冗余也随之增加,HEVC通过增加编码块尺寸来提高预测效率,代价就是编码复杂度的急剧增加。通过对视频序列分析可知,图像中的平滑区域与细节区域在相邻帧中存在很大的相关性。该文利用相邻已编码帧的相邻编码块的深度信息,来快速判决当前待编码块的深度信息。对于平滑区域,快速判决待编码最大编码单元的最大深度,以减少小块编码单元的模式判决;对于细节区域,快速判决待编码最大编码单元的最小深度,以减少大块编码单元的模式判决。实验结果表明,与原始的HEVC算法相比,该文所提算法编码比特率平均增加约0.13%以内,PSNR的平均降幅为0.09 d B,算法运行时间平均减少了约50%。

小波变换帧间预测医学图像编码

该文报道了一种新的医学图像编码方法,称为具有运动补偿的小波变换帧间预测医学图像编码。模拟结果表明:这种新算法比现有的同类算法有更好的性能。

H.264/AVC的分级帧间预测算法研究

在H．264／AVC标准中，帧间预测一直是编码过程最耗时的部分。为减少帧间预测编码时间，提高编码速度，在保持全部功能的情况下修改了JM代码中帧间预测的结构流程，并在新的结构的基础上提出新的预测算法：skip模式的优先选择和多参考帧选择的新判断标准。实验结果表明，在PSNR和码率基本保持不变的情况下，编码时间减少了51％-67％。

一种利用宏块直方图的快速帧间预测方法

针对H.264/AVC编码复杂度高难以实时应用的缺陷,在深入研究H.264/AVC中重要且耗时的帧间预测编码技术的基础上,提出了一种融合宏块直方图分布信息的分层逐级预判的快速帧间预测算法。仿真实验结果表明,提出算法与H.264/AVC标准算法相比,在保持重建视频图像质量和输出码流结构的前提下,平均节省编码时间约70%,改善了编码复杂度与编码实时性,保持了H.264/AVC低码率的编码优势。该算法有效地提高了H.264/AVC的编码效率。

宽带ISF参数的非等系数帧间预测分裂矢量量化方法

本文提出了一种新的适用于宽带语音编码ISF参数量化的非等系数帧间预测分裂矢量量化方案.该量化方案利用ISF参数的帧间相关性,基于预测分裂矢量量化原理,首先对待量化的ISF参数矢量进行去均值和非等系数帧间预测,然后对去均值后的ISF参数的预测残差进行分裂矢量量化.实验表明,该算法在每帧编码比特数为46bits时达到了透明量化,且平均谱失真比G.722.2中ISF参数量化的平均谱失真小.