基于神经网络的HEVC帧间预测方法及其硬件研究

相比于H.264,高效视频编码标准(HEVC)提出了许多新技术,提高了编码性能,但是也显著提高了编码复杂度。本文从硬件实现的角度出发,对已有的帧间CU划分预测神经网络的结构进行了多方面的优化,使其参数减少了70%,加法和乘法运算分别减少了60%、58.2%。并对优化后的卷积神经网络参数采用10位定点数方案进行定点化处理,进一步有效减少硬件资源的开支。对比于HEVC参考软件(HM16.5),优化后网络引起的BD-BR和BD-PSNR平均损失为1.718%和-0.056dB,平均节省35%~52%的编码复杂度,并且定点化处理后引起的性能损失可忽略不计。

基于阵列处理器的HEVC数据流图可重构实现

提出一种基于阵列处理器的HEVC算法数据流图可重构实现方法。基于动态重构机制完成不同的划分方式、算法间的灵活切换,采用深度优先贪婪对数据流图划分后子任务时域流水的并行方式对HEVC中典型编码算法的数据流图重新划分后设计合理映射方案,以Sobel算子值为重构依据在阵列处理器上进行帧内预测算法验证。实验结果表明,与块间流水方案实现相比加速比可达14.97,各算法资源利用率及计算速度均有提升,与帧内预测模式选择快速算法相比每个时钟周期可多处理7.1个像素。

张量结构和活动值的HEVC-SCC帧内快速算法

针对新一代高效视频编码标准(high efficient video coding,HEVC)逐一划分、逐层对预测模式进行RDO过程计算复杂度高的问题,提出基于结构张量和活动值的HEVC-SCC帧内快速算法。首先利用屏幕内容图像中均匀和小的全局运动区域常用大尺寸单元CU编码,复杂或大的全局运动区域常用小尺寸CU编码的特点,通过提取能够表示CU均匀性的结构张量,研究结构张量与CTU深度划分的联系,在CTU进行遍历不同深度下的编码模式前先对当前深度CU计算结构张量值,通过结构张量值判断是否跳过当前深度下的遍历率失真优化(RDO)的过程。其次利用屏幕内容和自然内容图像纹理特性不同,屏幕内容常含有水平或垂直的边,提出了基于图像活动值的屏幕内容帧内编码模式决策。通过计算图像的编码单元(coding unit,CU)的水平活动值、垂直活动值,对CU进行判别以跳过遍历所有预测模式的过程。所提的算法经过实验测试,在全帧内(all intra)配置下,与SCM-8.8算法相比能减少26.65%的编码时间,而BDBR仅增加1.95%。

HEVC中基于四叉树结构的分块模式编码算法研究

高效率视频编码(High Efficiency Video Coding,HEVC)作为新一代视频编码标准,在当前高清视频压缩传输领域具有广阔的应用前景。为保证视频编码效率,降低编码计算复杂度,文章提出一种基于四叉树结构的分块模式HEVC编码算法。该算法在保证高质量编码性能的基础上,有效降低了编码算法的计算复杂度,提高了编码效率。

基于卷积神经网络的HEVC帧内预测算法优化

作为HEVC标准中最基础、最重要的技术之一,帧内预测对实现视频编码的高速、高质量和高压缩率具有重要的作用。文中针对帧内预测复杂性问题进行研究,提出一种基于深度卷积神经网络(CNN)的方法,通过学习来预测CTU的划分,从而减少HEVC帧内编码的复杂性。通过建立一个大规模的CTU划分数据库,并利用CNN的能力学习各种CTU划分模式,能够准确地预测CTU的划分,从而避免了传统的穷举搜索,实现了HEVC编码复杂性的显著降低,提高了编码效率。实验结果表明,提出的方法在测试序列和图像上分别将帧内编码时间减少了62.25%和69.06%,与其他最先进的方法相比,比特率分别仅增加了2.12%和1.13%,达到了优化的目的。

基于多尺度特征融合网络的HEVC帧内编码单元快速划分研究

高效视频编码HEVC显著提高了编码效率,但同时增加了编码复杂度,在基于四叉树结构的编码单元(CU)划分过程中尤为明显,因此研究CU快速划分具有重要意义。多尺度特征融合的网络可以实现HEVC编码单元快速划分。为此,结合U-Net和CU划分特性设计了UcuNet网络,同时为加强不同尺度像素的特征提取,采用了非对称卷积AC和CBAM注意力机制。为更好地训练深度学习模型,收集了不同分辨率的原始视频和对应的编码信息构建出大规模的数据集。最后将模型嵌入到HEVC编码架构中,提前预测CU划分的结果,跳过了原始CU划分方法中递归的率失真优化(RDO)计算过程,从而有效降低CU划分带来的编码复杂度。实验结果表明,对比HEVC官方测试模型(HM16.20),UcuNet在BD-BR仅损失2.63%的情况下,使平均编码时间缩短了68.13%。

基于FPGA的HEVC去方块滤波硬件设计

去方块滤波(Deblocking Filtering,DBF)是高效视频编码(High Efficiency Video Coding,HEVC)的重要组成部分,能够有效地改善编码图像的主观质量,是提升视频整体编码性能的重要手段之一。但是去方块滤波技术复杂度较高。为解决该问题,设计一种HEVC去方块滤波器的硬件架构,在节省资源消耗的同时,减少处理周期并改善滤波效率。以8×4块为基本滤波单元,从输入像素到输出像素,采用四级流水线的形式进行处理,每处理一个基本滤波单元共花费5个周期。实验结果表明,所设计的去方块滤波器仅需5 212个查找表和1 291个寄存器的逻辑资源消耗,最高可达到215 MHz的工作频率,满足1 080p@60fps的高清视频实时编码。

基于T-CNN的3D-HEVC深度图帧内快速编码算法

3D-HEVC标准中引入了具有大面积平坦区域、陡峭边缘和低纹理复杂度特性的深度图。针对深度图编码过程中编码单元(CU)率失真优化导致编码复杂度过高这一问题,本文在分析深度图编码所具有的特点的基础上,构建了深度图划分深度数据集,并提出了一种基于两通道特征传递卷积神经网络(T-CNN)的划分深度预测算法。使用本文提出的算法替换原始编码器中各视点下深度图CU划分模块,可以在一定的率失真性能损失下,将原始HTM-16.0编码器编码时间平均减少76%左右,编码效率得到了显著提升。

一种HEVC编码器重构模块全流水架构设计

视频编码的重构是新一代视频编码标准(High Efficiency Video Coding,HEVC)的重要模块,通过对预测后的残差数据进行变换、量化等操作,能够大幅度地提高编码效率。由于重构过程必须与解码过程相同,所以要符合HEVC编码标准,且帧内块重构必须用到左侧与上侧块的重构数据,而这必然会引起流水线时常断流。因此,硬件重构时无法实现相邻块流水处理,限制了提升硬件处理单元工作效率的途径。本文提出一种YUV分量交叉变换的硬件架构,可有效提高硬件资源的利用率。综合结果显示,和现有架构相比,新架构在计算速度、时序紧凑性以及资源消耗上有较大优势。

H.265/HEVC熵解码的分组并行流水线实现

针对高效视频编码(H.265/HEVC)中CABAC熵解码模块的高资源消耗和数据依赖性,设计了一种多路并行的高效FPGA实现结构。根据不同类型语法元素特性,采用分组并行数据调度方法,减少数据处理等待时间和内部存储器访问次数,同时利用流水线技术实现运算加速。评估验证结果表明,熵解码模块吞吐量可以达到1.64位元/时钟周期,满足当下超高清视频实时解码的要求。

基于深度学习的HEVC帧内CU快速划分算法

由于高效视频编码(H.265/HEVC)的编码效率得到了提高,但是增加了复杂度和编码时间,为了降低其复杂度,提出了一种基于深度学习的编码单元(CU)快速划分算法。该算法首先利用HEVC官方测试模型HM16.20获取CU及其相应的划分数据集,用于文中神经网络的训练。为了更好适应CU的划分,文中提出了两级神经网络模型,第一级采用分支结构提取图像低级特征,第二级利用Inception模块提取高级特征,最后将训练好的模型集成在HM16.20。实验结果证明,与HM16.20原编码器相比,在全帧内编码配置下,提出的算法在编码性能损失不大下编码时间减少了60.52%。

HEVC标准的多层视频编码扩展

随着网络和视频技术的飞速发展,越来越多新的视频应用需要制定相应的国际标准,如3D视频、多视点视频、可分级视频、超高清视频、屏幕内容等。为此,JCT-VC和JCT-3V针对这些需求进行HEVC多层视频编码扩展标准的开发,形成了HEVC的4个附录。针对多层视频编码,HEVC扩展有多处重要改进,提供了多项先进的编码工具,文中对此进行简要分析和介绍。

基于视频阵列处理器的3D-HEVC视差估计算法并行设计与实现

三维高效视频编码(3D High Efficiency Video Coding,3D-HEVC)中视差估计算法存在处理数据量大、运算时间长和资源消耗大的问题,进一步提高算法执行效率对于3D-HEVC的推广应用具有十分重要的意义。在深入分析视差估计算法的并行性的基础上,基于项目组开发的视频阵列处理器(DPR-CODEC),提出一种新的并行实现方案。在可重构阵列结构中完成了视差估计算法的并行映射、功能仿真和FPGA测试,显著减少了视差估计算法的执行时间。实验结果表明,所提出的并行实现方案相比于串行单PE执行时间节省了59%,基于可编程可重构阵列的并行实现在具有较高的执行效率的同时也具有较好的灵活性。

基于HEVC屏幕图像编码的哈希表的优化算法

仿2维匹配算法对屏幕图像中的非连续色调区域有很好的压缩性能,但该算法中哈希表的空间开销较大,不利于硬件实现。为了减小哈希表的空间,通过对原算法优化提出了一种3字节计算哈希值方法,将源数据看作是一个由以YUV三元组为元素组成的数据集合,然后以YUV三元组为单位计算哈希值,这样不但减少了哈希值的计算量,而且使哈希表的存储空间得到很大的节省。实验结果表明,3字节计算哈希值方法使哈希表的存储空间减少为原算法的1/3,所测试屏幕图像的BD-rate性能也有所提高。

新一代视频编码标准——HEVC

在2003年制定的H.264/AVC视频编码标准获得巨大的成功后,新一代视频编码国际标准HEVC(High Ef-ficiency Video Coding)在ITU-T的VCEG和ISO/IEC的MPEG通力合作下已经开发成功。HEVC提供了多项先进的视频编码技术。尽管HEVC的视频编码层结构仍然是常见的基于块运动补偿的混合视频编码模式,但是和先前的标准相比具有多处重要改进。文中对HEVC标准的技术的主要特点和性能进行了综述。

一种基于运动矢量空间编码的HEVC信息隐藏方法

HEVC(High Efficiency Video Coding)是ISO/IEC和ITU-T联合制定的最新的视频编码标准,该文提出了一种基于运动矢量空间编码的HEVC信息隐藏方法.文中首先给出了运动矢量空间的构建及编码方法,并定义了运动矢量集合与该空间中点的映射关系;其后,给出了通过修改运动矢量集合映射值进行信息隐藏的方法.文中的方法实现了在N个运动矢量分量中最多改变一个分量即可嵌入一个2 N+1进制数的效果,具有较高的嵌入效率.此外,文中的方法仅选择CTU(Coding Tree Unit)中尺寸最小的N/2个PU(Prediction Unit)的运动矢量作为嵌入载体,使得隐写所引入的视频附加失真进一步减小并提升了隐写的透明性.最后,通过实验证实了该文的方法可行且具有优良的性能,具有良好的应用前景;而且,该文通过构造虚拟空间进行信息隐藏,给出了一种提升视频信息隐藏算法嵌入效率的新途径.

新一代视频编码标准HEVC的关键技术

HEVC(High efficiency video coding)是新一代的视频编码标准,它仍然采用了与先前视频编码标准H.264/AVC一样的混合视频编码的基本框架,但在各个编码模块都进行了改进和革新。与H.264/AVC相比较,在相同视频质量和应用条件下HEVC的码率降低将近一半。本文对HEVC的关键技术进行综述,着重研究探讨了帧内和帧间预测技术的原理和实现过程。

一种HEVC帧内预测快速算法

HEVC作为新一代的视频编码标准,比现有H.264标准的压缩效率提高近一倍,但其存在复杂度较高的问题。为此,针对HEVC中帧内预测最耗时的模块,即编码单元块划分模块和帧内预测模式选择模块,提出一种适合HEVC帧内预测的快速算法。该算法将率失真(RD)代价作为阈值参数,利用候选模式集中预测模式被选中概率快速递减的规律,基于RD代价进行帧内预测块划分和帧内预测模式选择。实验结果表明,该算法在相同编码质量条件下可减少59%的HM10.0帧内预测模块复杂度,相应比特率的增加幅度小于1.34%。

一种快速HEVC帧内预测算法

为了提高HEVC帧内预测的编码速度,提出了一种快速帧内预测算法。该算法充分利用视频序列的时间相关性,利用相邻帧CU的大小相关性在CU(Code Unit)层提前判定CU的最佳编码尺寸以及利用相邻帧在PU层减少预测方向数目来加速帧内预测的过程。实验结果表明:提出的算法与HEVC已有快速算法相比,峰值信噪比(PSNR)平均下降0.06 dB,输出码率平均减少0.09%,而帧内预测时间平均减少了约49.81%。

新一代视频编码技术HEVC算法分析及比较

新一代视频编码标准HEVC更倾向于处理高清视频,实现在设备复杂度有一定增加的前提下提高视频,尤其是高清视频的编码效率。结合现行的H.264标准,对比了HEVC标准在编码结构、帧内预测、帧间预测以及熵编码技术上的改进和算法上的优化。对HEVC的具体编码技术进行分析,并将HEVC与H.264编码性能进行了比较。实验结果表明,HEVC在编码性能上有了明显提高。