An Introduction to High Efficiency Video Coding Range Extensions

High Efficiency Video Coding (HEVC) is the latest international video coding standard, which can provide the similar quality with about half bandwidth compared with its predecessor, H.264/MPEG?4 AVC. To meet the requirement of higher bit depth coding and more chroma sampling formats, range extensions of HEVC were developed. This paper introduces the coding tools in HEVC range extensions and provides experimental results to compare HEVC range extensions with previous video coding standards. Ex?perimental results show that HEVC range extensions improve coding efficiency much over H.264/MPEG?4 AVC High Predictive profile, especially for 4K sequences.

Architecture of Intra Prediction for High Efficiency Video Coding

This paper explains intra prediction method for High Efficiency Video Coding(HEVC).Intra prediction removes correlation of adjacent samples in spatial domain.Intra predictor requires reference images which are stored in external memory.Memory access is required frequently in process of intra prediction.The proposed architecture can reduce external memory access by optimized internal buffer.

A Perceptual Video Coding Based on JND Model

In view of the fact that the current high efficiency video coding standard does not consider the characteristics of human vision, this paper proposes a perceptual video coding algorithm based on the just noticeable distortion model (JND). The adjusted JND model is combined into the transformation quantization process in high efficiency video coding (HEVC) to remove more visual redundancy and maintain compatibility. First of all, we design the JND model based on pixel domain and transform domain respectively, and the pixel domain model can give the JND threshold more intuitively on the pixel. The transform domain model introduces the contrast sensitive function into the model, making the threshold estimation more precise. Secondly, the proposed JND model is embedded in the HEVC video coding framework. For the transformation skip mode (TSM) in HEVC, we adopt the existing pixel domain called nonlinear additively model (NAMM). For the non-transformation skip mode (non-TSM) in HEVC, we use transform domain JND model to further reduce visual redundancy. The simulation results show that in the case of the same visual subjective quality, the algorithm can save more bitrates.

基于深度学习的HEVC编码复杂度优化方法

为降低高效率视频编码(HEVC)的计算复杂度,提出一种基于深度学习的复杂度优化方法。构建大规模编码单元(CU)划分数据库,为算法设计和神经网络训练提供数据基础;设计一种适用于HEVC的CU划分图模型,高效表征多个邻近CU的划分模式;在此基础上,提出一种基于稠密网络的分层卷积神经网络结构,准确预测HEVC中的三级CU划分结果。实验结果表明:该方法能够在保证编码效率前提下,平均节省57%的编码时间,有效解决了HEVC编码复杂度过高的瓶颈。

HEVC自适应去方块滤波器的VLSI设计与实现

去方块滤波是高效视频编码(HEVC)的重要组成部分,能够有效地改善编码图像的主观质量,是提升视频整体编码性能的重要手段之一.针对HEVC硬件编码器中去方块滤波技术复杂度较高的问题,为了在节省资源消耗的同时减少处理周期,改善滤波效率,提出HEVC自适应去方块滤波的硬件算法和VLSI架构.首先基于HEVC编码结构的边界规则,提出一种无需递归循环计算的快速边界判断算法,降低硬件实现的复杂度;然后基于上述边界判断结果,提出一种可自主选择滤波边界进行去方块滤波的4级流水结构,减少滤波处理周期;最后将亮度和色度并行滤波,设计一种高度并行且兼容共享的存储架构,改善滤波效率且节约存储资源消耗.实验结果表明,在TSMC90 nm工艺下,所设计的去方块滤波结构的硬件面积比已有结构减少60%左右,并且最高能达到250 MHz的工作频率,可满足8K@60帧/s的超高清视频的实时编码.

基于运动向量修改的保持块间扰动最小的HEVC信息隐藏算法

高效视频编码(High Efficiency Video Coding, HEVC)标准能够大幅度提升压缩效率,正被广泛应用中。为提高基于运动向量修改的HEVC视频隐写算法的安全性,本文结合了HEVC标准中帧间预测编码的新技术,并利用在运动向量域进行信息嵌入扰动较小的优点,提出了一种基于运动向量修改的保持块间扰动最小的HEVC信息隐藏算法。首先,该算法量化了修改运动向量后对当前高级运动向量预测(Advanced Motion Vector Prediction, AMVP)单元和其相邻融合(Merge)模式预测单元产生的扰动代价,将运动向量垂直分量和水平分量之和作为原始载体元素。其次,结合校验网格码(Syndrome Trellis Codes, STC),寻找扰动代价最小的嵌入路径,通过修改运动向量中绝对值较大的分量将信息嵌入在AMVP模式的预测单元运动向量上。此外,为减小对视频质量的影响,利用修改后的运动向量更新运动向量差值。实验结果表明,所提方法对视频序列进行信息嵌入后,由于本文引入的扰动代价判断可以有效控制视频质量变化,对视频序列的峰值信噪比、码率影响较小,所以该方法对视频的扰动很小。而且本文算法不仅在视频质量保护上有良好的性能,还对运动向量域专用隐写分析具有良好的抗检测能力,有利于基于HEVC视频码流的隐蔽通信的进一步发展。

一种快速的多尺度多输入编码树单元互补分类网络

深度神经网络(DNN)已被广泛应用到高效视频编码(HEVC)编码树单元(CTU)的深度划分中,显著降低了编码复杂度。然而现有的基于DNN的CTU深度划分方法却忽略了不同尺度编码单元(CU)间的特征相关性和存在着分类错误累积等缺陷。基于此,该文提出一种多尺度多输入的互补分类网络(MCCN)来实现更高效且更准确的HEVC帧内CTU深度划分。首先,提出一种多尺度多输入的卷积神经网络(MMCNN),通过融合不同尺度CU的特征来建立CU间的关联,进一步提升网络的表达能力。然后,提出一种互补的分类策略(CCS),通过结合二分类和三分类,并采用投票机制来决定CTU中每个CU的最终深度值,有效避免了现有方法中存在的错误累积效应,实现了更准确的CTU深度划分。大量的实验结果表明,该文所提MCCN能够更大程度降低HEVC编码的复杂度,同时实现更准确的CTU深度划分:仅以增加3.18%的平均增量比特率(BD-BR)为代价,降低了71.49%的平均编码复杂度。同时,预测32×32 CU和16×16 CU的深度准确率分别提升了0.65%~0.93%和2.14%~9.27%。

基于块编码特点的压缩视频质量增强算法

针对现有压缩视频质量增强算法未能充分利用压缩视频特点的问题,研究了视频编码与压缩视频质量增强任务之间的本质关系,并针对性地设计了一种基于三维卷积神经网络(3D convolutional neural network, 3D-CNN)的非对齐压缩视频质量增强算法。实验结果表明:相较于高效视频编码(high efficiency video coding, HEVC)标准H.265,所提算法在低延迟(low delay, LD)配置下且量化参数(quantization parameter, QP)为37时,峰值信噪比(peak signal-to-noise ratio, PSNR)提升了0.465 2 dB;相较于数据压缩会议(data compression conference, DCC)中提出的多帧引导的注意力网络(multi-frame guided attention network, MGANet)方法,该算法PSNR的增长量提升了15.1%。

无人机航拍视频码率控制算法优化

高效率视频编码(HEVC)在实际应用中很难满足无人机航拍领域的需求。针对此问题,提出一种基于缓冲区状态及视频显著性的码率控制算法。对预处理后的帧进行颜色、纹理特征提取,并采用log-Gabor滤波器对其进行特征滤波,得到当前帧的显著图;计算每帧和每个最小单元(CTU)的显著性权重;以帧的显著性权重和缓冲区状态指导帧层比特分配,以CTU的显著性权重指导CTU层比特分配。实验结果表明,提出的算法可以在缓冲区维持在一个平稳状态的前提下,提高0.61 dB视频显著区域的峰值信噪比,更适用于无人机航拍的场景。

张量结构和活动值的HEVC-SCC帧内快速算法

针对新一代高效视频编码标准(high efficient video coding,HEVC)逐一划分、逐层对预测模式进行RDO过程计算复杂度高的问题,提出基于结构张量和活动值的HEVC-SCC帧内快速算法。首先利用屏幕内容图像中均匀和小的全局运动区域常用大尺寸单元CU编码,复杂或大的全局运动区域常用小尺寸CU编码的特点,通过提取能够表示CU均匀性的结构张量,研究结构张量与CTU深度划分的联系,在CTU进行遍历不同深度下的编码模式前先对当前深度CU计算结构张量值,通过结构张量值判断是否跳过当前深度下的遍历率失真优化(RDO)的过程。其次利用屏幕内容和自然内容图像纹理特性不同,屏幕内容常含有水平或垂直的边,提出了基于图像活动值的屏幕内容帧内编码模式决策。通过计算图像的编码单元(coding unit,CU)的水平活动值、垂直活动值,对CU进行判别以跳过遍历所有预测模式的过程。所提的算法经过实验测试,在全帧内(all intra)配置下,与SCM-8.8算法相比能减少26.65%的编码时间,而BDBR仅增加1.95%。

HEVC中基于四叉树结构的分块模式编码算法研究

高效率视频编码(High Efficiency Video Coding,HEVC)作为新一代视频编码标准,在当前高清视频压缩传输领域具有广阔的应用前景。为保证视频编码效率,降低编码计算复杂度,文章提出一种基于四叉树结构的分块模式HEVC编码算法。该算法在保证高质量编码性能的基础上,有效降低了编码算法的计算复杂度,提高了编码效率。

Fuzzy Based Adaptive Deblocking Filters at Low-Bitrate HEVC Videos for Communication Networks

In-loop filtering significantly helps detect and remove blocking artifacts across block boundaries in low bitrate coded High Efficiency Video Coding(HEVC)frames and improves its subjective visual quality in multimedia services over communication networks.However,on faster processing of the complex videos at a low bitrate,some visible artifacts considerably degrade the picture quality.In this paper,we proposed a four-step fuzzy based adaptive deblocking filter selection technique.The proposed method removes the quantization noise,blocking artifacts and corner outliers efficiently for HEVC coded videos even at low bit-rate.We have considered Y(luma),U(chromablue),and V(chroma-red)components parallelly.Finally,we have developed a fuzzy system to detect blocking artifacts and use adaptive filters as per requirement in all four quadrants,namely up 45◦,down 45◦,up 135◦,and down 135◦across horizontal and vertical block boundaries.In this context,experimentation is done on a wide variety of videos.An objective and subjective analysis is carried out with MATLAB software and Human Visual System(HVS).The proposed method substantially outperforms existing postprocessing deblocking techniques in terms of YPSNR and BD_rate.In the proposed method,we achieved 0.32–0.97 dB values of YPSNR.Our method achieved a BD_rate of+1.69%for the luma component,−0.18%(U)and−1.99%(V)for chroma components,respectively,with respect to the stateof-the-art methods.The proposed method proves to have low computational complexity and has better parallel processing,hence suitable for a real-time system in the near future.

低复杂度样点自适应补偿滤波器的优化设计

高效视频编码标准引入了样点自适应补偿(SAO)滤波,可去除由高频信息丢失而产生的振铃效应,但是也极大增加了环路滤波的复杂度。本文提出一种低复杂度的样点自适应补偿滤波器的算法优化和实现方案。对信息统计范围进行区域优化,避免了跨编码树单元边界的复杂逻辑控制,并节省了额外缓存结构;提出一种快速计算率失真代价的三维线性码率估计模型,以此权衡率失真优化中SAO模式决策复杂度和码率模型精确度;最后,基于上述算法改进设计了适用于超高清视频处理的SAO硬件滤波器,该架构仅以85.6 k等效门消耗,支持高达333 MHz主频的超高清视频处理,其逻辑资源消耗相对于传统方案最高可节省71.47%。

HEVC帧内率失真优化预测模式的并行流水线硬件设计

近年来,随着人们对视频数据需求的不断增加,视频的分辨率和帧率也在不断地提高,而实时视频序列的压缩编码速度往往受到帧率和分辨率的影响,分辨率和帧率越大,编码所需要的时间越长。为了实现更高分辨率和更高帧率的视频序列实时压缩编码,文中设计了一种新的帧内率失真优化预测模式的并行流水线硬件架构,该架构支持最大64×64编码树单元的帧内预测编码。首先设计了9路预测模式并行方案;然后,按照Z型扫描顺序实现以4×4块为基本处理单元的流水线硬件架构,并复用32×32预测单元的预测数据,用以代替64×64预测单元的预测数据,减少运算量;最后,基于该流水线架构,提出了一种新的哈达玛变换电路,用以实现高效的流水线处理。实验结果表明:在Altera Arria 10系列的现场可编程门阵列上,该9路模式并行架构仅占用75 kb的查找表和55 kb的寄存器资源,主频可以达到207 MHz,完成一个64×64编码树单元的预测仅需要4096个时钟周期,最大能够支持1080 P分辨率99 f/s全I帧的实时编码;与已有设计方案相比,文中方案能够用更小的电路面积实现更高帧率的1080 P实时视频编码。

基于多尺度特征融合网络的HEVC帧内编码单元快速划分研究

高效视频编码HEVC显著提高了编码效率,但同时增加了编码复杂度,在基于四叉树结构的编码单元(CU)划分过程中尤为明显,因此研究CU快速划分具有重要意义。多尺度特征融合的网络可以实现HEVC编码单元快速划分。为此,结合U-Net和CU划分特性设计了UcuNet网络,同时为加强不同尺度像素的特征提取,采用了非对称卷积AC和CBAM注意力机制。为更好地训练深度学习模型,收集了不同分辨率的原始视频和对应的编码信息构建出大规模的数据集。最后将模型嵌入到HEVC编码架构中,提前预测CU划分的结果,跳过了原始CU划分方法中递归的率失真优化(RDO)计算过程,从而有效降低CU划分带来的编码复杂度。实验结果表明,对比HEVC官方测试模型(HM16.20),UcuNet在BD-BR仅损失2.63%的情况下,使平均编码时间缩短了68.13%。

基于FPGA的HEVC去方块滤波硬件设计

去方块滤波(Deblocking Filtering,DBF)是高效视频编码(High Efficiency Video Coding,HEVC)的重要组成部分,能够有效地改善编码图像的主观质量,是提升视频整体编码性能的重要手段之一。但是去方块滤波技术复杂度较高。为解决该问题,设计一种HEVC去方块滤波器的硬件架构,在节省资源消耗的同时,减少处理周期并改善滤波效率。以8×4块为基本滤波单元,从输入像素到输出像素,采用四级流水线的形式进行处理,每处理一个基本滤波单元共花费5个周期。实验结果表明,所设计的去方块滤波器仅需5 212个查找表和1 291个寄存器的逻辑资源消耗,最高可达到215 MHz的工作频率,满足1 080p@60fps的高清视频实时编码。

可用于HEVC视频编码器的混合输入DCT变换器设计

针对帧间预测重构时,因编码树单元(CTU)尺寸增大和划分层次增加,完成全部变换块变换所需要的时钟周期显著增多的问题,提出一种既可以实现单一变换块的变换与反变换,又可以对尺寸为32 px×32 px、基于高效视频编码标准(HEVC)四叉树划分的混合块进行变换与反变换的硬件架构.采用多层次蝶形架构与混合矩阵乘法器对混合输入数据进行逐级分解并运算.实验结果显示,其数据流动与单一变换块一致.在Altera的Stratix III器件下综合工作频率为189.47 MHz;在Synopsys的SAED 90-nm器件库下用逻辑综合工具(DC)综合工作频率为140 MHz,逻辑门数为1.30×10^(5);混合块变换每个时钟始终可以处理32点数据.

基于时空域复杂度特征的LCU级码率分配算法

提出一种新的最大编码单元(Largest Coding Unit,LCU)级码率分配算法,在保证码率准确性的前提下提升视频质量。首先,选择更符合人眼视觉特性的结构相似性(Structural Similarity,SSIM)图像评价算法来衡量每个LCU的空域复杂度,通过已编码帧的失真度来衡量每个LCU的时域复杂度,基于多元线性回归函数对时空域复杂度特征与实际编码比特数之间的关系进行数学建模。最后,依据时空域复杂度特征因子指导编码帧中每个LCU分配合理的目标码率。实验结果表明,在保证码率精确性的情况下,所提的LCU级码率分配算法具有较高的编码效率,率失真性能平均提高了1.25%。

可重构阵列处理器上HEVC流水线并行化设计与实现

为了解决新一代高效视频编码(HEVC)标准中计算复杂度大幅增加导致的编码速度降低问题和专用硬件实现编码器灵活性差的问题,提出了一种基于可重构阵列处理器的HEVC流水线并行化实现方法。该方法将编码块的处理过程划分为不同的流水线等级,根据算法特性设计流水线并行映射方案,并基于可重构阵列处理器的握手机制设计流水线调度方式,使得同一时刻各流水级并行处理不同的编码块,从而加速视频图像的编码过程。实验结果表明:该方案与非流水线实现相比,编码时间减少了约66%;与在现场可编程门阵列(FPGA)上通过模式决策并行化实现加速的方案相比,编码时间减少了18%;与HEVC官方测试模型HM16.8相比,平均PSNR值增加了0.0219 dB。

视频阵列处理器HEVC去块滤波算法动态重构实现

去块滤波算法是高效视频编码标准(high-efficiency video coding,HEVC)的重要组成部分,专用硬件实现的去块滤波电路结构难以满足不断革新的算法需求,可重构计算兼具计算高效性和编程灵活性成为研究热点。基于指令流与数据流混合驱动可重构视频阵列处理器(reconfigurable video array processor,RVAP),提出一种可重构的HEVC编码去块滤波电路的并行化实现方法,依据数据流图分析实现去块滤波算法的最大化并行,提高计算效率;通过强/弱滤波方式的灵活切换,提高计算资源利用率。实验结果表明,所提方法在满足算法灵活切换和计算速度要求的同时,硬件资源减少了47.6%,时钟频率达167 MHz。