基于动态自重构结构的3D-HEVC帧内预测算法并行化实现

3D高效视频编码3D-HEVC中帧内预测算法在专用硬件上的实现具有一定的局限性,无法满足帧内预测算法多种模式灵活自主切换的需求,导致编码性能差,硬件资源利用率不高。针对这一问题,提出一种新的3D-HEVC帧内预测算法在可编程动态自重构阵列处理器上的实现方法,该方法基于动态自重构机制,通过可编程控制器实时收集阵列执行状态,监测到阵列对当前任务执行结束后自主下发新的执行任务。通过对不同预测模式映射方案的硬件自主重构,实现算法的灵活切换。实验结果表明,与相关工作相比,该方法在提高灵活性的同时,硬件资源减少了49.1%,计算延迟减少了29.2%。将测试序列经过整个帧内环路测试,测试结果显示,图像质量良好。

基于3D高效率视频编码背景的信息隐藏算法

针对秘密信息在公开网络传输的安全性和容量性问题,提出了一种基于高效率视频编码(HEVC)背景的信息隐藏算法。利用HEVC中多视点图像的背景图作为载体,首先对其进行lαβ分解得到三个灰度分量子图,然后选取α和β分量子图作离散余弦变换,最后将秘密信息重复嵌入到载体区域中。隐藏区域选取能量权重较低的α及β分量子图的离散余弦变换中频系数区域,且进行重复嵌入,使得算法具有良好的不可见性和鲁棒性。实验结果表明,所提算法比基于帧间和帧内算法不可见性分别提高16.1%和11.4%,鲁棒性分别提高55.5%和20.2%。

基于3D-HEVC的三维视频编码方法综述

三维高效视频编码(three-dimensional high efficiency video coding,3D-HEVC)是立体视频编码扩展的国际标准化组织(Joint Collaborative Team on 3D Video Coding Extension Development,JCT-3V)推出的目前最新的3D视频编码标准,基于3D-HEVC的三维视频编码技术的研究推动了其应用并成为目前三维视频编码技术的研究热点.在回顾3D视频编码标准发展基础上,描述了基于3D-HEVC的三维视频编码方案,对其中最为关键的三维视频纹理图与深度图编码方法与研究进展进行了重点分析与阐述.首先,对目前借助视频序列中纹理特性的三维视频纹理图编码方法展开了综述并说明其存在的问题.然后,对基于纹理特性和区域的三维视频深度图编码方法展开了分析和论述.最后,结合近年来最新的研究成果,展望了三维视频编码技术的发展并提出了新的研究课题.

3D-HEVC深度视频编码MERGE模式快速选择

针对3D-HEVC中多视点深度视频编码进行研究,提出了一种对深度视频参考视点的MERGE模式快速选择算法。考虑到多视点深度视频相邻视点间相关性和MVD格式中深度视频与彩色视频间相关性,在两个方向上的参考CU采用相同编码深度时,借鉴深度视频主视点PU模式信息以加快当前CU帧间模式选择速度。在深度主视点采用MERGE模式时,当前视点跳过其他的预测模式而直接采用MERGE模式。实验结果表明,在码率和图像质量基本不变的情况下,提出的算法可以有效地提高帧间模式选择速度。

基于多类支持向量机的3D-HEVC深度视频帧内编码快速算法

深度视频编码中最优深度划分和模式选择过程具有非常高的计算复杂度。提出了基于多类支持向量机(MSVM,multi-class support vector machine)的深度视频帧内编码快速算法。该算法包括离线模型训练和快速编码2个部分。在离线模型训练中,用深度视频最大编码单元(LCU,largest coding unit)的最优划分深度作为标签,当前LCU的空域复杂度、空域相邻LCU的最优划分深度和彩色视频对应LCU的最优划分深度作为特征去构造MSVM模型。在编码时,提取LCU的特征,根据MSVM模型得到划分深度的预测值。根据该预测值提前终止编码单元递归划分和模式选择过程。实验结果表明,提出的算法在几乎不影响虚拟视点质量的情况下,平均节省35.91%的总体编码时间和40.04%的深度编码时间。

3D-HEVC深度视频快速帧内编码算法

多视点彩色加深度视频(MVD)是目前3D场景的主流表示方式之一。在3D-HEVC的编码框架中,深度视频帧内编码具有较高的编码复杂度。本文提出了一种基于区域分割的3D-HEVC深度视频快速帧内编码算法。首先根据对应彩色视频的纹理特征和深度视频的边界提取结果,把深度图分为四个区域;然后统计分析了各区域中深度视频编码失真对绘制中间视点质量的影响以及帧内编码预测模式的分布规律;最后设计了在不同区域里采用不同的CU尺寸提前决定、模式粗选限定和快速DMMs模式决定的算法。实验结果表明,本文提出的算法在绘制的中间视点质量不变的情况下平均节省55.11%的总体编码时间,对于深度视频的编码时间平均节省61.57%。

抗重压缩编码的3D-HEVC视频零水印算法

考虑到零水印算法的优越性以及目前针对3D高效视频编码标准的视频水印算法少的情况,提出了一种抗重压缩编码的视频零水印算法。首先,利用I帧的深度图及非I帧的运动矢量和编码单元划分情况对水印的构造位置进行选择。其次,通过全相位双正交变换及奇异值分解对16×16块进行处理,获取最大奇异值的最高有效位作为最终的特征信息。最后,得到的特征信息与图像水印进行异或生成零水印并进行零水印注册。实验结果表明,在不同量化参数的重压缩编码攻击、基于帧及重压缩编码混合攻击和信号处理及重压缩编码混合攻击下,本文算法具有良好的鲁棒性。

基于运动一致性的3D-HEVC深度视频帧间编码快速算法

针对深度视频在3D-HEVC编码框架中编码复杂度较高,提出了一种基于运动一致性的深度视频快速帧间编码算法.首先把深度视频划分为4个区域:彩色和深度视频均运动区域、彩色视频运动但深度视频静止区域、彩色视频静止但深度视频运动区域以及彩色和深度视频均静止区域.然后,根据不同分区对最大编码单元设计不同的编码策略.结果表明,本算法与原始测试平台HTM-10.0相比,在绘制的虚拟视点质量几乎一致的情况下,各序列深度视频编码时间平均节省了63.58%,总体编码时间节省了40.13%.

一种低延迟的3维高效视频编码中深度建模模式编码器

为了更好地对3D视频中深度图进行编码,该文将3维高效视频编码(3D-HEVC)标准新引入了深度建模模式(DMMs),新模式在提高了编码质量的同时改进了原有算法的复杂度。在设计DMM-1编码器电路时,传统架构电路的编码周期均较长,只能满足较低分辨率和帧率的视频实时编码要求。为了进一步提高3D-HEVC中DMM-1编码器的性能,该文对DMM-1算法架构进行了研究,针对其中楔形块评估无数据相关性的特点,提出了一种5级流水线架构的DMM-1编码器硬件电路,以期能够降低一个深度块编码所需的编码周期,并使用VerilogHDL进行实现。实验表明:该架构与Sanchez等人(2017年)的工作相比,以电路门数增加约1568门为代价,可减少至少52.3%的编码周期。

农机快速导航系统设计—基于图像边缘检测和3D深度视频帧内编码

在农机多行作业时,其作业效率主要受到导航精度和系统响应速度的制约。为了解决农机多行作业导航精度和时效性的问题,基于边缘检测方法和3D视频编码技术,引入了一种深度帧内编码方法,用于实时导航视频的获取,有效提高了导航的时效性和导航精度。在实时图像的垄位置标定和导航线提取时,基于特征点匹配计算量大、误匹配概率高及实时性不强的确定,提出了导航线检测的Sobel算子,有效提高了导航线获取的精度。最后,利用样机对快速导航系统进行了测试。测试结果表明:基于图像边缘检测和3D深度视频帧内编码的农机导航方法,可以实时准确地标定作物垄的导航线,满足了农机快速导航系统的设计要求。

新一代基于HEVC的3D视频编码技术

HEVC标准出台后,新一代基于HEVC的多视点加深度编码也将正式推出。基于HEVC的3D视频编码作为HEVC标准的扩展部分,主要面向立体电视和自由立体视频。从该编码方式的基本结构出发,较全面地介绍了视频编码方式、深度图编码方式和对深度图的编码控制三个方面的关键技术,包括视点间运动预测、深度图建模模式和视点合成优化等技术。

基于3D混合树和视觉特性的视频可分级编码算法

分析了视频数据的3D小波系数分布特性,提出了一种基于混合3D树型结构和HVS特性的视频可分级编码算法。首先,依据小波低、高频系数的自相关性,确定相应的树型结构来扫描和处理时间维上的低、高频系数,明显减少了用于定位重要系数的同步信息;其次,依据人类视觉系统对各频率子带敏感程度的不同,对各子带系数进行加权,使得重构视频的重要系数得以排在码流前端,从而在很大程度上提高了中低码率下视频的重构质量。对多种标准测试视频的仿真实验验证了本文算法的有效性,与非对称树型结构编码方案和单一时空方向树结构方案相比,该算法解码图像的Y、U和V 3个分量的均峰值信噪比分别高出0.65dB、1.75dB、1.77dB和0.23dB、2.11dB、1.72dB。此外,算法有效抑制了振铃效应,并获得了更好的主观效果。

3D视频编码原理简介

自20世纪90年代开始,视频编码标准不断迭代升级,以适应日新月异的技术发展需求,本文简单介绍了3D视频编码的基本原理。

基于深度学习的3D视频编码研究

针对当前网络系统对3D视频系统的需求,提出了一种基于深度学习的3D视频编码系统。首先,针对当前网络系统终端多样化问题,深入研究基于深度学习的鲁棒性 3D 视频编码;其次,针对当前网络系统中的设备不能处理高复杂度的问题,进一步研究基于深度学习的低复杂度3D视频编码;然后,针对当前网络系统中视频信息庞大问题,深入研究基于深度学习的高效3D视频编码;最后,针对人类是视频信息的最终接收体,深入研究基于深度学习的满足人类视觉特性的3D视频编码。实验结果表明,所提方法实现了基于深度学习的鲁棒、低复杂度、高效、符合人类视觉特性的3D视频编码。

3D-HEVC深度图帧内快速模式决策算法

3D-HEVC是多视点纹理加深度视频(MVD)的最新编码标准。针对3D-HEVC中深度图帧内编码过程计算复杂度高的问题,提出了一种减少帧内候选模式数目的快速模式决策算法。该算法基于最佳预测模式与粗选模式列表首位模式与之间的相关性,选择成为最佳预测模式概率较高的几种HEVC帧内预测模式加入到粗选模式列表中。实验结果表明,与原始HTM13.0相比,该算法使得深度图的编码时间减少26.35%,而引起的合成视点的失真忽略不计。

基于块编码特点的压缩视频质量增强算法

针对现有压缩视频质量增强算法未能充分利用压缩视频特点的问题,研究了视频编码与压缩视频质量增强任务之间的本质关系,并针对性地设计了一种基于三维卷积神经网络(3D convolutional neural network, 3D-CNN)的非对齐压缩视频质量增强算法。实验结果表明:相较于高效视频编码(high efficiency video coding, HEVC)标准H.265,所提算法在低延迟(low delay, LD)配置下且量化参数(quantization parameter, QP)为37时,峰值信噪比(peak signal-to-noise ratio, PSNR)提升了0.465 2 dB;相较于数据压缩会议(data compression conference, DCC)中提出的多帧引导的注意力网络(multi-frame guided attention network, MGANet)方法,该算法PSNR的增长量提升了15.1%。

面向3D-HEVC的感知自适应环路滤波

提出一种基于感知的快速自适应环路滤波算法,利用最小可察觉失真模型和Canny算子将最大编码单元进行分类,对不同分类区域进行自适应环路滤波(adaptive loop filter,ALF)的性能评估和分析,在此基础上跳过所有非敏感平滑区域和敏感平滑区域耗时的ALF处理.实验结果表明,该算法能在视频主观质量和客观质量基本不变的前提下大大降低ALF编码复杂度,有效改善ALF性能.与现有高效ALF算法相比,该算法可在编码复杂度相当的情况下获得更好的主观视频质量.

3D-HEVC合并模式快速判决方法研究

基于高效视频编码的3D视频编码(3D-HEVC)是目前正在研究的新一代3D视频编码标准。为降低3DHEVC中模式选择的计算复杂度,根据非独立视点纹理图中合并模式采用率高的特点,该文提出了一种3DHEVC合并模式快速判决方法。在B帧中,分析了当前编码单元(CU)与视点方向参考帧中参考块间编码模式的相关性;在P帧中,分析了位于相邻划分深度的CU间编码模式的相关性。根据分析的视点间和划分深度间的相关性设计快速判决条件,预判采用合并/合并-跳过模式编码的CU,判别出的CU在模式选择过程中只检查与预判模式相关的候选预测模式,从而降低计算复杂度。实验结果表明,与3D-HEVC原始算法相比,该文算法能够在率失真性能损失很小的前提下,平均节省11.2%的总编码时间和25.4%的非独立视点纹理图的编码时间。

基于Inception3D网络的眼部与口部区域协同视频换脸伪造检测

近年来出现并迅猛发展的深度伪造(DeepFake)技术深刻改变了多媒体内容伪造的方式和水平,给网络空间内容安全带来了新的严峻挑战。本文主要关注深度伪造中危害最大的视频换脸伪造,提出基于I3D(Inception3D)网络的眼部与口部双流检测方法。首先,针对现有大多数伪造检测方法忽略了视频中重要的时间信息的问题,将目前常用的仅具备空域感受能力的2D卷积拓展为I3D卷积,赋予网络同时感受空域和时域信息的能力。同时,通过调整I3D网络结构使其从原有的多分类任务设计改进为更适合换脸取证二分类任务的高效网络。进一步,考虑到视频换脸操作中眼部和口部区域伪造难度更大也更容易留下篡改痕迹的特点,提出基于这两个区域的双流网络结构,最终利用双流输出结果实现协同决策。通过在Celeb-DF、DFDC、DeepFakeDetection、FaceForensics++等目前常用数据集上的广泛实验,结果表明本文提出的方法在检测准确性和效率上较目前最先进的Xception和标准I3D网络均得到显著提升。

基于学习模型的3D-HEVC提前Merge模式终止算法

作为高效视频编码(HEVC)的扩展,3D-HEVC 标准有效地提高了 3D 视频的压缩效率,但是也带来了很高的编码计算复杂度。为了显著地降低 3D-HEVC 编码复杂度,提出了一种提前 Merge 模式终止算法。首先,提取 Merge 模式编码后的残差信号作为特征信息;然后,根据当前编码帧内已经编码的编码单元(CU)的最优Merge 模式残差信号建立学习模型;最后,提取当前 CU 的 Merge 模式的残差信号,并且利用学习模型预测 Merge模式是否为最优模式。实验结果表明,提出的提前 Merge 模式终止算法分别将 3D-HEVC 纹理视点和深度图编码的时间降低了 41.9%和 24.3%,且编码性能的降低几乎可忽略不计。相较于现有的提前 Merge 模式算法,提出的提前 Merge 模式终止算法能进一步降低 3D-HEVC 的编码时间,并且设计简单,易于集成到 3D-HEVC 测试模型。