三角形网格基活动图像编码研究——基本框架和I帧编码

本文结合实验结果,深入讨论了三角形网格基活动图像编码方法的基本框架和帧内编码问题。文中全面比较了DTM+MD的帧内编码方法和JPEG方法的性能,表明采用DTM+MD作帧内编码具有更好的主客观质量。

基于帧编码的抗CTP攻击盲指纹机制

提出了一种基于帧编码的抗剪切(Cropping)、平移(Translation)、拷贝粘贴(Pasting)攻击(CTP攻击)的盲数字指纹方案。方案通过指纹置乱、帧编码等技术处理指纹信息,增加了信息的安全性,使得同步信息与指纹绑定在一起。给出了DCT域基于图像分片的多版本嵌入及基于图像有效分片定位的提取策略。该方案不仅对CTP攻击具有很高的鲁棒性,指纹信息提取时不需要任何辅助信息,且能够有效地抵抗常规图像处理操作。

MPEG-2到MPEG-4转换编码中场-帧编码宏块转换及运动矢量优化算法

本文针对MPEG-2到MPEG-4转换编码中存在的场、帧编码宏块的不兼容问题,提出了场-帧编码宏块的转 换方法,并重点研究了场-帧转换后的运动矢量生成和优化问题,提出了一种基于残差图像DCT交流系数权重的自适应场 -帧运动矢量优化算法,实验表明其性能良好。

基于H.264 I帧编码的块边缘模式特征提取算法

提出了直接从H.264 I帧编码码流中提取块边缘模式特征的算法,并检验了该特征在图像检索中的应用.该算法利用H.264码流中得到的帧内预测模式和预测系数提取出5种边缘模式特征.该特征符合MPEG-7中所定义的边缘描述符,适合基于内容的图像检索算法.实验结果表明,采用该特征进行图像检索具有较高的检索准确率,相对于只采用帧内预测模式纹理描述符的方法,其平均查准率提高了5.07%.

基于x264架构的xAVS全Ⅰ帧编码器的设计

根据AVS-P2(文中简写为AVS)标准,参考x264编码器的基本架构和主要函数接口实现了xAVS全Ⅰ帧编码器的设计。简要分析了选取x264编码器架构的原因,比较了AVS与H.264/AVC(简写为H.264)编码标准在全Ⅰ帧编码方面的不同与特点,介绍了xAVS全Ⅰ帧编码器设计的重点,与rm52j在相同条件下的实验结果进行了对比,看出本设计是成功的。

面向360°全景视频的帧内预测编码的快速算法

为了节省360°全景视频的编码时间,对通用视频编码标准中的编码单元划分决策过程进行了研究,提出了一种面向360°全景视频的帧内预测编码的快速算法。通过优化编码树单元(Coding Tree Unit,CTU)的编码深度范围和编码单元的划分模式的选择过程,减少编码时间。实验结果表明,在全帧内模式下,所提算法比原始算法平均可以节省34.33%的时间复杂度,同时带来的BDBR平均增量仅为1.665%,BDPSNR的平均降低量仅为0.076 dB。

一种基于编码单元快速划分的VVC帧内编码方法

相比于高效视频编码(high efficiency video coding,HEVC)标准,新一代编码标准多功能视频编码(versatile video coding,VVC)引入了很多新的技术,其中包括四叉树(quadtree,QT)和多类型树(multi-type tree,MTT)划分,MTT划分由HEVC中的QT划分延伸而来。新划分方法提高了压缩效率,但导致编码时间急剧增加。为了降低编码复杂度,提出了一种结合深度学习方法和MTT方向早期判决的快速帧内编码算法。首先使用轻量级的卷积神经网络(convolutional neural network,CNN)对QT和部分MTT进行预测划分,其余MTT则采用提前预测MTT划分方向的方法作进一步的优化。实验结果表明,所提方法能够大幅降低编码复杂度,相比于原始编码器的编码时间减少了74.3%,且只有3.3%的码率损失,性能优于对比的方法。

一种基于图神经网络和统计分析的VVC帧内编码快速算法

多功能视频编码(versatile video coding,VVC)作为最新一代的视频编码标准,通过引入多种高效的编码工具进一步提升了视频编码性能。然而,VVC标准引入了四叉树加多类型树(quadtree plus multi-type tree,QTMT)划分结构,并将帧内预测模式从35种扩展到67种,导致编码复杂度急剧上升。为降低VVC的帧内编码复杂度,首先,提出了一种基于图神经网络的帧内编码单元(coding unit,CU)划分快速算法,该算法利用高效的图神经网络模型直接预测CU的最优划分模式,从而跳过冗余的CU划分遍历。其次,提出了一种基于空间相关性和纹理特征的帧内模式选择快速算法,该算法利用平均方向方差和Sobel梯度算子确定纹理方向,并跳过部分角度预测模式,同时结合预测模式间的相关性精简率失真模式列表。实验结果表明,该算法能够在BDBR(bjontegaard delta bit rate)上升2.29%的代价下,节省64.04%的编码时间。

自适应分割的视频点云多模式帧间编码方法

基于视频的点云压缩(Video based point cloud compression, V-PCC)为压缩动态点云提供了高效的解决方案,但V-PCC从三维到二维的投影使得三维帧间运动的相关性被破坏,降低了帧间编码性能.针对这一问题,提出一种基于V-PCC改进的自适应分割的视频点云多模式帧间编码方法,并依此设计了一种新型动态点云帧间编码框架.首先,为实现更精准的块预测,提出区域自适应分割的块匹配方法以寻找最佳匹配块;其次,为进一步提高帧间编码性能,提出基于联合属性率失真优化(Rate distortion optimization, RDO)的多模式帧间编码方法,以更好地提高预测精度和降低码率消耗.实验结果表明,提出的改进算法相较于V-PCC实现了-22.57%的BD-BR (Bjontegaard delta bit rate)增益.该算法特别适用于视频监控和视频会议等帧间变化不大的动态点云场景.

一种基于深度可分离卷积的VVC帧内编码快速块划分算法

最近,联合视频探索工作组(JVET)将通用视频编码(VVC)作为新一代视频编码标准,它利用复杂的四叉树加多类型树(QTMTT)划分结构有效地提升了编码性能,但也导致编码复杂度急剧攀升,大幅地增加了编码时间。为解决上述问题,提出了一种基于深度可分离卷积的VVC帧内编码快速块划分算法,将编码单元(CU)的原始像素值作为输入,利用轻量化的深度可分离卷积神经网络提取CU纹理信息特征指导CU的划分模式选择,实现精准的划分模式预测。该方案通过跳过低概率的划分模式,减少CU划分模式的遍历,大幅地降低编码器的复杂度。实验结果表明,所提算法在VTM15.2平台上实现了18%~48%的编码时间节省,仅仅带来了平均0.15%的性能损失,并且轻量化的深度可分离卷积计算带来的额外复杂性也可以忽略不计。

基于T-CNN的3D-HEVC深度图帧内快速编码算法

3D-HEVC标准中引入了具有大面积平坦区域、陡峭边缘和低纹理复杂度特性的深度图。针对深度图编码过程中编码单元(CU)率失真优化导致编码复杂度过高这一问题,本文在分析深度图编码所具有的特点的基础上,构建了深度图划分深度数据集,并提出了一种基于两通道特征传递卷积神经网络(T-CNN)的划分深度预测算法。使用本文提出的算法替换原始编码器中各视点下深度图CU划分模块,可以在一定的率失真性能损失下,将原始HTM-16.0编码器编码时间平均减少76%左右,编码效率得到了显著提升。

一种快速的多尺度多输入编码树单元互补分类网络

深度神经网络(DNN)已被广泛应用到高效视频编码(HEVC)编码树单元(CTU)的深度划分中,显著降低了编码复杂度。然而现有的基于DNN的CTU深度划分方法却忽略了不同尺度编码单元(CU)间的特征相关性和存在着分类错误累积等缺陷。基于此,该文提出一种多尺度多输入的互补分类网络(MCCN)来实现更高效且更准确的HEVC帧内CTU深度划分。首先,提出一种多尺度多输入的卷积神经网络(MMCNN),通过融合不同尺度CU的特征来建立CU间的关联,进一步提升网络的表达能力。然后,提出一种互补的分类策略(CCS),通过结合二分类和三分类,并采用投票机制来决定CTU中每个CU的最终深度值,有效避免了现有方法中存在的错误累积效应,实现了更准确的CTU深度划分。大量的实验结果表明,该文所提MCCN能够更大程度降低HEVC编码的复杂度,同时实现更准确的CTU深度划分:仅以增加3.18%的平均增量比特率(BD-BR)为代价,降低了71.49%的平均编码复杂度。同时,预测32×32 CU和16×16 CU的深度准确率分别提升了0.65%~0.93%和2.14%~9.27%。

基于卷积神经网络的HEVC帧内预测算法优化

作为HEVC标准中最基础、最重要的技术之一,帧内预测对实现视频编码的高速、高质量和高压缩率具有重要的作用。文中针对帧内预测复杂性问题进行研究,提出一种基于深度卷积神经网络(CNN)的方法,通过学习来预测CTU的划分,从而减少HEVC帧内编码的复杂性。通过建立一个大规模的CTU划分数据库,并利用CNN的能力学习各种CTU划分模式,能够准确地预测CTU的划分,从而避免了传统的穷举搜索,实现了HEVC编码复杂性的显著降低,提高了编码效率。实验结果表明,提出的方法在测试序列和图像上分别将帧内编码时间减少了62.25%和69.06%,与其他最先进的方法相比,比特率分别仅增加了2.12%和1.13%,达到了优化的目的。

基于宏块模式相关性的深度帧内跳过编码

为了提高深度图I帧的编码效率,提出一种I帧宏块模式跳过编码方法.该方法充分考虑了深度图中含有大面积平坦区域,且平坦区域内空间相邻宏块编码模式之间存在较强相关性的特点.在此基础上,提出利用空间相邻已编码宏块模式预测当前宏块模式,并对当前宏块模式与预测模式相等的宏块进行模式跳过编码.进一步提出帧内宏块跳过编码方法,它可以同时跳过平坦区域中宏块模式与残差系数的编码,从而降低现有标准在编码平坦区域宏块的残差系数过程中引入的指示信息冗余.所提两种方法位于宏块模式选择之后的宏块编码阶段,因此对重建帧的质量没有任何影响.实验结果表明:所提两种跳过编码方法的码率平均降低7.83%和8.93%.

3D-HEVC深度图像帧内编码单元划分快速算法

针对3维高性能视频编码(3D-HEVC)中深度图像帧内编码单元(Coding Unit,CU)划分复杂度高的问题,该文提出一种基于角点和彩色图像的自适应快速CU划分算法。首先利用角点算子,并根据量化参数选取一定数目的角点,以此进行CU的预划分;然后联合彩色图像的CU划分对预划分的CU深度级进行调整;最后依据调整后的CU深度级,缩小当前CU的深度级范围。实验结果表明,与原始3D-HEVC的算法相比,该文所提算法平均减少了约63%的编码时间;与只基于彩色图像的算法相比,该文的算法减少了约13%的编码时间,同时降低了约3%的平均比特率,有效地提高了编码效率。

一种三维视频深度图像快速帧内编码方法

针对三维视频编码复杂度较高的问题,提出一种快速深度图像帧内编码方法.该方法基于视频图像与深度图像的相关性,利用视频图像的最优帧内预测模式信息优化深度图像帧内编码预测模式的选择范围,减少率失真代价函数的计算量,从而降低深度图像帧内编码复杂度.实验结果表明,这种方法较深度图像独立编码方法能有效地缩短深度图编码时间,在保证合成虚拟视图质量的条件下,深度图像帧内编码时间平均减少37.16%.

基于Delaunay三角形网格的彩色视频帧间编码方法

充分利用彩色视频亮度和色度分量之间的相关性,提出了一种基于DT网格的彩色视频帧间编码方案。该方案在运动估计时仅对亮度分量Y进行DT(Delaunay triangulation)描述,对亮度分量的网格节点进行连续运动估计,利用6参数方法得到三角形内像素点的运动矢量,经过相似变换得到色度分量的运动矢量。另外对残差图像进行特殊处理和编码。实验结果表明,相对于适合低码率传输的H.263编码方法,在相同的压缩比下该方案解码图像有更好的主客观质量。

农机快速导航系统设计—基于图像边缘检测和3D深度视频帧内编码

在农机多行作业时,其作业效率主要受到导航精度和系统响应速度的制约。为了解决农机多行作业导航精度和时效性的问题,基于边缘检测方法和3D视频编码技术,引入了一种深度帧内编码方法,用于实时导航视频的获取,有效提高了导航的时效性和导航精度。在实时图像的垄位置标定和导航线提取时,基于特征点匹配计算量大、误匹配概率高及实时性不强的确定,提出了导航线检测的Sobel算子,有效提高了导航线获取的精度。最后,利用样机对快速导航系统进行了测试。测试结果表明:基于图像边缘检测和3D深度视频帧内编码的农机导航方法,可以实时准确地标定作物垄的导航线,满足了农机快速导航系统的设计要求。

基于H.264/AVC的帧间编码快速算法

为了减少H.264帧间模式判决的复杂度,提高编码速度,提出了一种帧间模式选择快速算法.该算法对所有编码模式进行综合分析,利用当前宏块的绝对差值以及率失真值对所有编码模式进行三级分裂,在一定误差范围内能够快速寻找最佳编码模式,加快模式判决过程.通过基于H.264/AVC测试模型JM86的仿真实验表明,在保持图像质量和码率基本不变的情况下,该算法可以有效提高编码速度.

基于Delaunay三角形网格的彩色视频帧内编码方法

利用DT(Delaunay Triangulation)网格研究了彩色视频亮度和色度分量之间的相关性,提出了一种基于DT网格的彩色视频帧内编码方案.该方案仅对亮度分量Y进行DT描述,利用亮度分量Y的部分网格节点经过相似变换生成色度分量Cb或Cr的DT网格,从而节约了编码时间.实验结果表明,与对3个分量分别进行DT描述及编码的方法相比,节约了约30%的编码时间,并保持了好的解码图像,仍然比H.263帧内编码和MPEG-4的静态纹理编码方法提供的主观质量好.