针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进...针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进行分类,筛选出不划分CU;然后利用子块不同划分方向的特性差异提前决策CU划分方向;最后利用CU中间区域与边缘区域的复杂度差异特征判断是否跳过三叉树(ternary tree,TT)划分,进一步减少候选列表划分模式数量。实验结果表明,与官方测试平台VTM10.0相比,编码器在平均输出比特率增加1.12%的代价下,编码时间减少了40.25%,说明该算法在通用视频编码中能以较小的质量损失实现更短的编码时间。展开更多
针对视频重压缩取证方法应用于最新的通用视频编码(Versatile Video Coding,VVC)标准效率低的问题,提出一种面向VVC标准相同编码参数下的视频重压缩取证(Video Recompression Forensics for VVC,VVC-VRF)方法。通过分析VVC编码框架,结...针对视频重压缩取证方法应用于最新的通用视频编码(Versatile Video Coding,VVC)标准效率低的问题,提出一种面向VVC标准相同编码参数下的视频重压缩取证(Video Recompression Forensics for VVC,VVC-VRF)方法。通过分析VVC编码框架,结合理论分析与实验验证得到与VVC压缩视频次数密切相关的基础码流特征,即I帧亮度编码单元(Coding Unit,CU)的划分类型、预测模式和参考行。再基于基础码流特征得到高级码流特征,即不同属性CU占比和CU划分类型占比等高级码流特征。将高级码流特征和量化参数级联,并作为支持向量机的输入得到重压缩取证结果。与帧内预测单元预测模式(Intra Prediction Unit Prediction Mode,IPUPM)方法相比,VVC-VRF能够平均节省约一半的取证时间,取证准确度也得到提升,且VVC-VRF在帧删除情况下仍具有鲁棒的性能。展开更多
为了节省360°全景视频的编码时间,对通用视频编码标准中的编码单元划分决策过程进行了研究,提出了一种面向360°全景视频的帧内预测编码的快速算法。通过优化编码树单元(Coding Tree Unit,CTU)的编码深度范围和编码单元的划分...为了节省360°全景视频的编码时间,对通用视频编码标准中的编码单元划分决策过程进行了研究,提出了一种面向360°全景视频的帧内预测编码的快速算法。通过优化编码树单元(Coding Tree Unit,CTU)的编码深度范围和编码单元的划分模式的选择过程,减少编码时间。实验结果表明,在全帧内模式下,所提算法比原始算法平均可以节省34.33%的时间复杂度,同时带来的BDBR平均增量仅为1.665%,BDPSNR的平均降低量仅为0.076 dB。展开更多
为解决当前视频重压缩取证方法没有考虑色度域信息、取证准确度低的问题,提出一种面向最新多用途视频编码(versatile video coding,VVC)标准色度域亮度域信息融合的监控视频重压缩取证方法(CLF-SVRF)。基于VVC标准的编码原理,从监控视...为解决当前视频重压缩取证方法没有考虑色度域信息、取证准确度低的问题,提出一种面向最新多用途视频编码(versatile video coding,VVC)标准色度域亮度域信息融合的监控视频重压缩取证方法(CLF-SVRF)。基于VVC标准的编码原理,从监控视频的色度域和亮度域维度分析并确定VVC视频码流中与压缩次数密切相关的基础码流特征;基础码流特征包括色度域和亮度域编码单元(coding unit,CU)的划分类型及预测模式;结合拉格朗日率失真优化技术分析随着压缩次数的增加,色度域亮度域CU划分类型和预测模式的变化;进一步确定色度域亮度域CU划分类型和预测模式可以作为检测视频压缩次数的基础码流特征;接着考虑视频监控应用对重压缩取证方法低复杂度的需求,基于色度域亮度域CU划分类型和预测模式构建低复杂度高级码流特征;将高级码流特征输入支持向量机完成监控视频的重压缩取证。实验结果表明,与当前先进方法相比,CLF-SVRF方法的监控视频重压缩取证准确度平均提升了13.53%,同时可以大幅度地降低重压缩取证耗时,重压缩取证时间平均减少了47.42%。展开更多
近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有...近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有冗余的。因此,提出了一种在VVC编码过程中结合显著性检测的视频编码方法用于机器任务,用实例分割网络掩膜基于区域的卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)获得包含对象的二进制掩膜,并依此判定是否为感兴趣区域,指导VVC编码过程中编码树单元(Coding Tree Unit,CTU)的量化参数的偏移。实验证明,与VVC基线方法相比,所提方法可以在相似的检测精度下节省一定的比特率。展开更多
针对新一代多用途视频编码(versatile video coding,VVC)标准相比上一代高效视频编码(high efficiency video coding,HEVC)采用了更多数目的时空预测模式,为相邻编码帧带来了更强的帧间相关性的问题,基于深度增强学习方法提出了一种适用...针对新一代多用途视频编码(versatile video coding,VVC)标准相比上一代高效视频编码(high efficiency video coding,HEVC)采用了更多数目的时空预测模式,为相邻编码帧带来了更强的帧间相关性的问题,基于深度增强学习方法提出了一种适用于VVC编码器的码率控制算法。首先选择合适的模型输入信息,包括帧间相关信息、分层编码结构信息和视频内容信息等;其次利用上述信息,结合长短期记忆(long short-term memory,LSTM)神经网络和增强学习方法,构建基于深度增强学习的帧间量化参数预测模型,以优化VVC编码器的码率控制过程;最后验证所提出算法的性能,将所提出算法在VTM 5.1平台实现,并与VVC源编码器进行性能对比。测试结果表明,在相同码率条件下,所提出算法相比于VVC源编码器,实现了BDBR平均节省1.81%和BDPSNR提升0.14 dB。展开更多
多功能视频编解码(Versatile Video Coding,VVC)是新一代视频编解码标准,拥有较好的压缩性能,能够达到较高的压缩比。但是,编码过程中的变换、量化等操作,不可避免地在视频解码时引起一定程度的压缩伪影,导致解码视频质量降低,影响用户...多功能视频编解码(Versatile Video Coding,VVC)是新一代视频编解码标准,拥有较好的压缩性能,能够达到较高的压缩比。但是,编码过程中的变换、量化等操作,不可避免地在视频解码时引起一定程度的压缩伪影,导致解码视频质量降低,影响用户的视觉体验。目前,基于卷积神经网络(Convolutional Neural Network,CNN)的VVC的压缩伪影去除算法并不多,且大部分算法是在默认量化参数已知的情况下建立去伪影模型,对于不知道量化参数的盲场景,这些算法不太适合。直接设计全盲算法是复杂困难的,且性能有限。针对这一情况,提出了一种半盲方法用于去除VVC解码视频中的压缩伪影,该方法比全盲的方法更加灵活且能够达到更好的性能,比非盲方法更加实用。该方法设计出一种分类网络来预测重建视频的量化参数,预训练一些压缩伪影去除模型,根据预测的量化参数为重建视频选择对应的模型以去除压缩伪影。实验结果证明了该算法的有效性。展开更多
为了降低下一代通用视频编码(VVC)帧内预测编码单元(CU)划分的计算复杂度,提出一种基于梯度幅值相似度的CU快速划分方法.首先,计算当前编码单元下层的四个子编码单元的平均梯度幅值相似度偏差(M GM SD),根据该信息来确定当前编码单元是...为了降低下一代通用视频编码(VVC)帧内预测编码单元(CU)划分的计算复杂度,提出一种基于梯度幅值相似度的CU快速划分方法.首先,计算当前编码单元下层的四个子编码单元的平均梯度幅值相似度偏差(M GM SD),根据该信息来确定当前编码单元是否进行四叉树划分或不划分.其次,当不满足四叉树划分和不划分的条件时,通过遍历得到三叉树划分和二叉树划分的子块像素方差的方差,根据该信息来选择二叉树和三叉树中最佳的划分方式.在全I帧条件下,本文方法与VTM7.0(VVC Test Model 7.0)标准模型相比,编码时长平均降低了50.69%,在大幅降低编码复杂度的同时码率仅增加1.36%.展开更多
视频编码中,率失真优化是提升编码性能的重要环节。在新一代视频编码标准——多功能视频编码(Versatile Video Coding,VVC)中,率失真优化关键参数λ的确定仍是基于与量化参数(Quantization Parameter,QP)之间相对固定的映射关系模式,而...视频编码中,率失真优化是提升编码性能的重要环节。在新一代视频编码标准——多功能视频编码(Versatile Video Coding,VVC)中,率失真优化关键参数λ的确定仍是基于与量化参数(Quantization Parameter,QP)之间相对固定的映射关系模式,而人眼对于视频内容特征的感知并未得到充分考虑,因此提出了用于多功能视频编码标准VVC的感知率失真优化算法。首先提取视频帧中编码树单元(Coding Tree Unit,CTU)的纹理和运动特征,其次结合人眼对于纹理复杂度和运动程度的不同感知,对用于CTU编码的拉格朗日乘子λ进行自适应调节。在VVC标准测试软件VTM12.0平台的低延时P帧配置下,采用多尺度结构相似性和峰值信噪比作为视频质量评价指标,在保持视频质量不变的情况下,码率平均节省0.15%和0.09%,VVC编码器率失真性能得以提升。展开更多
针对H.266/多功能视频编码(Versatile Video Coding,VVC)帧间仿射运动估计复杂度高的问题,提出了一种基于已重建先验信息的快速仿射运动估计算法。该算法利用帧间跳过(Skip)模式和仿射运动估计(Affine)模式之间的互斥性,根据上层级编码...针对H.266/多功能视频编码(Versatile Video Coding,VVC)帧间仿射运动估计复杂度高的问题,提出了一种基于已重建先验信息的快速仿射运动估计算法。该算法利用帧间跳过(Skip)模式和仿射运动估计(Affine)模式之间的互斥性,根据上层级编码块(Coding Unit,CU)、本层级子CU和相邻CU的重建信息跳过冗余的仿射运动估计过程,以降低仿射运动估计的复杂度。实验结果表明,在不明显影响视频码率和质量的情况下,该算法的编码时间相较于VVC标准整体下降了10.17%,仿射运动估计时间下降了44.2%,有效地降低了仿射运动估计的复杂度。展开更多
文摘针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进行分类,筛选出不划分CU;然后利用子块不同划分方向的特性差异提前决策CU划分方向;最后利用CU中间区域与边缘区域的复杂度差异特征判断是否跳过三叉树(ternary tree,TT)划分,进一步减少候选列表划分模式数量。实验结果表明,与官方测试平台VTM10.0相比,编码器在平均输出比特率增加1.12%的代价下,编码时间减少了40.25%,说明该算法在通用视频编码中能以较小的质量损失实现更短的编码时间。
文摘针对视频重压缩取证方法应用于最新的通用视频编码(Versatile Video Coding,VVC)标准效率低的问题,提出一种面向VVC标准相同编码参数下的视频重压缩取证(Video Recompression Forensics for VVC,VVC-VRF)方法。通过分析VVC编码框架,结合理论分析与实验验证得到与VVC压缩视频次数密切相关的基础码流特征,即I帧亮度编码单元(Coding Unit,CU)的划分类型、预测模式和参考行。再基于基础码流特征得到高级码流特征,即不同属性CU占比和CU划分类型占比等高级码流特征。将高级码流特征和量化参数级联,并作为支持向量机的输入得到重压缩取证结果。与帧内预测单元预测模式(Intra Prediction Unit Prediction Mode,IPUPM)方法相比,VVC-VRF能够平均节省约一半的取证时间,取证准确度也得到提升,且VVC-VRF在帧删除情况下仍具有鲁棒的性能。
文摘为了节省360°全景视频的编码时间,对通用视频编码标准中的编码单元划分决策过程进行了研究,提出了一种面向360°全景视频的帧内预测编码的快速算法。通过优化编码树单元(Coding Tree Unit,CTU)的编码深度范围和编码单元的划分模式的选择过程,减少编码时间。实验结果表明,在全帧内模式下,所提算法比原始算法平均可以节省34.33%的时间复杂度,同时带来的BDBR平均增量仅为1.665%,BDPSNR的平均降低量仅为0.076 dB。
文摘为解决当前视频重压缩取证方法没有考虑色度域信息、取证准确度低的问题,提出一种面向最新多用途视频编码(versatile video coding,VVC)标准色度域亮度域信息融合的监控视频重压缩取证方法(CLF-SVRF)。基于VVC标准的编码原理,从监控视频的色度域和亮度域维度分析并确定VVC视频码流中与压缩次数密切相关的基础码流特征;基础码流特征包括色度域和亮度域编码单元(coding unit,CU)的划分类型及预测模式;结合拉格朗日率失真优化技术分析随着压缩次数的增加,色度域亮度域CU划分类型和预测模式的变化;进一步确定色度域亮度域CU划分类型和预测模式可以作为检测视频压缩次数的基础码流特征;接着考虑视频监控应用对重压缩取证方法低复杂度的需求,基于色度域亮度域CU划分类型和预测模式构建低复杂度高级码流特征;将高级码流特征输入支持向量机完成监控视频的重压缩取证。实验结果表明,与当前先进方法相比,CLF-SVRF方法的监控视频重压缩取证准确度平均提升了13.53%,同时可以大幅度地降低重压缩取证耗时,重压缩取证时间平均减少了47.42%。
文摘近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有冗余的。因此,提出了一种在VVC编码过程中结合显著性检测的视频编码方法用于机器任务,用实例分割网络掩膜基于区域的卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)获得包含对象的二进制掩膜,并依此判定是否为感兴趣区域,指导VVC编码过程中编码树单元(Coding Tree Unit,CTU)的量化参数的偏移。实验证明,与VVC基线方法相比,所提方法可以在相似的检测精度下节省一定的比特率。
文摘针对新一代多用途视频编码(versatile video coding,VVC)标准相比上一代高效视频编码(high efficiency video coding,HEVC)采用了更多数目的时空预测模式,为相邻编码帧带来了更强的帧间相关性的问题,基于深度增强学习方法提出了一种适用于VVC编码器的码率控制算法。首先选择合适的模型输入信息,包括帧间相关信息、分层编码结构信息和视频内容信息等;其次利用上述信息,结合长短期记忆(long short-term memory,LSTM)神经网络和增强学习方法,构建基于深度增强学习的帧间量化参数预测模型,以优化VVC编码器的码率控制过程;最后验证所提出算法的性能,将所提出算法在VTM 5.1平台实现,并与VVC源编码器进行性能对比。测试结果表明,在相同码率条件下,所提出算法相比于VVC源编码器,实现了BDBR平均节省1.81%和BDPSNR提升0.14 dB。
文摘多功能视频编解码(Versatile Video Coding,VVC)是新一代视频编解码标准,拥有较好的压缩性能,能够达到较高的压缩比。但是,编码过程中的变换、量化等操作,不可避免地在视频解码时引起一定程度的压缩伪影,导致解码视频质量降低,影响用户的视觉体验。目前,基于卷积神经网络(Convolutional Neural Network,CNN)的VVC的压缩伪影去除算法并不多,且大部分算法是在默认量化参数已知的情况下建立去伪影模型,对于不知道量化参数的盲场景,这些算法不太适合。直接设计全盲算法是复杂困难的,且性能有限。针对这一情况,提出了一种半盲方法用于去除VVC解码视频中的压缩伪影,该方法比全盲的方法更加灵活且能够达到更好的性能,比非盲方法更加实用。该方法设计出一种分类网络来预测重建视频的量化参数,预训练一些压缩伪影去除模型,根据预测的量化参数为重建视频选择对应的模型以去除压缩伪影。实验结果证明了该算法的有效性。
文摘为了降低下一代通用视频编码(VVC)帧内预测编码单元(CU)划分的计算复杂度,提出一种基于梯度幅值相似度的CU快速划分方法.首先,计算当前编码单元下层的四个子编码单元的平均梯度幅值相似度偏差(M GM SD),根据该信息来确定当前编码单元是否进行四叉树划分或不划分.其次,当不满足四叉树划分和不划分的条件时,通过遍历得到三叉树划分和二叉树划分的子块像素方差的方差,根据该信息来选择二叉树和三叉树中最佳的划分方式.在全I帧条件下,本文方法与VTM7.0(VVC Test Model 7.0)标准模型相比,编码时长平均降低了50.69%,在大幅降低编码复杂度的同时码率仅增加1.36%.
文摘视频编码中,率失真优化是提升编码性能的重要环节。在新一代视频编码标准——多功能视频编码(Versatile Video Coding,VVC)中,率失真优化关键参数λ的确定仍是基于与量化参数(Quantization Parameter,QP)之间相对固定的映射关系模式,而人眼对于视频内容特征的感知并未得到充分考虑,因此提出了用于多功能视频编码标准VVC的感知率失真优化算法。首先提取视频帧中编码树单元(Coding Tree Unit,CTU)的纹理和运动特征,其次结合人眼对于纹理复杂度和运动程度的不同感知,对用于CTU编码的拉格朗日乘子λ进行自适应调节。在VVC标准测试软件VTM12.0平台的低延时P帧配置下,采用多尺度结构相似性和峰值信噪比作为视频质量评价指标,在保持视频质量不变的情况下,码率平均节省0.15%和0.09%,VVC编码器率失真性能得以提升。
文摘针对H.266/多功能视频编码(Versatile Video Coding,VVC)帧间仿射运动估计复杂度高的问题,提出了一种基于已重建先验信息的快速仿射运动估计算法。该算法利用帧间跳过(Skip)模式和仿射运动估计(Affine)模式之间的互斥性,根据上层级编码块(Coding Unit,CU)、本层级子CU和相邻CU的重建信息跳过冗余的仿射运动估计过程,以降低仿射运动估计的复杂度。实验结果表明,在不明显影响视频码率和质量的情况下,该算法的编码时间相较于VVC标准整体下降了10.17%,仿射运动估计时间下降了44.2%,有效地降低了仿射运动估计的复杂度。