A Perceptual Video Coding Based on JND Model

In view of the fact that the current high efficiency video coding standard does not consider the characteristics of human vision, this paper proposes a perceptual video coding algorithm based on the just noticeable distortion model (JND). The adjusted JND model is combined into the transformation quantization process in high efficiency video coding (HEVC) to remove more visual redundancy and maintain compatibility. First of all, we design the JND model based on pixel domain and transform domain respectively, and the pixel domain model can give the JND threshold more intuitively on the pixel. The transform domain model introduces the contrast sensitive function into the model, making the threshold estimation more precise. Secondly, the proposed JND model is embedded in the HEVC video coding framework. For the transformation skip mode (TSM) in HEVC, we adopt the existing pixel domain called nonlinear additively model (NAMM). For the non-transformation skip mode (non-TSM) in HEVC, we use transform domain JND model to further reduce visual redundancy. The simulation results show that in the case of the same visual subjective quality, the algorithm can save more bitrates.

采用SJND模型的动态点云感知编码方法

动态点云能有效描述自然场景与3D对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法。针对纹理图感知冗余,构建了基于离散余弦变换域的SJND模型,应用于纹理图编码过程中的DCT系数抑制;考虑到相同失真等级下显著区域的几何失真更易被察觉,提出使用投影显著图将几何图进行分层;最后,为不同层级的编码树单元进行自适应量化参数选择和编码。与V-PCC标准方法相比,在保证动态点云视觉质量的前提下,所提出方法提升了动态点云的编码效率。

基于视觉特性的静态图象压缩编码

基于主观视觉特性的压缩编码方法突破了传统编码技术中以MSE作为评判标准的限制,将人眼视觉特性结合到编码算法中,以实现最低比特位率和最好视觉效果.目前该技术的研究已有较大进展,但仍存在许多问题有待研究解决.本文系统地介绍了现有的基于视觉特性的压缩编码方法,同时讨论了应用在JPEG-2000和MPEG-4中的一些视觉编码技术.通过研究总结出以下结论:图象质量的客观评价、感兴趣区域的自动确定以及任意对象的识别与分割是基于视觉特性的编码技术中存在的主要问题,也是今后进一步研究发展的方向.

基于视觉感知的率失真优化算法

率失真优化在视频编码中起着关键作用,其目的是在压缩效率和视频质量失真之间取得平衡。现有的率失真算法主要针对视频中时间和空间冗余的消除,未充分考虑视频内容的主观感知冗余。本文提出了一种基于视觉感知的率失真优化算法,通过数据驱动的JND预测模型推导拉格朗日乘数因子,并使用显著性模型优化拉格朗日乘子权重系数,最终融合应用于率失真优化,并采用SW-SSIM评估视频质量,实现视频编码的感知优化。实验结果表明,与AVS3标准率失真算法相比,本文所提算法平均节省12.15%的码率,SW-SSIM提高了0.004 3,有效降低了视频内容中的感知冗余,提高了视频感知质量和编码性能。

基于BCH和JND的小波域数字图像水印算法

为了提高数字图像水印的鲁棒性,提出一种结合BCH码和JND模型的小波域数字图像水印算法。该算法采用Arnold变换和BCH码对二值水印图像进行置乱加密以及编码,对载体图像分块后再进行二维离散小波变换,将加密并且编码后的水印信息嵌入到载体图像各子块的二维离散小波变换的低频子带中,嵌入强度根据载体图像的JND值自适应的选取。实验结果表明,水印的透明性很好,在遭受不同类型和强度的水印攻击时,具有较强的鲁棒性。

基于主观视觉的小波图像编码方法

通过对不同小波系数加权优化量化步长的方式提出了基于视觉特性的零树编码算法。视觉权值通过刚能鉴别出的失真阈值JND计算出来。而JND的计算则通过人眼视觉系统的频率敏感度、亮度敏感度、图像内容的对比掩盖效应以及边缘掩盖效应4个特性来计算。实验证明,在相同主观质量的情况下,提出的算法优于原始的EZW/SPIHT算法,可以取得更高的压缩比。

面向3D-HEVC的感知自适应环路滤波

提出一种基于感知的快速自适应环路滤波算法,利用最小可察觉失真模型和Canny算子将最大编码单元进行分类,对不同分类区域进行自适应环路滤波(adaptive loop filter,ALF)的性能评估和分析,在此基础上跳过所有非敏感平滑区域和敏感平滑区域耗时的ALF处理.实验结果表明,该算法能在视频主观质量和客观质量基本不变的前提下大大降低ALF编码复杂度,有效改善ALF性能.与现有高效ALF算法相比,该算法可在编码复杂度相当的情况下获得更好的主观视频质量.

一种基于人视觉系统的DVC改进算法

为了克服无线多媒体传感器网络中的视频传感节点的处理能力、存储空间和能量严重受限的问题,本文提出一种基于人的视觉系统的分布式视频编码的方案。由于人眼睛的潜在的感受性和视觉掩蔽性能,最小可觉差值以下的变化几乎不能被人的视觉系统感知到。因此,原始帧和边信息之间在感觉阀限之外的信号误差不需要得到纠正。本文基于这种思想,将JND模型应用到WZ编码器中,并对其仿真,实验结果表明,本文所提出的算法在不改变主观质量,甚至提高主观质量时可以较大程度对视频序列进行压缩,降低比特数,具有较好的率失真性能。

基于改进四元傅里叶变换的显著性检测及其视频编码应用

针对基于感兴趣区域的有损视频压缩在低码率编码条件下容易产生明显的编码人工痕迹,提出一种基于注意力权重矩阵的四元傅里叶变换的视觉显著性视频编码模型。该方法引入人眼视觉注意力权重矩阵对不同区域图像四元数予以加权,该四元数由图像的亮度、色度和运动特征组成。图像视觉显著图可由其四元数特征的四元傅里叶相位谱获取。结合中心凹恰可觉察失真(FJND)模型将其应用于基于感兴趣区域视频编码,可提高视频编码质量。与五种流行的显著性检测算法在两个大型眼动跟踪数据库上进行对比实验,结果表明提出的算法显著性检测精度明显高于对比算法。此外,与最新的基于显著性视频编码方法在10段标准视频上进行编码视频的主观质量对比,该方法能提高低码率编码视频的主观视觉质量,且优于对比算法。

基于JND与梯度显著度的HDR视频编码方法

高动态范围(High Dynamic Range,HDR)成像能够呈现更加真实的画面,由于其庞大的数据量,如何结合视觉感知实现其高效编码十分重要。提出一种基于恰可察觉失真(Just Noticeable Difference,JND)与梯度显著度(Gradient Saliency,GS)的HDR视频编码方法。首先,依据最大熵定理分割HDR视频帧得到高亮、低暗与中间亮度区域,根据分割结果计算并修正针对HDR视觉内容的JND阈值。然后,出于不同复杂程度的纹理信息对于人眼显著性不同的考虑,使用GS作为人眼获取视觉信息的影响因素。最后,将GS协同JND通过感知模型,进而指导HDR视频编码的率失真优化过程,实现在HDR视频编码中更加符合视觉感知的码率分配并降低码率。实验结果表明,所提方法能够有效提高HDR视频编码性能。

面向视频压缩的显著性协同检测JND模型

为了更好的将人眼感知特性用于视频压缩系统,提出了一种改进的基于显著性协同检测的恰可察觉失真模型(Just Noticeable Distortion,JND).该模型通过像素域和变换域下联合建模计算得到的最优JND模型,基于上下文感知的显著性算法得到相应的显著图,并将检测结果用于JND模型权值分配.提出的JND残差滤波器可以嵌入到HEVC视频编码框架中.实验结果表明:在全I帧配置下,提出的算法编码结果与HM16相比,在视觉主观感知质量一致的情况下,平均码率可节省10.7%.

基于立体掩蔽效应的非对称立体视频编码算法

由于立体视频的数据量巨大，不便存储和传输，因此必须进一步提高其压缩效率，降低传输的码率．文章分析了立体视频左右通道间恰可察觉失真的关系，基于立体掩蔽效应提出了非对称立体视频编码算法．实验结果表明：在解码重建图像主观质量基本不变的前提下，右视点视频编码的码率节约了11．45％～18．69％．与传统立体视频编码模型相比，该算法可以获得更好的立体视频压缩性能．

数据驱动的AVS3像素域最小可觉差预测模型

AVS3作为中国第三代国家数字音视频编码技术标准,在消除视频时域/空域冗余信息方面发挥了重要的作用,但在消除感知冗余方面仍存在进一步优化的空间。本文提出一种数据驱动的AVS3像素域最小可觉差(Just noticeable distortion,JND)预测模型,在尽量保证视觉主观质量的前提下,对AVS3视频编码器进行优化。首先基于主流的大型JND主观数据库,获取符合人眼视觉特性的像素域JND阈值;然后基于深度神经网络构建像素域JND预测模型;最后通过预测的像素域JND阈值建立残差滤波器,消除AVS3的感知冗余,降低编码比特率。实验结果表明,与AVS3的标准测试模型HPM5.0相比,在人眼主观感知质量几乎无损的情况下,所提出的像素域JND模型最高可节省21.52%的码率,平均可节省5.11%的码率。

面向HEVC的恰可察觉编码失真模型

为进一步提高现有视频编码技术的压缩效率及解码重建图像的主观视觉感知质量,在现有人眼恰可察觉失真(JND,just noticeable distortion)模型的基础上,提出了恰可察觉编码失真(JNCD,just noticeable coding distortion)模型。首先,通过主观实验,对恰可察觉梯度幅值差异(JNGD,just noticeable gradient difference)进行了研究,分析其变化规律并建立JNGD模型。使用全变分(TV,total variation)方法将图像分解为结构图和纹理图后,分别求取其梯度信息得到结构梯度图和纹理梯度图,利用JNGD模型分别滤除结构梯度图和纹理梯度图中的人眼不可察觉的梯度幅值;其后,分析了人眼感知对于不同梯度幅值的编码失真敏感性,设计了梯度幅值与JNCD值的主观实验,得到两者的关系模型;最后,考虑人眼对图像中的边缘、平坦和纹理3类区域失真感知程度的差异性,利用滤波后的结构梯度和纹理梯度信息将图像划分为上述3类区域,最终建立整幅图像的JNCD模型。为验证本文提出的JNCD模型的可靠性,在高效视频编码(HEVC)标准测试平台上进行的模型验证结果表明,在本模型指导下的编码其解码重建图像获得了较好的主观视觉效果,可为人眼视觉感知冗余的分析及感知编码的改进提供依据。

结合恰可察觉编码失真模型的HEVC大容量信息隐藏方法

目的数字视频通常经过压缩后传输,结合视频编码标准嵌入秘密信息是视频信息隐藏的主流技术。然而,现有基于HEVC(high-efficiency video coding)的视频信息隐藏技术存在码率增长过快、视频质量下降等问题。针对以上问题,提出结合恰可察觉编码失真模型(JNCD)的HEVC大容量信息隐藏方法。方法 JNCD模型是一种面向HEVC视频编码的视觉感知模型。该模型充分考虑编码过程的模糊和块效应,有效去除视频感知冗余,在相同码率下可获得更高的主观感知质量。结合JNCD模型,调节I帧中编码单元(CU)的最优量化参数(QP)值,并利用基于方向调整(EMD)算法嵌入秘密信息,进一步增加信息隐藏容量。为了提高信息的安全性,用密钥对秘密信息进行置乱加密处理,在解码端只有持有该密钥的用户才能正确解密,获得秘密信息。结果实验使用HEVC参考软件HM16.0,选取分辨率不同的序列进行测试。结果表明,秘密信息嵌入后,视频测试序列的PSNR平均值为41.16 d B,与现有的信息隐藏方法相比,不仅保持较好的主观和客观视频质量,而且信息隐藏容量平均提升2倍左右。结论采用本方法在保证原视频图像的质量的情况下,能够有效增加信息隐藏的容量,并能够一定程度阻止码率增长,符合信息隐藏的不可见性、安全性和实时性要求。

应用多恰可感知失真等级的视频感知编码

为了对视频编码中的视觉感知冗余进行充分挖掘,提升视频的主观质量,根据人眼感知特性对视频内容进行分类,建立了一种更符合人眼感知的多恰可感知失真等级视频感知失真测度模型,并将其应用于高效视频编码(HEVC).通过改善传统编码器的比特分配方式,对帧内编码帧与帧间编码帧分别进行处理,根据重分配的比特更新量化参数(QP),实现了视频感知编码.实验结果显示:与HEVC标准测试模型(HM)中的方法相比,提出的算法能够在近似同等的码率下获得更好的视频主观质量.

显著图联合改进的JND模型

提出一种改进的基于显著性检测图联合估计恰可失真(JND)阈值的视觉感知模型,将人眼注意力机制引入JND模型,通过感知特点建模得到更为精确的JND模型.首先通过改进的显著性检测算法得到相应的显著图,在计算JND阈值的过程中,使用显著图来分配不同的权重给JND模型,并针对色度和亮度的不同给予不同的权重.基于空域的JND模型主要用在计算图像中的平坦区域;而基于DCT域的JND模型更加适合计算纹理区域的阈值,新的模型还同时考虑加入对比敏感度函数和各种掩蔽效应因子.将改进的JND模型融合到新的视频编码软件HM16.4中,实验结果表明,与HEVC标准的数据对比,视觉感知质量没有明显下降.