基于颜色复杂度和结构张量的恰可察觉失真模型

图像的恰可察觉失真(just noticeable distortion,JND)阈值是指人眼能够察觉的最小失真,通常被用于去除图像/视频压缩中的视觉冗余.针对JND模型对颜色和结构特征利用不充分的问题,提出了一种基于颜色复杂度和结构张量的JND模型.首先,计算图像的颜色复杂度,将其转换为与视觉敏感度相关的权值,和对比掩蔽模型结合以提升模型的准确性;然后,利用结构张量对局部特征进行表示,建立基于局部结构特征的调制因子,估计结构不规则区域的视觉冗余程度;最后,将基于颜色复杂度的JND模型和基于结构张量的调制因子结合,建立基于颜色复杂度和结构张量的JND(complexity structure tensor based JND,CSJND)模型.实验结果表明,相比于已有的模型,该模型在主观感知质量相同的前提下,能使PSNR值明显降低;该模型更加符合人眼的视觉特性,能更准确地估计出JND阈值.

采用SJND模型的动态点云感知编码方法

动态点云能有效描述自然场景与3D对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法。针对纹理图感知冗余,构建了基于离散余弦变换域的SJND模型,应用于纹理图编码过程中的DCT系数抑制;考虑到相同失真等级下显著区域的几何失真更易被察觉,提出使用投影显著图将几何图进行分层;最后,为不同层级的编码树单元进行自适应量化参数选择和编码。与V-PCC标准方法相比,在保证动态点云视觉质量的前提下,所提出方法提升了动态点云的编码效率。

结合人眼视觉感知特性的光场图像编码方法

光场图像可同时记录场景中光线强度与方向信息,但要求更多的存储、传输资源,因而需要高效的编码方案。提出了一种结合人眼视觉感知特性的光场图像编码方法,实现了端到端的感知光场编码。考虑到在光场编码相同的失真等级情况下,显著性区域的失真更易被察觉,提出光场图像感知编码方法。针对子孔径图像感知冗余,考虑到像素域恰可察觉失真(Just Noticeable Distortion,JND)模型没有关注显著区域特性,构建了结合显著性的JND掩蔽模型;其后,针对每一帧子孔径图像进行考虑人眼感知的自适应码率分配。实验结果表明,在低延时模式下,与高效视频编码(High Efficiency Video Coding,HEVC)方法相比,所提方法在相同的显著性加权峰值信噪比SW-PSNR质量指标下平均节省16.01%的码率,在与人眼主观感受契合度更高的情况下,实现了光场图像编码效率的提升。

结合恰可察觉编码失真模型的HEVC大容量信息隐藏方法

目的数字视频通常经过压缩后传输,结合视频编码标准嵌入秘密信息是视频信息隐藏的主流技术。然而,现有基于HEVC(high-efficiency video coding)的视频信息隐藏技术存在码率增长过快、视频质量下降等问题。针对以上问题,提出结合恰可察觉编码失真模型(JNCD)的HEVC大容量信息隐藏方法。方法 JNCD模型是一种面向HEVC视频编码的视觉感知模型。该模型充分考虑编码过程的模糊和块效应,有效去除视频感知冗余,在相同码率下可获得更高的主观感知质量。结合JNCD模型,调节I帧中编码单元(CU)的最优量化参数(QP)值,并利用基于方向调整(EMD)算法嵌入秘密信息,进一步增加信息隐藏容量。为了提高信息的安全性,用密钥对秘密信息进行置乱加密处理,在解码端只有持有该密钥的用户才能正确解密,获得秘密信息。结果实验使用HEVC参考软件HM16.0,选取分辨率不同的序列进行测试。结果表明,秘密信息嵌入后,视频测试序列的PSNR平均值为41.16 d B,与现有的信息隐藏方法相比,不仅保持较好的主观和客观视频质量,而且信息隐藏容量平均提升2倍左右。结论采用本方法在保证原视频图像的质量的情况下,能够有效增加信息隐藏的容量,并能够一定程度阻止码率增长,符合信息隐藏的不可见性、安全性和实时性要求。

面向HEVC的恰可察觉编码失真模型

为进一步提高现有视频编码技术的压缩效率及解码重建图像的主观视觉感知质量,在现有人眼恰可察觉失真(JND,just noticeable distortion)模型的基础上,提出了恰可察觉编码失真(JNCD,just noticeable coding distortion)模型。首先,通过主观实验,对恰可察觉梯度幅值差异(JNGD,just noticeable gradient difference)进行了研究,分析其变化规律并建立JNGD模型。使用全变分(TV,total variation)方法将图像分解为结构图和纹理图后,分别求取其梯度信息得到结构梯度图和纹理梯度图,利用JNGD模型分别滤除结构梯度图和纹理梯度图中的人眼不可察觉的梯度幅值;其后,分析了人眼感知对于不同梯度幅值的编码失真敏感性,设计了梯度幅值与JNCD值的主观实验,得到两者的关系模型;最后,考虑人眼对图像中的边缘、平坦和纹理3类区域失真感知程度的差异性,利用滤波后的结构梯度和纹理梯度信息将图像划分为上述3类区域,最终建立整幅图像的JNCD模型。为验证本文提出的JNCD模型的可靠性,在高效视频编码(HEVC)标准测试平台上进行的模型验证结果表明,在本模型指导下的编码其解码重建图像获得了较好的主观视觉效果,可为人眼视觉感知冗余的分析及感知编码的改进提供依据。

基于立体感知失真模型的3D-JND模型研究

恰可察觉失真模型能够衡量图像中的视觉冗余信息,在图像压缩及识别等方面应用较广。本文针对立体图像,在平面视觉因素的基础上进一步考虑双目抑制效应,提出更加符合人眼立体视觉感知的非对称3D-JND模型。

一种基于位平面和位运动估计的视频数据压缩算法

高分辨率和高刷新率使得带宽传输的压力加倍。通常,视频压缩被用来解决这个问题。但传统的视频压缩方法不根据位平面进行编码和解码,会增加存储区域的成本。因此本文首先介绍了一种位恰可察觉失真(BJND)模型,计算了结合视点因子的位平面恰可察觉失真模型的阈值,并将亮度因子和纹理因子的恰可察觉失真(JND)阈值映射到位平面上,综合得出了位恰可察觉失真模型。然后提出了一种基于位运动估计算法的视频压缩方案。该方案使改进后的搜索范围不仅包括时间维度,还包括灰度维度。根据人眼的视觉特点和概率统计分析,方案新增了补充匹配块来替代残差数据,从而保证了压缩比的恒定性。实验结果表明,所提方案对低5位平面压缩具有最佳的综合效果,压缩比为1.38,数据传输量恒定,且恢复后的图像与原始图像并无明显差异,更加符合人眼的直观感受。

基于视觉感知的率失真优化算法

率失真优化在视频编码中起着关键作用,其目的是在压缩效率和视频质量失真之间取得平衡。现有的率失真算法主要针对视频中时间和空间冗余的消除,未充分考虑视频内容的主观感知冗余。本文提出了一种基于视觉感知的率失真优化算法,通过数据驱动的JND预测模型推导拉格朗日乘数因子,并使用显著性模型优化拉格朗日乘子权重系数,最终融合应用于率失真优化,并采用SW-SSIM评估视频质量,实现视频编码的感知优化。实验结果表明,与AVS3标准率失真算法相比,本文所提算法平均节省12.15%的码率,SW-SSIM提高了0.004 3,有效降低了视频内容中的感知冗余,提高了视频感知质量和编码性能。

基于JND与梯度显著度的HDR视频编码方法

高动态范围(High Dynamic Range,HDR)成像能够呈现更加真实的画面,由于其庞大的数据量,如何结合视觉感知实现其高效编码十分重要。提出一种基于恰可察觉失真(Just Noticeable Difference,JND)与梯度显著度(Gradient Saliency,GS)的HDR视频编码方法。首先,依据最大熵定理分割HDR视频帧得到高亮、低暗与中间亮度区域,根据分割结果计算并修正针对HDR视觉内容的JND阈值。然后,出于不同复杂程度的纹理信息对于人眼显著性不同的考虑,使用GS作为人眼获取视觉信息的影响因素。最后,将GS协同JND通过感知模型,进而指导HDR视频编码的率失真优化过程,实现在HDR视频编码中更加符合视觉感知的码率分配并降低码率。实验结果表明,所提方法能够有效提高HDR视频编码性能。

基于立体掩蔽效应的非对称立体视频编码算法

由于立体视频的数据量巨大，不便存储和传输，因此必须进一步提高其压缩效率，降低传输的码率．文章分析了立体视频左右通道间恰可察觉失真的关系，基于立体掩蔽效应提出了非对称立体视频编码算法．实验结果表明：在解码重建图像主观质量基本不变的前提下，右视点视频编码的码率节约了11．45％～18．69％．与传统立体视频编码模型相比，该算法可以获得更好的立体视频压缩性能．

基于双目感知的多视点视频快速编码算法

为了减少多视点视频编码过程中多参考帧预测技术巨大的编码复杂度,提出基于双目恰可察觉失真(BJND)的多视点视频多参考帧快速选择算法,通过分析多参考帧选择与BJND之间的统计特性,提前结束多参考帧选择过程。当BJND大于阈值时,确定参考帧列表中时间或者视点上第一参考帧为最优参考帧。实验结果表明,所提出的快速算法在几乎不影响编码率失真性能的情况下,比多视点视频编码校验模型平均节约76%的编码时间。

结合像素域JND阈值空间相关性与图像块类型的残差滤波算法

为了更好地将人眼视觉感知特性应用于视频压缩系统,从而去除视频的视觉冗余成分,在利用像素域的恰可察失真(Just Noticeable Distortion,JND)阈值的基础上,结合JND阈值的空间相关性与图像块类型,提出了一种改进的残差滤波算法。该算法首先在像素域计算出每个像素的JND阈值,然后在变换单元(Transform Unit,TU)中挖掘每个像素JND阈值与其周围邻近像素JND阈值之间的空间相关性,再利用索贝儿(Sobel)边缘检测算子将TU分成不同类型的图像块,并且计算出对应的复杂度因子,最后结合上述像素JND阈值的空间相关性和TU复杂度因子对TU残差进行滤波。提出的算法模型可以嵌入到高效率视频编码(High Efficiency Video Coding,HEVC)框架。实验结果表明,在全I帧配置下,提出的算法与标准算法HM16.0相比,在人眼主观感知质量基本一致的情况下,平均可节省16.1%的码率。

一种HEVC的快速帧间编码新方法

为了降低新一代高效视频编码(HEVC)的计算复杂度,融合基于人眼恰可察觉失真(JND)的快速帧间模式选择和自适应编码单元深度范围(ACUDR)两种算法,提出了一种快速帧间编码新方法。首先,通过建立时空域JND和最佳预测模式的统计关系,利用JND阈值指导帧间预测模式的快速选择,以减少遍历的模式个数从而降低复杂度;然后,利用编码的前一帧定义与当前帧的平均深度差(ADD),通过ADD自适应加权时空域相邻最大CU(LCU)的平均深度值预测当前LCU的深度范围(DR)类型,减少当前LCU遍历的深度个数从而降低算法复杂度;最后,融合这两种算法以进一步降低了视频编码的计算复杂度。结果表明,所提出方法在低延时和随机访问两种编码结构下,降低了40%以上的计算复杂度,但编码性能降低很小,在同等码率下的峰值信噪比(BDPSNR)仅分别降低0.058dB和0.037dB,同等客观质量下的码率(BDBR)仅分别增加1.71%和1.06%。

结合JND模型的交叉验证深度图质量评价方法

针对在3D视频(3DV)和自由视点视频(FVV)中传统的图像质量评价方法不适用于深度图的问题,本文从人类视觉感知特性出发,提出一种新的深度图质量评估算法。首先进行交叉验证,得到待评价深度图的差值图;然后提取遮挡掩膜,去除被遮挡的像素点;再根据人类视觉特性,考虑背景亮度掩蔽、纹理掩蔽和边缘敏感性等因素,应用恰可察觉失真(JND)模型得到每个像素点的误差可视阈值;最后计算错误像素率作为度量指标评价深度图的质量。实验结果表明,本文提出的算法能够准确地检测错误像素,所提出的度量指标与全参考度量指标的相关系数的平均值为0.833 0,最高达到0.933 8,与合成虚拟视点均方误差的相关系数的平均值为0.857 9,最高达到0.928 3。

显著图联合改进的JND模型

提出一种改进的基于显著性检测图联合估计恰可失真(JND)阈值的视觉感知模型,将人眼注意力机制引入JND模型,通过感知特点建模得到更为精确的JND模型.首先通过改进的显著性检测算法得到相应的显著图,在计算JND阈值的过程中,使用显著图来分配不同的权重给JND模型,并针对色度和亮度的不同给予不同的权重.基于空域的JND模型主要用在计算图像中的平坦区域;而基于DCT域的JND模型更加适合计算纹理区域的阈值,新的模型还同时考虑加入对比敏感度函数和各种掩蔽效应因子.将改进的JND模型融合到新的视频编码软件HM16.4中,实验结果表明,与HEVC标准的数据对比,视觉感知质量没有明显下降.

结合人眼视觉关注特性的视频质量评价

考虑到人眼视觉关注特性在视频质量评价(VQA)中所具有的重要作用,提出了一种结合人眼视觉关注特性的视频质量评价方法。首先利用三维Sobel算子以及恰可察觉失真模型得到全局显著图,对全局显著图的每个显著像素点构建结构张量来求取一帧的全局质量;然后利用视频运动信息以及人眼中心关注特性求得局部显著图来进行感知加权,得到一帧的局部质量;最后均衡局部与全局质量得到视频中一帧的质量,并采用机器学习的方法获得时域加权模型,对视频帧进行加权,从而得到客观视频质量评价值。在LIVE视频数据库上进行性能测试,得到PLCC(Pearson Linear Correlation Coefficient)为0.827,SROCC(Spearman Rank Order Correlation Coefficient)为0.802,与已有相关算法相比,所提出的VQA方法的评价结果更接近人眼的主观感知。