结合像素域JND阈值空间相关性与图像块类型的残差滤波算法

为了更好地将人眼视觉感知特性应用于视频压缩系统,从而去除视频的视觉冗余成分,在利用像素域的恰可察失真(Just Noticeable Distortion,JND)阈值的基础上,结合JND阈值的空间相关性与图像块类型,提出了一种改进的残差滤波算法。该算法首先在像素域计算出每个像素的JND阈值,然后在变换单元(Transform Unit,TU)中挖掘每个像素JND阈值与其周围邻近像素JND阈值之间的空间相关性,再利用索贝儿(Sobel)边缘检测算子将TU分成不同类型的图像块,并且计算出对应的复杂度因子,最后结合上述像素JND阈值的空间相关性和TU复杂度因子对TU残差进行滤波。提出的算法模型可以嵌入到高效率视频编码(High Efficiency Video Coding,HEVC)框架。实验结果表明,在全I帧配置下,提出的算法与标准算法HM16.0相比,在人眼主观感知质量基本一致的情况下,平均可节省16.1%的码率。

基于空时域特性的恰可察觉失真模型

[目的]现有像素域JND模型没有充分利用HVS时域感知特性。[方法]基于时域感知特性,本文测量了相对运动、时域持续时间两个视觉注意激励源和背景运动、帧间残差波动强度两个视觉注意不确定源。在自信息和信息熵的统一尺度上,将上述四个异质感知特征参量进行同质化融合,得到时域权重调节系数。[结果]在空域JND阈值的基础上,用时域权重调节系数对其进行调整,得到基于空时域感知特性结合的JND模型。[结论]主观实验表明,本文提出的JND模型优于现有像素域JND模型。

人类视觉对比度分辨率的非线性补偿原理和方法

在对人类视觉对比度分辨率的研究基础上,提出了对暗视觉条件下的人类视觉对比度分辨率进行非线性补偿的思想、方法和应用。将在暗视觉条件下所获得的人类视觉不能分辨的不同灰度的信息,放在恰可分辨(JND)的灰度水平上,进行非线性补偿。经过补偿后,原来人类视觉不能分辨的不同灰度的信息就清楚可辨。因此该方法可望用于构建一种新型的全天候监控系统,改善提高微光夜视系统和反隐形系统的功能。

BIQI和JND相结合的图像增强客观评价方法

提出一种结合盲图像质量指标(BIQI)和临界可见偏差(JND)的图像增强客观评价方法。方法基于Retinex理论,将测试图像分成反射图像和照度图像,分别对反射图像和照度图像进行BIQI和JND评分,得到的评分之和作为图像增强客观评价得分。对原图像失真和背景亮度的变量控制系列的实验表明,Retinex分解得到的反射图像只受失真的种类和失真程度影响,而照度图像代表原图像环境光照信息具有亮度阈值效应;应用本文算法对增强后的图像评分得到Score的最高分为0.609 3,与主观评价结果一致;而PSNR、SSIM的评分都是和原图像本身比较,不能表明图像增强效果。实验结果表明,本文算法的评价结果与主观视觉一致,能用于定量对图像增强进行客观评价。

结合JND模型的交叉验证深度图质量评价方法

针对在3D视频(3DV)和自由视点视频(FVV)中传统的图像质量评价方法不适用于深度图的问题,本文从人类视觉感知特性出发,提出一种新的深度图质量评估算法。首先进行交叉验证,得到待评价深度图的差值图;然后提取遮挡掩膜,去除被遮挡的像素点;再根据人类视觉特性,考虑背景亮度掩蔽、纹理掩蔽和边缘敏感性等因素,应用恰可察觉失真(JND)模型得到每个像素点的误差可视阈值;最后计算错误像素率作为度量指标评价深度图的质量。实验结果表明,本文提出的算法能够准确地检测错误像素,所提出的度量指标与全参考度量指标的相关系数的平均值为0.833 0,最高达到0.933 8,与合成虚拟视点均方误差的相关系数的平均值为0.857 9,最高达到0.928 3。

基于人眼亮度阈值特性的图像增强算法

结合人眼视觉特性,提出一种面向人眼视觉的图像增强算法。在保持原图像所有像素灰度大小关系不发生倒序的前提下,以人眼可分辨的像素对数作为目标函数。为使目标函数实现最大化,首先根据人眼亮度阈值特性测试指定显示器的人眼最多可分辨的灰度级数;然后结合图像本身的灰度级数与人眼最多可分辨的灰度级数使用一种动态规划灰度级合并算法,使得灰度合并后图像中包含的灰度级数不多于人眼最多可分辨灰度级数;最后对合并后的灰度按人眼视觉亮度阈值特性做一一映射。本文算法充分考虑了图像观测过程中人眼感知与显示器显示亮度,具有明确的目标函数,图像增强效果优于目前常用算法。

Weber定律下尺度空间的自适应构建

在Weber定律的启发下提出一种基于"恰可识别差异"的尺度空间自适应构建方法。Weber定律认为人类感知模式不仅与刺激的变化有关,而且与原刺激强度有关。基于此观点,在图像尺度空间的构建过程中,首先以Marr视觉理论的屋脊型边缘和阶梯型边缘的特征之和计算图像的信息量,再通过实验获得人类视觉能感知到"恰可识别差异"时的图像信息量变化,最后通过曲线拟合自适应构建图像的尺度空间。实验结果表明,该方法充分体现了人类视觉感知特性,与其他尺度空间构建方法相比,在目标匹配实验中,匹配数目提升了25%以上;在去噪实验中,本算法的去噪效果良好。

一种HEVC的快速帧间编码新方法

为了降低新一代高效视频编码(HEVC)的计算复杂度,融合基于人眼恰可察觉失真(JND)的快速帧间模式选择和自适应编码单元深度范围(ACUDR)两种算法,提出了一种快速帧间编码新方法。首先,通过建立时空域JND和最佳预测模式的统计关系,利用JND阈值指导帧间预测模式的快速选择,以减少遍历的模式个数从而降低复杂度;然后,利用编码的前一帧定义与当前帧的平均深度差(ADD),通过ADD自适应加权时空域相邻最大CU(LCU)的平均深度值预测当前LCU的深度范围(DR)类型,减少当前LCU遍历的深度个数从而降低算法复杂度;最后,融合这两种算法以进一步降低了视频编码的计算复杂度。结果表明,所提出方法在低延时和随机访问两种编码结构下,降低了40%以上的计算复杂度,但编码性能降低很小,在同等码率下的峰值信噪比(BDPSNR)仅分别降低0.058dB和0.037dB,同等客观质量下的码率(BDBR)仅分别增加1.71%和1.06%。