一种自由视点视频系统中立体图像质量的评价方法

提出了一种自由视点视频系统中立体图像的质量评价方法。分别对参考图像与失真图像进行小波分解后用对比敏感度函数加权,计算两者之间的平均结构相似度得到基于内容的质量分数;在双目匹配区域中找到中心凹区域,在该区域上计算图像之间的平均相位相似度,得到基于深度感知的质量分数;利用阈值提取匹配区域中为人眼所感知的失真区域,与利用视差映射过来的另一视点图像的相对应区域计算平均结构相似度得到基于双目特性的质量分数。融合各部分质量分数得到最终图像质量。实验结果表明,本算法评价结果与主观感知一致性较好,更符合人眼视觉特性。

沉浸式视频编码技术综述

随着虚拟现实、增强现实等沉浸式媒体技术的发展,沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注。沉浸式视频更复杂的视频特性和庞大的数据量,对传统视频编码技术提出了挑战,新的编码技术应运而生。该文从视频自由度(DoF)出发,分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果。3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准。6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG,MIV)编码标准。最后,对沉浸式视频及其编码技术的发展进行总结和展望。

多视点与深度视频编码技术研究综述

多视点与深度视频(MVD)可以有效表示自由视点视频,减少了需传输视点的个数,该表达形式正受到越来越多的关注,如何对MVD进行高效编码尤为重要。介绍了自由视点视频的发展现状及国内外研究概况,详细讨论了深度图像的高效编码技术及多视点与深度联合编码技术,并对多视点与深度视频编码技术进行了总结及展望。

一种快速消除失真的虚拟视点合成方法

基于深度图的绘制(DIBR)技术是合成虚拟视点图像的有效方法,但是合成的图像往往存在失真,最主要的问题是包含"伪影"和大小不等的空洞。针对"伪影"问题,先对参考视点图像进行色彩校正,并综合基于深度的彩色图融合和彩色图直接融合两种方式融合图像,以减弱"伪影"效应;针对映射后出现的小空洞,采用反向映射到参考图像的方式进行填充;针对大的空洞,采用图像修复的方式,结合深度图更好地填补空洞,但是图像修复是一个耗时的过程,为此将图像修复算法并行化,利用统一计算设备架构(CUDA)并行计算,来加速空洞填补过程。实验结果表明,针对"伪影"问题的处理及基于图像修复的空洞填补可以有效地提高虚拟视点图像合成质量,同时基于CUDA实现的并行图像修复算法也大幅降低了空洞填补时间。

一种快速参数估计的多视点图像颜色校正方法

提出了一种基于快速确定参数的全局直方图匹配的颜色校正方法,对于标准的多视点视频序列,利用直方图,分别快速估算出其在RGB,YUV,CIELab这3个颜色空间下的3个分量线性方程的参数值,在MATLAB环境下仿真出3个不同颜色空间中的校正结果,并对其进行分析和比较,实验结果表明了该方法的有效性和可靠性。

一种高图像质量的虚拟视点绘制方法及GPU加速

自由视点视频允许用户自由选择观看视角,给人带来传统视频无法比拟的交互式视觉体验.本文针对自由视点视频实时显示应用,提出了一种高图像质量的虚拟视点绘制方法,并对其进行GPU加速.首先,将参考视点深度图向前映射得到虚拟视点深度图,再对该深度图进行中值滤波以减少小空洞;然后对滤波后的深度图进行反向映射得到初始的虚拟视点彩色图像;接着对空洞掩模图进行基于边界检测的膨胀处理,以消除虚假边缘,并融合经过亮度校正后的两幅虚拟视点图像,以填充大空洞;最后采用考虑深度的插值方法填补剩余的空洞,提升虚拟视点的图像质量.此外,本文进一步采用CUDA编程技术,将虚拟视点绘制的主要计算都放在GPU内进行,减少CPU和GPU之间的数据拷贝,并在每个计算环节为每个像素单独分配线程,实现像素级的并行处理.实验结果表明,本文方法的主客观图像质量优于现有方法,并且经过GPU加速之后,运行速度达到实时处理的要求.

三维视频深度图像处理及其ASIC实现

基于自适应色度分割方法,采用专用集成电路(ASIC)完成深度图像的处理及优化。系统级仿真验证结果表明,该深度图像处理方法具有实时性、兼容性、实用性等特点,适用于实时自由视点3D视频的处理。

基于深度图像的视点绘制新方法

针对虚拟视点合成中存在的伪影和空洞问题,提出一种基于深度图像的视点绘制新方法.该方法首先使用视点同步生成机制得到虚拟视点的图像和深度信息,并根据深度信息擦除背景伪影;其次,通过基于深度的空洞填补和边界处理方法进一步消除视点图像中的空洞和前景边缘失真.实验结果表明,与MPEG的3DV/FTV标准参考方法相比,该方法生成的虚拟视点PSNR值提高了2dB.

基于特征点方向的光线-空间插值方法

基于光线-空间片内方向性特征分析,提出了适合于光线-空间的插值方法,仅对光线-空间片中位于具有明显强度变化特征的区域中的特征点计算其所在光线的方向,其余各点的方向由特征点方向插值得到,以减少方向搜索与检测的计算量,提高方向检测的准确性.在此基础上,对稀疏光线-空间片沿光线方向进行线性插值.实验结果表明,该方法计算量小,插值生成的光线-空间数据信噪比高,绘制的任意视点图像的主客观质量高.

基于图割的深度图去噪算法

多视点视频编码给深度图带来的编码块效应,导致合成的虚拟视点中出现严重的几何失真,为去除深度图中编码带来的噪声,提出一种基于图割的深度图去噪算法。将深度图及相应的彩色图的局部二值模式(LBP)算子作为去噪的约束,融入算法中,有效保持深度图的边缘信息。实验结果表明,由去噪后深度图绘制的虚拟视点的质量得到大幅提高,相对目前优秀的滤波方法能平均获得0.35dB的PSNR增益,主观效果的提升非常明显。

潮流

围绕自由视点视频质量、处理效率、呈现效果等多个维度,中央广播电视总台通过科研项目重点研究其前端采集、媒体算法处理、编解码等关键环节的软件硬件协同以及AI算法应用方案,并建立自由视点媒体处理系统。在2023年总台春节联欢晚会节目制作过程中,基于该系统适配多类型节目的视觉创新需求,有效解决节目拍摄、制作、硬件与算力支撑的问题,全面提升自由视点视频效果。

基于自适应窗口的深度视频预处理算法

在自由视点视频系统中,由深度估计算法得到的深度视频并不精确,对虚拟视点的绘制质量和深度视频的编码效率有很大的影响。本文提出了一种基于自适应窗口的深度视频预处理算法来提高深度视频的压缩效率和虚拟视点的绘制质量。首先,将深度视频划分为不连续区域、连续区域中的前景区域和连续区域中的背景区域。然后,提取出深度视频各区域中的对象边界。最后对不连续区域中的非边界区域进行高斯滤波,降低深度值骤变对虚拟视点绘制质量的影响,对连续区域中的非边界区域采用自适应窗口滤波平滑处理以提高压缩效率。实验结果表明,提出的算法可以使深度视频的编码码率节省8.33～34.39%,同时可使绘制的虚拟视点质量平均提高0.21dB。和Silva的算法相比,在更具实际意义的低码率端编码效率更显著,绘制结果中对象边界得到了更好的保护。

面向虚拟视点图像绘制的深度图编码算法

针对不同区域对绘制虚拟视点图像质量产生不同的影响,以及深度估计不准确导致时域抖动效应影响压缩效率的问题,提出了一种面向虚拟视点图像绘制的深度图压缩算法。通过彩色图像帧差、深度图边缘提取等相关处理过程,提取深度图的静态区域、边缘区域以及动态区域。对深度图边缘区域使用了较低的量化系数,以提高深度图边缘区域编码质量;根据深度图各个区域的编码模式特点,仅对部分编码模式而不是所有模式进行率失真优化搜索,以提高深度图的编码速度;对于深度图P帧的静态区域,合理地采用了SKIP模式,以消除由于深度估计算法的局限性导致时域抖动效应对深度图压缩的影响。实验结果表明,与传统的H.264编码方案相比,本文方案在传输码流大小基本不变的前提下提高了最终虚拟视点图像边缘区域的绘制质量,其余区域主观质量相近,而深度图编码时间则节省了约77～87%。

易错网络中面向虚拟视点绘制的宏块模型

为了降低传输失真对自由视点视频虚拟视点质量的影响,提出了一种同时适用于彩色图及深度图的宏块区分模型。模型主要包括两部分:首先结合立体视频时空域的相关性,在考虑错误扩散的基础上,提出一个递归形式的宏块级传输失真模型;之后分别讨论彩色图失真和深度图失真对虚拟视点质量的影响,进而提出了一个低复杂度的基于绘制失真分析的重要性模型。实验结果表明,与随机丢包相比,本文算法能在不改变丢包率(PLR)的情况下大幅提高虚拟视点的客观质量,在PLR为20%时,平均峰值信噪比(PSNR)最大能提高15.65dB,且主观质量接近零传输失真情况。

快速3维坐标变换的绘制算法

目的基于深度图的绘制(DIBR)是一种新型的虚拟视点生成技术,在诸多方面得到了广泛的应用。然而,该技术还不能满足实时性的绘制需求。为了在保证绘制质量不下降的前提下,尽可能地提高绘制速度,提出了一种高效的3D-Warping(3维坐标变换)算法。方法主要在以下3个方面进行了改进:1)引入了深度—视差映射表技术,避免了重复地进行视差求取操作。2)对深度平坦的像素块进行基于块的3D-Warping,减少了映射的次数。对深度非平坦像素块中的像素点采取传统的基于像素点的3D-Warping,保证了映射的准确性。3)针对两种不同的3D-Warping方式,分别提出了相应的插值算法。在水平方向上,改进的像素插值算法对紧邻插值和Splatting(散射)插值算法进行了折中,只在映射像素点与待插值像素点很近的情况下才进行紧邻插值,否则进行Splatting插值;在深度方向上,它对Z-Buffer(深度缓存)技术进行了改进,舍弃了与前景物体太远的映射像素点,而对其他映射像素点按深度值进行加权操作。结果实验结果表明,与标准绘制方案的整像素精度相比,绘制时间平均节省了72.05%;与标准绘制方案的半像素精度相比,PSNR平均提高了0.355 d B,SSIM平均提高了0.001 15。结论改进算法非常适用于水平设置相机系统的DIBR技术中的整像素精度绘制,对包含大量深度平坦区域的视频序列效果明显,不但能够提高绘制的速度,而且可以有效地改善绘制的客观质量。