结合上下文特征融合的虚拟视点图像空洞填充

由于参考纹理视图的前景遮挡和不同视点间的视角差异,基于深度图的虚拟视点合成会产生大量空洞,先前的空洞填充方法耗时较长且填充区域与合成图像缺乏纹理一致性。该文首先对深度图进行预处理来减少空洞填充时的前景渗透;然后,针对经3D-warping后输出合成图像中的空洞,设计了一种基于生成对抗网络(GAN)架构的图像生成网络来填充空洞。该网络模型由2级子网络构成,第1级网络生成空洞区域的纹理结构信息,第2级网络采用了一种结合上下文特征融合的注意力模块来提升空洞填充质量。提出的网络模型能有效解决当虚拟视点图像中的前景对象存在快速运动时,空洞填充区易产生伪影的问题。在多视点深度序列上的实验结果表明,提出方法在主客观质量上均优于已有的虚拟视点图像空洞填充方法。

基于色彩信息的无参考虚拟视点图像拼接方法

为解决现有基于图像特征点进行无参考虚拟视点图像拼接方法,主要针对灰度图像提取特征信息,使得拼接图像的PSNR值较低的问题,提出基于色彩信息的无参考虚拟视点图像拼接方法。先对无参考虚拟视点图像进行颜色校正和几何校正,得到预处理后的待拼接图像;然后引入光谱辐射模型,计算图像内各像素点的颜色不变量,再通过SURF检测提取图像特征点;最后运用相似性变换原则消除误匹配点,选择合适的重叠区域像素值进行图像拼接;针对拼接后的图像进行空洞填充,以此来得到高质量拼接图像。实验结果显示:与参考文献方法相比,所提方法PSNR值分别提升了18.94%、15.5%,应用效果更佳。

面向光场显示的虚拟视点生成技术进展

随着元宇宙产业的发展,光场显示技术因其可以将数字世界与物理世界完美融合,已经成为信息显示技术领域的研究热点,并呈现出视点数量更多、视点密度更大、渲染速度更快的发展趋势。然而,现有的光场显示技术面临着分辨率低、深度受限、视疲劳等多种挑战。本文从人眼立体视觉感知原理出发,对现有的双视点、多视点和超多视点光场显示技术的成像原理和典型方案进行整理和总结。同时,对现有基于单信源和多信源虚拟视点生成技术进行归纳对比,着重分析各项技术在虚拟视点生成质量和渲染速度等方面的可行性和实现效率,并对光场显示技术的未来发展方向进行了展望。

对3D Warping分解的高质量虚拟视点绘制方法

基于深度图像的虚拟视点绘制(DIBR)作为自由视点视频应用中的核心问题,由其获得的任意视频的质量和速度对于自由视点视频的发展至关重要。为解决经典DIBR方法存在的重叠、空洞、伪影,以及由于重采样导致的细小裂纹问题以提高虚拟视点图像质量,提出了一种基于改进的3D Warping过程的虚拟视点绘制方法。该方法从整个3D Warping过程出发,将3D Warping过程分解成两步而无需进行三维建模,并分别在两步中提出了改进的方法。在第一步中,通过在变换矩阵中引入可调的系数对三维参数进行修改;在第二步中,主要针对由于重采样导致的细小的裂纹问题,提出了自适应一投多算法,在兼顾时间复杂度的同时改善了裂纹问题。实验结果表明,无论从主观质量还是客观评价标准来看,该方法都能够显著提高虚拟视点绘制的图像质量。

基于虚拟视点绘制失真估计的深度图帧内编码

该文针对目前压缩深度图时很少考虑直接地减少绘制失真的问题,探索一种以绘制视点为最小化失真的方法来压缩深度图,建立由有损深度编码引起深度变化造成的绘制视失真(不是由绘制方法引起)的估计模型。首先推导由深度编码造成每个像素深度变化在绘制上的影响,然后计入由视频的局部特性对绘制失真的影响因素,提出一种精确的基于区域特性的绘制失真模型。最后将视点合成失真模型引入到深度编码中率失真模型中来代替深度图像本身失真,减小合成视失真。仿真结果表明,所提出的方法可改进绘制虚拟视点的客观质量,提高深度图的编码效率和减少视点绘制的赝像。可比只考虑深度图失真的基于拉格朗日优化的模式选择方法提高约2 dB的PSNR增益。

高质量的虚拟视点图像的绘制方法

针对应用深度图像的绘制(DIBR)技术生成的虚拟视点图像中存在的空洞问题,提出了一种基于DIBR的高质量的虚拟视点图像绘制算法。先由多幅参考图像分别生成同一虚拟视点位置的多幅目标图像,将这些虚拟视点目标图像融合为含有少量空洞的目标图像,然后采用逆映射的方法在多幅参考图像中找到这些剩余少量空洞的对应内容并填充空洞,从而生成高质量的虚拟视点图像。实验结果表明最后生成的虚拟视点图像具有良好的视觉效果。

二维多视点图像阵列采集及虚拟视点合成算法

针对二维多视点图像阵列由于采集设备限制而难于获取的问题,采用单个相机结合摄影轨道的方法进行采集.为了提高采集效率和满足不同显示设备对图像源的需求,提出一种基于深度图绘制(DIBR)技术的二维虚拟视点合成算法,在水平、垂直以及斜线方向实现了相邻参考图像间的虚拟视点合成.实验结果给出了实际采集到的二维多视点图像阵列以及合成的虚拟视点图像,并分别从图像质量和立体感两个方面对虚拟视点图像进行评价,评价结果表明,虚拟合成后的图像具有连续的视差变化可以真实再现拍摄对象的结构信息.

基于几何模型的高质量虚拟视点绘制

该研究主要完成用kinect获得的"单路纹理+深度图像"来生成新的虚拟视点图像。针对深度图像的虚拟视点绘制技术(Depth Image Based Rendering,DIBR)生成的虚拟图像空洞问题,利用高斯混合模型分离前背景,背景空洞采用背景值填充,前景空洞采用改进的图像修复技术方法来填充。实验证明生成的虚拟视点图像具有较好的视觉效果。

立体视频中的虚拟视点合成技术

提出了1个新的基于位移补偿插值的IBR算法。依据这个算法可以绘制得到2个视角中心连线上任意1个新视角处的虚拟图像,从而使视角的转换过程平滑过渡,用户不会产生跳跃感。这种算法只依赖于提供的2个不同视角的图像,不需要其它任何的相关信息和几何模型,因此实现简单,能满足实时性的要求。

一种新的立体显示中的视差估计与虚拟视点绘制算法

针对虚拟视图绘制技术中空洞和伪边缘等问题,提出了一种新的立体匹配算法以获得稠密视差图完成虚拟视点合成.此方法只需要两张视图,对其采用Mean shift算法就可以进行视图分割.有效的虚拟视点绘制是基于良好的视差图与好的视图插值法实现的.通过权值多窗口立体匹配法获得初始视差图,再利用交叉检验法对不可信匹配点和闭塞遮挡区域进行滤除,很好地解决了视差图中遮挡区域引起的误匹配问题.最后,对获得的稠密视差图进行视图插值和相应的噪声滤除完成了多点位置的虚拟视图绘制.针对Middlebury dataset提供的"Tsukuba"等测试图像进行相关实验,实验结果表明,该算法具有良好的视图绘制效果.

基于空间加权的虚拟视点绘制算法

在自由视点视频系统中,如何能在视频终端得到高质量的视频图像已成为基于深度图的绘制(DIBR)技术所研究的主要任务,其中虚拟视点像素插值是该技术中影响绘制质量的一个重要环节。针对虚拟视点绘制标准方案中存在的问题,提出了一种基于空间加权的像素插值算法。它是通过对多个投影像素点的深度值和水平方向绝对距离进行加权操作来实现像素插值的。在插值过程中,该算法考虑了不同区域投影像素点个数对像素插值准确性的影响,从而剔除了部分失真像素点,并且在图像输出前还分别对左、右参考虚拟视点进行了失真检测和矫正。实验结果表明,该算法改善了绘制的主、客观质量,其中,PSNR平均提高0.30 d B,SSIM平均提高0.001 3。因此,该算法可以有效地抑制像素插值过程引入的噪声,提高像素插值的精度。

基于图像金字塔修复的虚拟视点绘制

针对虚拟视点绘制中由于区域暴露引起的空洞问题,提出一种基于图像金字塔修复的虚拟视点绘制方法。利用视点变换方程生成虚拟视点,对含有空洞的视点采用图像金字塔修复进行处理,设计含有深度项的权值函数,在深度的约束下进行高斯加消零的滤波和下采样,对低分辨率图像的上采样,利用采样的图像信息对空洞进行填充。实验结果证明,该方法得到图像的主观视觉效果和峰值信噪比计算结果优于传统的非对称高斯滤波算法,且图像绘制的虚拟视点不失真,可抑制物体边缘处的伪像生成。

基于空洞填补的虚拟视点绘制

在虚拟视点绘制过程中,参考视点中被前景物体遮挡的区域在虚拟视点中会变得可见,该区域由于缺少图像信息容易产生空洞。为此,提出一种基于背景识别的空洞填补算法。采用局部阈值分割与加权平均的结构张量,改进优先级计算的方法,利用深度图与最大化类间方差算法,给出新的源空间识别方法,以解决相对背景的识别问题。实验结果表明,与基于样本的图像修复算法及其改进算法相比,该算法可以较好地解决空洞问题,并完成虚拟视点绘制。

基于深度图像分割的虚拟视点绘制

针对虚拟视点绘制中出现的伪轮廓和空洞问题,提出一种改进的虚拟视点绘制算法。根据深度信息标记出深度图像的不可信区域,通过多阈值图像分割技术对图像进行分割处理,利用三维图像变换生成虚拟视点图像,并采用局部中值滤波消除目标图像中存在的细小空洞。对绘制出的两幅图像进行融合处理,并应用图像修复法填充剩余的空洞。实验结果表明,该算法能获得的虚拟视点图像质量较高,同时与MPEG提供的虚拟视点绘制标准参考软件相比,生成的虚拟视点PSNR值提高了0.74 d B。

基于偏度和结构特征的无参考虚拟视点图像质量评价

针对虚拟视点图像存在与普通图像不同失真的问题,提出了一种基于偏度和结构特征的无参考虚拟视点图像质量评价方法。首先,将输入图像分为H、S、V三个通道,每个通道都均分为九个小块,对每个小块提取偏度特征;然后,利用局部二值模式算子对结构特征映射进行编码,计算质量感知分数;最后,将偏度特征和结构特征输入支持向量机进行训练,得到无参考的虚拟视点图像回归与视觉质量预测模型来预测图像质量。在IRCCyN/IVC和MCL-3D两个公共虚拟视点图像数据库上对提出方法进行了实验。实验结果表明,提出方法的皮尔逊线性相关系数(PLCC)分别为0.853 8和0.953 4,斯皮尔曼秩相关系数(SROCC)分别为0.796 6和0.915 9。提出方法的PLCC和SROCC均高于自回归加阈值(APT)等10个虚拟视点图像质量评价方法和BRISQUE等6个通用的无参考质量评价方法。该方法采用的偏度和结构特征能很好地评价虚拟视点图像的视觉质量,评价结果与主观感知有较好的一致性。

自由立体显示中基于深度卷积神经网络的虚拟视点生成方法

传统虚拟视点生成采用像素填充法对生成的虚拟视点图像进行空洞填充和伪影修复,其修复效果无法满足自由立体显示需求。为了获取高质量的虚拟视点图像,提出了一种基于深度卷积神经网络的虚拟视点生成方法。该方法采用随机初始化的深度卷积神经网络作为图像先验,经过卷积神经网络结构的不断迭代,对虚拟视点图像的空洞和伪影进行修复,并将得到的高质量虚拟视点图像合成为自由立体图像,用于自由立体显示。修复后的虚拟视点图像的PSNR均值为25.6,相比传统像素填充方法有明显提升。实验结果表明,所提方法能够实现高质量的自由立体显示效果。

基于深度引导空洞填补的虚拟视点绘制方法

针对单视点绘制虚拟视点图像存在的空洞问题,提出一种基于深度引导空洞修复的虚拟视点绘制方法。核心思想是通过对多个映射像素点的深度信息和空间位置信息进行加权插值操作来实现细小的空洞填充,并且分区域对大型空洞填补。在像素点插值的过程中,该方法首先考虑映射像素点的可靠性,剔除不可靠的像素点,从而减少错误的映射像素点。在填补大型空洞中,继承基于样本图像修复算法的优点,并引入深度信息来辅助空洞填补,以较为准确的方式来修复图像。实验结果表明,无论是主观视觉效果,还是客观值都要比Criminisi算法要好。

三维图像虚拟视点生成优化研究仿真

为完整获取立体场景中所有视点信息,提出基于几何模型的立体图像虚拟视点生成方法。结合空间距离与像素差值两个影响因素,建立双边滤波器的滤波函数,定义权重系数,调节邻近度因子与亮度相似性因子的衰减性,得到滤波后的像素值;采集不同视角下二维图像,确定三维空间与二维图像间的几何映射关系,经过计算横向与纵向曲率、物体横向分割等过程构建立体图像几何模型;在该模型中,采用Levenberg-Marquardt迭代优化算法获取视图特征点,得出参考图像和目标图像的坐标关系,设定合理的误差函数,经过多次迭代,当满足误差允许值时,输出所有虚拟视点。仿真实验证明,该方法生成的虚拟视点较为全面,且能够提高重构后的图像质量。

一种高图像质量的虚拟视点绘制方法及GPU加速

自由视点视频允许用户自由选择观看视角,给人带来传统视频无法比拟的交互式视觉体验.本文针对自由视点视频实时显示应用,提出了一种高图像质量的虚拟视点绘制方法,并对其进行GPU加速.首先,将参考视点深度图向前映射得到虚拟视点深度图,再对该深度图进行中值滤波以减少小空洞;然后对滤波后的深度图进行反向映射得到初始的虚拟视点彩色图像;接着对空洞掩模图进行基于边界检测的膨胀处理,以消除虚假边缘,并融合经过亮度校正后的两幅虚拟视点图像,以填充大空洞;最后采用考虑深度的插值方法填补剩余的空洞,提升虚拟视点的图像质量.此外,本文进一步采用CUDA编程技术,将虚拟视点绘制的主要计算都放在GPU内进行,减少CPU和GPU之间的数据拷贝,并在每个计算环节为每个像素单独分配线程,实现像素级的并行处理.实验结果表明,本文方法的主客观图像质量优于现有方法,并且经过GPU加速之后,运行速度达到实时处理的要求.

一种基于DIBR的虚拟视点合成算法

虚拟视点合成是虚拟现实、多视点视频等领域中的关键技术,本文实现了一种基于深度图绘制(D IBR)的虚拟视点合成算法,并对合成图像中的遮挡与空洞问题进行了深入分析与研究,利用空间线投影方法解决了由于遮挡造成的误投影问题,同时使用视点间双向插值算法实现了空洞填补。实验结果证明,本文算法能够合成令人满意的虚拟视点图像。