基于可微渲染的自由视点合成方法

针对目前非受控环境下自由视点合成易受高度可变的照明条件、相机参数等因素影响的问题,提出一种近似可微延迟逆渲染管线(ADDIRP),通过在延迟逆渲染管线中加入基于物理的相机模型,实现准确模拟相机的光学成像过程。首先,根据输入图像及对应位姿分别创建光度相机模型和几何相机模型,其中光度相机模型由曝光、白平衡等可学习参数表示,几何相机模型由可学习的内参和外参表示。其次,利用渲染图像与目标图像的图像空间损失对管线各组件进行优化,使延迟逆渲染管线对复杂多变的光照和粗糙拍摄的图像具有较强的鲁棒性。最终,生成与传统图形引擎兼容的3D内容重建。实验结果表明,与已有方法相比,ADDIRP在现实世界数据集上具有更优的性能,在合成数据集上,在保证合成质量相近的前提下,具有更出色的视觉感知一致性。

Vega环境中一种自由视点方式的开发

分析了Vega软件环境中的基本视点方式,并阐述了其工作原理。针对视景仿真系统中视点行为可被自由控制的需求,设计了一种自定义的运动模式,通过与视点和鼠标外设关联,实现了基于鼠标控制的自由视点方式,论述了这种视点方式的工作原理和开发方法。应用结果表明:此视点方式灵活、易用,极大增强了视景仿真实验效果,补充完善了Vega的视点功能。

高分辨率计算集成成像自由视点光场重构方法

针对传统自由视点集成成像计算重构方法重构图像分辨率较低的问题,提出了一种基于光场模型的自由视点计算重构方法.根据视点位置和观看方向,采用光场投影矩阵将微单元图像阵列投影到重构平面上,充分利用微单元图像阵列中的信息,实现了高分辨率的自由视点集成成像计算重构.仿真结果表明,采用文中方法可以实现集成成像系统的自由视点计算重构,且重构图像的分辨率比传统方法重构图像的分辨率有了很大提高.

自由视点电视的光线空间实现方法

对自由视点电视(FTV)实现技术的光线空间方法进行综述·比较了FTV的各种实现方法;介绍了基于光线空间方法的FTV系统的3种方案;讨论了光线空间方法的特点和关键技术,包括光线空间插值和光线空间压缩·同时,分析了基于光线空间方法的FTV系统的研究现状和存在问题,并对其前景进行探讨·

云计算和自由视点视频相结合的实时监控系统

为有效解决系统计算资源以及存储能力的局限问题,提出一种基于云计算和自由视点技术相结合并且用于3D实时显示的移动视频监控方案.该方案通过使用随机接入云计算技术获取视频信息,并对采集到的视频进行分布式处理与传输,然后获取自由视点的成像,进而绘制3D视频.提出的方案可以使用户通过便携式移动设备自主选择观看角度,获取3D视频.该体系结构实现了云计算技术、自由视点技术以及2D转3D视频等多种技术的整合.基于云计算的三维图像和传输系统是一种提高视觉效果并且可用于事故现场的全新系统.

3D自由视点视频技术及其在中国馆中的应用

阐述了3D自由视点视频应用系统相关的关键技术,包括显示、内容获取与生成、编解码重构等,并对大屏幕3D自由视点视频技术在2010年上海世博会中国国家馆中的成功应用作了简要介绍。

利用深度信息增强的自由视点DIBR技术研究

针对现有DIBR虚拟视点图像渲染算法存在的问题,提出一种基于深度信息进行后处理的DIBR虚拟视点渲染算法.该算法利用摄像机参数和深度信息,将参考视点图像的纹理和深度图变形到虚拟视点,利用基于深度信息的后处理消除变形图像中的裂缝和伪影,结合深度信息采用inpaint技术填补剩余的纹理空洞.实验结果显示,该方法不论从主观质量或是客观质量上均优于现有的虚拟视点生成方法,且计算量也不高.在数值试验中,还对多视点渲染算法的图像合成质量进行比较,对视频压缩的影响进行了分析.

一种自由视点视频系统中立体图像质量的评价方法

提出了一种自由视点视频系统中立体图像的质量评价方法。分别对参考图像与失真图像进行小波分解后用对比敏感度函数加权,计算两者之间的平均结构相似度得到基于内容的质量分数;在双目匹配区域中找到中心凹区域,在该区域上计算图像之间的平均相位相似度,得到基于深度感知的质量分数;利用阈值提取匹配区域中为人眼所感知的失真区域,与利用视差映射过来的另一视点图像的相对应区域计算平均结构相似度得到基于双目特性的质量分数。融合各部分质量分数得到最终图像质量。实验结果表明,本算法评价结果与主观感知一致性较好,更符合人眼视觉特性。

Vega场景中一种自由视点漫游的实现

为了更好地表现虚拟漫游中的视点效果,研究Vega的运动模式和视点表现原理,通过Vega API函数编程,设计一种利用键盘和鼠标协同控制漫游的方法,对系统自带的运动方式进行扩展,提供更为丰富的运动状态,并基于该方法实现一种自由视点漫游。该视点方式灵活、容易控制,改善漫游的人机交互效果。

自由视点技术在电视节目制作中的应用

本文旨在研究自由视点技术在电视节目制作中的应用,介绍了自由视点技术的背景和发展现状,阐述了基于深度图像的渲染和神经辐射场2种主要的自由视点技术的特点,并进行了对比,分析了其在电视节目制作中的优势和局限性。

自由拍摄视点下的可见外壳生成算法

给出了一种使用手持相机拍摄的多幅图像构造可见外壳的方法 ,该方法无需对相机运动方式作任何限定 ,而是利用多幅图像上的对应特征点求出每一幅图像的拍摄方位 ,因而可以非常灵活地获取某些较大规模的室外场景的几何模型 实验结果表明 ,利用该方法生成的可见外壳模型准确真实 。

利用多视点自由立体显示系统实时显示GIS信息

为了达成显示动态三维地理信息系统(Geographic Information System,GIS)场景的立体视差和运动视差的目的。本文讲述了如何利用投影仪阵列构成的多视点自由立体投影显示系统,重点阐述了三维GIS信息的在PC端的同步传输以及投影图像的校正。并以此方法构建的系统在展示GIS信息时得到了较好的裸眼立体视觉体验。

FTV系统中面向虚拟视点合成的深度编码

为了降低自由视点电视系统中由于深度估计不准确和深度数据压缩带来的量化失真对重建虚拟视点图像质量产生的影响,提出了一种面向虚拟视点绘制的深度压缩算法.根据深度数据的统计特性,设计了一种基于三次B样条函数的上下采样方法对深度图进行下采样.采用多视点视频编码对下采样深度图进行编码,在解码端则对深度图进行上采样,并针对解码深度图边缘处的模糊现象,用双边滤波器优化深度图边界.实验结果表明,与传统的MVC编码方案相比,该方案在保持虚拟绘制图像质量不变(甚至略有提升)的情况下,显著降低了传输码率,有助于在自由视点系统的接收端获得高精度的重建图像.

Vega下带碰撞检测响应视点方式的开发

为满足用户浏览场景时自由控制视点的需要,同时实现视点避碰的功能,剖析了Vega环境中视点的工作原理,介绍了用户自定义运动模式视点的工作流程,开发了具有碰撞检测、能做出正确响应、可键盘控制功能的视点方式,提出了可行的碰撞响应策略。在导弹拦截系统的仿真应用中,该视点方式灵活易用、可操作性好,提高了用户浏览场景时的灵活性,大大增强了用户浏览场景时的真实感和沉浸感。

基于深度图像的视点绘制新方法

针对虚拟视点合成中存在的伪影和空洞问题,提出一种基于深度图像的视点绘制新方法.该方法首先使用视点同步生成机制得到虚拟视点的图像和深度信息,并根据深度信息擦除背景伪影;其次,通过基于深度的空洞填补和边界处理方法进一步消除视点图像中的空洞和前景边缘失真.实验结果表明,与MPEG的3DV/FTV标准参考方法相比,该方法生成的虚拟视点PSNR值提高了2dB.

一种快速消除失真的虚拟视点合成方法

基于深度图的绘制(DIBR)技术是合成虚拟视点图像的有效方法,但是合成的图像往往存在失真,最主要的问题是包含"伪影"和大小不等的空洞。针对"伪影"问题,先对参考视点图像进行色彩校正,并综合基于深度的彩色图融合和彩色图直接融合两种方式融合图像,以减弱"伪影"效应;针对映射后出现的小空洞,采用反向映射到参考图像的方式进行填充;针对大的空洞,采用图像修复的方式,结合深度图更好地填补空洞,但是图像修复是一个耗时的过程,为此将图像修复算法并行化,利用统一计算设备架构(CUDA)并行计算,来加速空洞填补过程。实验结果表明,针对"伪影"问题的处理及基于图像修复的空洞填补可以有效地提高虚拟视点图像合成质量,同时基于CUDA实现的并行图像修复算法也大幅降低了空洞填补时间。

一种基于多模式融合的多视点图像颜色校正方法

针对各种多视点成像系统中视点图像颜色不一致的问题,提出了一种基于多模式融合的多视点图像颜色校正方法。该方法通过定义四种通用的线性和非线性校正模式,首先对输入的源图像和参考图像进行视差估计,以视差估计得到的匹配块作为样本,然后对样本分别用四种校正模式进行训练,得到各种模式的校正参数,最后基于最小均方误差准则对各种校正模式进行融合,得到最终的校正图像。实验结果表明,该方法能实现参考图像与校正图像的最小均方根误差,且具有较好的校正效果。

基于片间相关性的光线空间插值与视点绘制研究

提出了基于片间相关性的光线空间插值算法,利用邻近参考片已知视差,快速预测当前片视差,使得当前片视差估计的搜索限制在预测视差附近的小范围内进行,从而大大降低了计算复杂度.根据视差参考方式的不同,设计了三种实现方案.实验结果表明,采用双向视差参考方案插值生成的光线空间片不但信噪比高、绘制视点图像主客观质量较高,而且插值与绘制速度也有了明显提高.

多视点与深度视频编码技术研究综述

多视点与深度视频(MVD)可以有效表示自由视点视频,减少了需传输视点的个数,该表达形式正受到越来越多的关注,如何对MVD进行高效编码尤为重要。介绍了自由视点视频的发展现状及国内外研究概况,详细讨论了深度图像的高效编码技术及多视点与深度联合编码技术,并对多视点与深度视频编码技术进行了总结及展望。

一种快速参数估计的多视点图像颜色校正方法

提出了一种基于快速确定参数的全局直方图匹配的颜色校正方法,对于标准的多视点视频序列,利用直方图,分别快速估算出其在RGB,YUV,CIELab这3个颜色空间下的3个分量线性方程的参数值,在MATLAB环境下仿真出3个不同颜色空间中的校正结果,并对其进行分析和比较,实验结果表明了该方法的有效性和可靠性。