基于光场渲染的动态3D目标重构技术

提出了一种基于光场渲染的动态3D目标重构的方法.目前基于图像建模的方法对于复杂场景难以建模,而基于图像渲染的方法因数据量大不利于动态场景的实时渲染.因此采用了模型和图像相结合的方法,从多视点视频图像中重建动态3D模型,采用光场映射算法对重建的3D模型进行光场采样,然后对样本分解压缩.实验结果表明,在保证真实感的同时,减少了数据量,并可实现动态3D目标的重构.

基于光场渲染的多视点视频编解码方法研究

首先提出一种面向移动设备的多视视频纹理编码方法,编码端利用重建的3D网格信息对4D光场重采样,得到顶点的光场矩阵;然后提出一种基于奇异值分解(SVD)的自适应分解级数选取方法,保证真实感的同时尽可能减少光场数据量.为了配合解码端的图形硬件加速,采用了S3TC纹理压缩标准对分解后的矩阵进一步压缩,减少编码端数据量以及解码端纹理渲染的带宽需求.实验结果表明,在保证较好的渲染效果下,提高了压缩比,并且满足实时渲染要求.

运动物体的时空光场渲染

本文将配准技术与插值算法相结合,通过对场景中运动物体的时间帧配准、时间域和空间域的插值,生成了任意时刻、任意视点处的渲染图像,完成对运动物体时空域的光场渲染。该研究结合并推广了传统光场渲染方法,放宽了对场景的要求。和现有的方法相比,该方法适应性强、鲁棒性好。实验结果进一步体现了该方法较好的应用前景与可操作性。

基于信息角的运动物体的空间域光场渲染

对动态场景进行光场渲染时,场景中的运动物体通常需要满足线性、低速运动的条件,并要求相机具有较高帧率。本文提出了一种新的对动态场景的光场渲染方法。该方法通过获得运动物体在不同位置处的信息角,对场景中非线性运动进行适当的转化,实现对动态场景的多视点渲染。该研究结合并推广了静态光场渲染的方法,放宽了对物体运动的要求,并适用于场景中非线性运动的物体。和现有的方法相比,该方法具有计算和存储效率高、适应性强、算法鲁棒性强的优点。实验结果进一步体现了该方法较好的应用前景与可操作性。

基于光场与几何混合绘制的3D视频显示算法

提出一种基于光场与几何混合绘制的视频绘制算法.算法以光场绘制算法计算起始帧,以新视点的上一帧为基础更新前景;结合高斯混合背景建模和场景几何计算方法来计算新视点的当前帧的前景区域,避免了重复绘制占据图像大部分而变化缓慢的背景区域,提高了视频绘制的效率.为了消除累积误差,采用"起始帧+后续帧"的循环模式,同时在循环中统计前景点在场景中的分布,自适应地划分下一个循环的场景层次.实验结果表明,文中算法效率高,所生成的图像质量好.

基于压缩感知的光场获取与重建

光场图像经常被用于产生三维场景,尽可能多的光场图像能够更精确的还原出真实的三维场景,然而这样就会使数据量过大,图片获取成本更高。提出一种新的方法,通过特定的光场图像获取方式,结合贝叶斯重建算法,以及光场渲染技术,不仅可以还原出原始视点的光场图像,更可以渲染出新的视点。此外通过运用图像压缩感知算法,使得该方法能够减少实验数据量、提高运算速度。实验结果表明该方法能够还原出高信噪比的原始视点图像——误差小于0.3dB,以及新视点图像。

基于微透镜阵列的光场成像系统

传统成像系统在拍摄过程中需要对目标物体准确对焦,这在拍摄快速变化的物体时显得非常无力.为了克服这一缺陷,本文以Levoy的光场渲染理论为基础,利用光学设计软件ZEMAX在普通成像系统中加入一个微透镜阵列,设计出一个由成像主镜、微透镜阵列和像面CCD探测器三部分组成的光场成像系统,并仿真模拟了光场图像的采集.这样的设计能够同时记录光线的强度和方向信息,对光场图像的后处理以傅里叶切片理论为基础,通过Matlab编程,实现了光场图像的重新聚焦.本文使用普通相机镜头、微透镜阵列和CCD探测器搭建了光场成像实验系统,实验采集光场图像并进行重聚焦处理,实现了三维物体的光场成像,验证了理论及算法的正确性.

基于U-Net的压缩光场显示图案生成方法

压缩光场显示具有结构简单紧凑、显示空间分辨率高的优点,但求解压缩光场显示图案的迭代算法存在计算量大的问题。随着人工智能技术的发展,基于深度学习的图像生成算法也被应用到三维显示中。提出一种将计算机视觉中执行图像分割任务的U-Net作为优化压缩光场显示图案的网络模型。根据给定的观看角度生成几组经过数据增强的目标光场数据集作为U-Net的训练集;在U-Net收敛后,将训练完成的U-Net用于生成重建测试目标光场的显示图案。训练和测试结果表明,相比基于堆叠CNN和迭代算法的方法,所提出的基于U-Net的压缩光场显示图案生成方法具有重建质量更高、计算资源少的优势。

基于光线追踪的实时可交互计算生成集成成像方法

为提高计算生成集成成像实时交互显示性能和灵活性,构建与集成成像再现系统结构一致的集成光场视见模型,通过该模型为单元图像阵列中每个像素生成一条逆向追踪的光线,使用光线追踪技术并行渲染光线为单元图像阵列像素着色.实验结果表明,顶点数为565880的点云模型、面数为977308的含纹理网格模型在透镜数为22×13、视点数为175×175的4K显示系统上显示帧率40fps以上,并实现了缩放、移动、旋转、显示微调等交互功能.该方法摆脱了虚拟相机模型,降低了算法复杂度,利于实现实时交互,能够应用于基于不同分布形式透镜阵列的集成成像显示系统.

多深度层场景光场渲染的无重影条件

为避免光场渲染的结果因采样率不足而发生重影,提出了多深度层复杂场景的无重影光场渲染条件,证明了可由场景几何及摄像机角分辨率确定,不发生重影的最大摄像机间隔及最优深度,并在此基础上推导了两者间的关系。计算了不同摄像机间隔下的合成视图与标准视图间的峰值信噪比(PSNR),并以此衡量渲染质量。实验数据及人眼对重影发生与否的主观判定结论与本文的理论分析基本一致。

关于全信息成像和layered 3D显示技术的研究

目前的主流显示技术仍然是二维平面显示,然而三维立体显示已经日益发展普及。人们总是希望拥有更加直观真实的显示技术和视觉感受,在此需求的刺激之下,全息成像的思想应运而生。该课题首先对伪全息成像原理与技术进行研究。伪全息成像技术的固有问难和难点难以突破,难以真正逼近真实的全息显示技术。从而,该课题进一步探索和研究MIT于2011年提出的分层三维显示(Layered 3D)技术,将待呈现的四维光场进行断层重构,以内部分层图像的方式实现光场的计算显示。

基于相机阵列的红外光场成像

光场成像作为一种应用广泛的计算成像方法,其研究仍局限于电磁波谱中的可见光波段。因此,提出基于相机阵列的红外光场成像方法。首先利用单台被动红外相机移动到同一平面的不同位置分别对同一静态目标场景成像,获取原始红外图像序列,经平移视差校正后生成红外光场数据库;然后基于光场渲染理论,获得重采样图像。与只记录二维位置信息的传统红外成像比较,红外光场成像能够记录包含位置和方向的四维信息。实验结果表明,该法能够融合多幅低信噪比的图像获得一幅信噪比提高的重采样图像,通过孔径叠加平均可实现穿透遮挡物成像,通过选取不同深度值进行重采样可实现红外场景不同深度的数字重聚焦,使红外成像在军事和民用领域更有应用价值。

单视角立体成像技术研究

立体成像是获取目标三维轮廓信息的有效方法。目前,在航天航空领域立体成像方法主要包括:基于立体视觉原理的三线阵成像方法和主动式激光测距立体成像方法。这两种成像方式由于对平台要求较高或者无法得到目标的灰度图像而存在相应的缺陷。文章研究了一种新的单视角立体成像技术,通过对该技术的研究认为,单视角立体成像技术能够实现单台相机单次成像获取目标三维轮廓信息。

基于聚合物分散液晶薄膜的光场透视混合现实显示系统

为了解决视觉辐辏调节冲突(VAC)问题,本文提出了一种基于聚合物分散液晶薄膜(PDLC)的光场透视混合现实显示系统。该系统利用PDLC的电控可调透过率特性,将投影目标物体的光场信息与真实场景进行有效融合;并基于凸优化理论,提出了适配的光场渲染算法;联合PDLC不同电压下目标物体光场信息的冗余性,以及真实场景与目标物体色彩亮度差异,生成了不同焦深下和谐化虚实场景融合的二维图像。实验结果表明,所提出的系统能呈现高质量、连续焦深和谐化虚实场景融合效果。该系统计算量小、硬件成本低、融合效果佳,可有效解决VAC问题,在透视混合现实显示领域具有极大的应用潜力。

高分辨率多视点动态全息3D显示

提出了一种高分辨率多视点动态全息3D显示方法,观看视点位置变化时,观看者能够看到连续变化的3D效果。在进行全息图计算时,首先根据针孔阵列投影模型,渲染3D动画中每一帧3D模型的光场图像序列;然后从已渲染的多组光场图像序列中抽取对应视角信息的光场图像进行融合,得到融合后的动态光场图像序列;在进行全息图编码时,以动态光场图像序列中的一帧图像作为物光振幅,以来自于针孔的发散球面波的相位作为物光相位,引入平面参考光进行编码,得到一个单元全息图。由于每个单元全息图的计算是相互独立的,因此在计算过程中使用并行加速计算,实现了尺寸为32 mm×32 mm、分辨率为100000 pixel×100000 pixel的高分辨率全息图,其光场图像融合和全息编码的时间仅需27 min。光学再现结果证明了该方法的可行性。所提出的高分辨率多视点动态全息3D显示方法在全息包装和3D广告等领域具有广泛的应用前景。

计算机制集成彩色彩虹全息三维显示

基于光场图像提出了一种计算机制集成彩色彩虹全息图的快速计算方法,并通过光学实验实现了全息图的彩色三维(3D)显示。首先,将全息图平面分割为多个连续的单元线全息图平面,再根据每个单元线全息图平面的顶点坐标和虚拟狭缝顶点坐标计算单元线全息图平面投影点的3D坐标。然后,以投影点作为虚拟针孔,将3D物体通过虚拟针孔进行投影,将该单元线全息图平面上的光场图像和虚拟针孔处会聚的球面波相位分别作为计算全息图时的物光振幅和相位,并引入参考光编码得到该单元线全息图。最后,用所有单元线全息图组合成彩色彩虹全息图。实验结果表明,用本方法实现一个尺寸为50 mm×50 mm,分辨率为157232 pixel×157232 pixel的全息图仅需43 min,在全息包装、3D广告等领域具有广泛的应用前景。