基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。

一种基于计算机视觉的无人机实时三维重建方法

针对机器人(或无人机)实时的三维重建中面临的噪声干扰和计算量大的问题,提出一种实时的鲁棒性的同时定位和建图的方法:用RGB-D相机精确估计相机位置的同时重建三维环境。关键思想是测量残差函数——用于估计当前帧的移动量,同时用金字塔模型一步步去逼近真实值。提出一种新的衡量标准用于建立关键帧。然后通过与相邻关键帧的三角化投影给全局地图增加地图点。此外,应用图优化来实现全局优化以获取更高的精度。

用飞行时间相机优化可视外壳的实时三维重建算法

在基于图像的三维重建领域中,基于轮廓或立体匹配的实时三维重建算法精度很低,而高精度的三维重建算法需要像素级能量最优化,很难做到实时.针对这个问题,提出一种用飞行时间相机拍摄得到的深度图优化可视外壳方法的实时三维重建算法.首先使用一种简化的深度标定方法对深度数据进行误差修正;然后根据两种相机得到的数据构造粗糙网格模型;最后进行局部搜索匹配,对模型表面进行像素块的优化.实验结果表明,该算法比同类算法的实时性高,且能够有效地处理模型表面的凹多边形,比可视外壳算法的精度有较大改善.

基于多RGBD摄像机的动态场景实时三维重建系统

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统.RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图.多台RGBD摄像机运行在统一的外部时钟和控制信号下,可实现对目标场景数据的同步采集.为了提高各视点所获取的场景深度图质量,根据多RGBD摄像机系统视点分布较为稀疏的特点,使用概率密度函数估计的方法进行多视点深度图的融合.融合后的深度图由PC集群进行处理,可实时生成所拍摄场景的三维空间点云.实验结果表明,本文系统可以有效地重建包含多个运动目标的大型动态场景.

基于彩色结构光的实时三维重建

提出一种新颖的基于彩色结构光的实时三维重建方法RRCS(Real-time 3D Reconstruction based on Color-coded Structured light),利用投影在物体表面的彩色结构光的彩色信息,快速准确地还原相位,计算出物体的高度,最终重建物体的三维模型。针对RRCS的特殊性,设计了基于拓扑排序的解相位算法,以及针对点线的快速三角网化算法。实验结果表明,RRCS对设备的要求低,效果较好,具备基本的实时性能。

基于双目立体视觉的实验室波浪场实时重建

准确测量波浪场演化对于海洋结构物的水动力研究十分重要。本文基于双目立体视觉建立了一套用于测量室内波浪的图像识别方法,以轻质泡沫作为示踪粒子标记波面以获得具有丰富纹理的波面图像,根据极线约束矫正图像,使用阈值分割避免光照不均和水底反射的干扰,使用GPU加速的立体视觉匹配算法,实现波浪图像的实时立体匹配,重建出波面的三维点云与网格模型。通过对图像序列的重建,提取出的波浪时历与浪高仪的测量结果基本一致,波高以及周期值的吻合性良好。结果表明,该方法可以准确测量实验室内的三维波浪场,捕捉瞬时波浪演化,并可提供实时的监控。

面向机械臂操作的视觉信息实时重建方法

现阶段的机械臂技能传授方法主要通过三维实时重建技术搭建虚拟空间进行模拟训练。然而人与机械臂视角不同,传统视觉信息重建方法由于重建误差大、时间长,而且实验环境苛刻、所需传感器较多等原因,导致机械臂在虚拟空间内习得的技能不能很好地迁移于现实环境。针对以上问题,提出了一种面向机械臂操作的视觉信息实时重建方法。首先,通过Mask-RCNN(Mask-Region Convolutional Neural Network)对实时采集到的RGB图像提取信息;然后,将提取后的RGB图像及其他视觉信息联合编码,并通过ResNet-18将视觉信息映射为机械臂操作空间的三维位置信息;最后,为减小重建误差,提出了一种聚类簇中心距离受限离群值调整方法(CC-DIS),并利用OpenGL(Open Graphics Library)将调整后的位置信息可视化,完成机械臂操作空间三维实时重建。实验结果表明,所提的实时重建方法具有较快的重建速度和较高的重建精度,完成一次三维重建仅需62.92 ms,重建速度高达每秒16帧,重建相对误差约为5.23%,能有效用于机械臂技能传授任务。

视频数据与车辆运动仿真协同驱动的三维交通实时重建方法

实现基于城市路网内摄像头采集视频数据的三维(3D)交通实时重建,对事故分析、车流量统计、路径导航、拥堵分析等具有重要的意义。现有三维交通重建方法大多是基于已提取的结构化车辆轨迹矢量数据进行三维重建,并且假定提取的结构化数据完全正确,这样的数据显然是很难获得的。针对上述问题,提出一种视频数据与车辆运动仿真协同驱动的三维交通实时重建方法。首先利用多目标跟踪技术提取视频中车辆的运动轨迹像素坐标,然后采用交互式迭代求解的逆透视投影变换将像素坐标转变为大地坐标;接着搭建三维静态场景,并在该场景内构建开放环境中基于驾驶员场景感知的车辆运动仿真,实现车辆运动轨迹的预测;最后联合上述已得到的运动轨迹数据,实现三维交通的实时重建。实验结果表明,该方法可以实现可视效果优良的三维交通实时重建,可以较好处理轨迹缺失、轨迹错位等问题,重建中车辆运动平滑,不会出现突然失踪、突然出现等问题,可视效果显著优于完全基于多目标跟踪方法得到的轨迹数据。

真实感流体实时重建

针对流体重建中存在的实时性差以及重建精度低的问题,提出一种流体三维重建方法.首先利用明暗度恢复形状方法计算流体表面的法向量,使用Stokes波模型计算流体表面高度;然后对重建表面的细节做进一步处理,确定水花点的位置,使用二维正态分布曲面对重建的流体表面进行拟合;最后根据拟合结果生成水花飞溅的效果并映射相应的纹理,从而增强了流体重建的真实感,可以逼真地表现出流体运动状态.实验结果表明,采用该方法进行重建能够保证实时性的要求,重建的流体具有真实感强的特点,可以有效地应用于增强现实技术的研究中.

一种基于弹性融合的改进三维重建算法

三维场景的重建一直是VR/AR、机器人、影视动画等领域关注的重点,然而目前各个领域对于三维重建的实时性提出要求,已经有一些基于深度相机的三维实时重建算法基本能满足需要,然而对于室内稠密的三维场景,仍然存在一些局部重建效果差情。基于这些问题,在保证算法实时性的前提下,通过改进弹性融合的方法,提高在室内场景下重建的效果。结果表明,经过改进后的模型效果有一定的提升。

一种骨骼轮廓连续三维重建方法

针对空间定位技术结合二维超声图像对骨骼三维重建时容易产生断层间隙的问题,提出了一种基于二维超声图像上骨骼轮廓断层重建方法。首先,利用超声扫描仪扫描患者组织得到二维超声图像;其次,使用图像分割技术提取超声图像上的骨骼轮廓;最后,基于Kinect fusion三维重建算法对提取的骨骼轮廓进行重建。经过骨骼模型的实验验证,该方法能够精确提取骨骼轮廓,并将断层厚度进行延展,为骨骼轮廓连续三维重建提供新的方法。

基于相移条纹分析的实时三维成像技术发展综述

近年来,客观世界和场景三维信息需求量的陡增,促使结构光三维测量技术快速发展。基于条纹投影和相移条纹分析的三维成像技术具有较好的精度和鲁棒性,在众多的技术方法中脱颖而出,被广泛地应用于工业检测、文物数字化、生物医学检测领域。而在人机交互、虚拟现实、在线检测、远程手术等具有时效性要求的应用场景中,实现实时三维测量具有重要意义和明显价值。首先简要介绍了基于相移条纹分析的三维成像技术基本原理,随后分类讨论了实时三维成像的多种优化实现方向,回顾了各类方向中不同的技术方案。最后,总结了基于相移条纹分析的实时三维成像技术所面临的挑战及有潜力的研究方向。