基于卷积神经网络的室内场景三维重建技术研究

三维场景重建技术是计算机视觉领域的十分重要的研究课题。传统三维场景重建大多是专业工程师通过手工制图实现,效率不高且成本较高。对此提出一种基于卷积神经网络的三维场景重建方法。该方法在对2D图像进行语义分割的基础上,提取分割后的室内场景元素图像块,训练一个基于卷积神经网络的三维模型匹配模型;再将匹配得到的三维模型结合深度图构造的残缺三维模型,进一步进行组合,从而完成室内场景的三维重建工作。实验验证了该方法的可行性和优异性。

动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。

基于局部对齐单目视频深度的三维场景重建

单目深度估计方法在各种场景下已经取得了较强的鲁棒性,该类方法通常预测尺度偏移量未知的不变仿射深度而非度量深度,因为收集大规模的不变仿射深度训练数据比收集度量深度训练数据容易得多。然而,在某些基于视频的应用场景中,例如视频深度估计和三维场景重建,每帧预测的深度中存在的未知比例和偏移量值可能会导致预测的深度不一致。为了解决该问题,我们提出了一种基于局部加权线性回归的方法,通过利用稀疏锚点恢复深度的尺度图和偏移量图,以保证连续帧之间的一致性。大量的实验表明,我们的方法可以在几个零样本基准上显著降低现有技术方法的Rel误差(相对误差)。此外,我们收集了630万张RGBD图像对来训练鲁棒的深度模型。通过局部恢复尺度和偏移量,我们的ResNet50-backbone模型性能甚至超过了最先进的DPT ViT-Large模型。与基于几何的重建方法相结合,我们提出了一种新的稠密三维场景重建流程,既能受益于稀疏点的尺度一致性,又能受益于单目深度估计方法的鲁棒性。通过对视频的每一帧依次预测深度图,我们可以重建出准确的三维场景几何信息。

基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建

受光照变化和纹理缺乏等因素的影响,基于单幅室内场景图像的像素级和区域级三维重建算法很难恢复场景结构细节。本文提出了一种基于空洞卷积残差连接和多尺度特征融合网络的分段平面三维重建算法。该算法通过融合利用加入空洞卷积的ResNet-101网络产生的浅层高分辨率细节特征,从而减小随着网络结构的层次加深导致空间信息的丢失对三维重建细节的影响,使模型能够学习单幅图像中室内复杂场景的细节特征,并通过将全连接条件随机场优化的定位精度与深度卷积神经网络的识别能力相耦合,更好地处理了边界定位问题。实验结果表明,本文算法对复杂背景的室内场景的平面预测鲁棒性强,平面分割结果准确,且深度预测精度平均可达到92.27%。

基于栅格模型的双目移动机器人三维场景重建

以投影几何学以及双目立体视觉原理为理论基础,对移动机器人的三维重建技术进行研究,对移动机器人漫道过程中所在的兴趣区域的场景进行较为精确的建模.设计了机器人的快速建模方法,利用迭代最近点算法(ICP),完成了多个局部三维场景模型的融合.同时,结合栅格投射理论,完成了对全局三维场景模型的更新.利用栅格模型重建的三维场景,具有环境信息丰富,模型描述精确的特点,可以应用于移动机器人导航领域.

IKONOS卫星图像的快速三维场景重建

IKONOS卫星立体像对一般经过图像匹配,采用RPC模型,通过繁杂的多项式迭代获取DEM,实现三维重建,其计算花费很大。在对城市三维重建时,认为城市局部的地面是平坦的,有近似相同的海拔,城市的三维信息集中就是建筑物的三维信息,针对IKONOS影像的特点,利用几何光学成像模型快速计算同名点的相对大地坐标,实现城市场景的快速三维重建。实验结果表明,场景重建结果有较好的精度,满足观测和处理的需求,实现了快速处理和分析环境数据。

面向移动终端的交互式三维场景模拟重建研究

目前研究的交互式三维场景模拟重建方法实时性较低,导致重建场景出现过多的强噪声点,重建效果差。为了解决上述问题,面向移动终端研究了一种新的交互式三维场景模拟重建方法。通过计算机图像分析技术,使重建过程产生的图像信息存储在窄带交换网络中,视频信息分布在交互式三维场景模型中,实现了视频、图像和音频信息的分开存储。利用客户端的图像还原功能,使服务端实时接收三维场景的抽象数据,生成虚拟的三维图像,并传输关键的动、静态特征信息,解决特征信息传输功能和控制功能较差的问题。实验结果表明,面向移动终端的交互式三维场景模拟重建方法能够有效提高重建实时性,减少了重建过程出现的强噪声点。

三维激光点云联合无人机影像的三维场景重建研究

采用空-地多源数据融合技术进行三维场景精细重建研究:以三维激光扫描激光点云为基础,获取地面可视地物的三维空间信息,以无人机航拍获得的正射影像为辅助,获取地物顶部三维空间信息,以3ds Max软件为建模工具对三维场景进行重建,系统研究了数据采集、数据预处理、三维模型构建、三维场景重建等关键技术。实例结果表明,重建的三维场景及模型精度能满足小范围场景建设需要。

双视系统的室内三维场景重建研究

在早期三维场景重建中,受硬件条件的限制,无法很好地对场景进行三维重建。随着硬件的更新迭代,目前可利用结构光和双视系统进行更加高效的三维场景重建。以ZED双目相机和捷宝AD-10电动云台构建硬件平台,通过双目相机获得场景的点云信息,基于全局SBGM(Semi-Global Block Matching)算法的立体匹配和RGB-D图(Red Green Blue Depth Map)的生成来进行单一场景点云重建,并通过ORB特征匹配和ICP(Iterative Closest Point)点云配准融合,实现对室内场景的全景三维重建。实验对比了双目立体视觉的场景重建在过远/过近目标、低纹理特征目标、玻璃等材质目标上的优势,同时在点云的三维场景重建中,提出通过稀疏化来优化点云信息,对比单一采集与多次采集的重建效果。经过实验,该系统在折中采用次数的前提下,可以兼顾场景重建细节与显示效果,并对不同场景目标的三维重建具有实际的工程借鉴意义和应用价值。

未知室外环境下移动机器人的三维场景重建

针对传统最近点迭代(iterative closest point,ICP)算法的局限性与大型室外场景的特点,在处理算法速度、算法精度以及迭代陷入局部最小问题等多个方面提出了改进的ICP配准算法.并且在处理多帧匹配问题时,提出了新的在线多帧匹配方法与减小累积误差的离线多帧匹配方法.利用改善的ICP算法与多帧匹配方法,依靠三维激光雷达与移动机器人,重建了室外场景,形成了完整的室外三维地图,为实现未知室外环境下移动机器人的定位与导航打下基础.实验表明,该方法快速、精度高、鲁棒性强,适用于重建大型复杂的室外环境.

基于序列内窥镜视频图像的膀胱三维场景重建

内窥镜被广泛用于器官和体腔内部的诊断成像,尽管采集到的内窥镜视频中包含着丰富的信息,但是由于内窥镜的成像范围受到探头太小的限制,图像的放大倍数与视野范围不能兼得,且视频不能将个体二维图像与三维器官形态关联起来,大部分具有巨大数据潜力的内窥镜视频仅用于医师实时指导,并在收集后丢弃。提出基于序列内窥镜视频图像的膀胱三维场景重建的方法。先提取前后两幅序列图像中相对应的多个特征点,基于特征点采用运动恢复结构算法计算得到膀胱模型三维点云。然后,采用泊松曲面重建算法对各三维点进行网格化,并完成场景的三维重建。实验结果表明所提出的算法是可行的。

基于改进B-SHOT特征描述符的三维场景重建

针对三维场景重建中采用二进制方位直方图(B-SHOT)进行点云特征提取与匹配时,存在信息丢失导致匹配准确率降低的问题,文中采用一种改进的二值三维特征描述符DB-SHOT来进行特征提取与匹配以建立相邻点云之间的对应关系,结合随机抽样一致性算法(RANSAC)去除点云中的外点,并运用RANSAC的内点进行相邻位姿估计,进而进行相邻点云的融合。在保证匹配速度的前提下,解决B-SHOT信息丢失的问题,提高匹配准确率。通过采用标准数据集进行实验,验证了DB-SHOT作为三维场景重建特征描述符的可行性与有效性。

基于深度图像的三维场景重建系统

针对计算机图形学和视觉领域研究热点——三维场景重建,首先分析了Kinect v2(Kinect for Windows v2 sensor)获取深度图像的原理,说明深度图像噪声的来源。然后根据获取深度图像的原理设计一种算法对点云采样范围进行裁剪。其次对点云离群点进行去除,填补点云孔洞,以提高重建质量。常见的三维场景重建大都采用了KinectFusion的一个全局立方体方案,但只能对小范围内的场景进行重建。对此设计了一种对大场景进行点云匹配的ICP算法。最后对点云进行曲面重建,实现一套低成本、精确的针对大场景的三维重建系统。

建筑物三维场景重建方法

针对建筑物模型的规则性问题,基于一幅或多幅非标定图像,对建筑物结构进行多视角三维场景重建,得到360°观测模型。区别于传统三维重建方法,该方法无需先标定摄像机参数与逐点配准、不依赖深度数据和高分辨率图像。实验结果表明该方法解决了单张图像方向性感知视野受限的问题,在系统复杂度和速度上优于传统方法。

基于应急现场多源可见光照片的快速三维测绘场景重建研究

目前,电力应急救援现场的信息采集以文字、图片和视频为主。虽然此类应急现场信息可以在短时间内传送到各级应急指挥部供参考决策,但照片和视频较为零散,都是平面二维的画面,仅能从定性的角度研判灾情,使得现场勘查的图片视频的信息量没有得到充分地挖掘,有必要开展快速三维场景重建的研究与应用。本文研究将应急现场获取的多角度、多点位图片信息进行融合处理,结合这些信息源的位置、方向、角度、光学信息等,通过几何校正、航测平差、数字点云生成、三维贴图等步骤实现应急现场具备测绘精度的三维空间场景的重建,可为未来更有效的研判灾情、提升电网防灾抵御能力提供坚实的数据基础。

基于单目视觉的高精度三维场景重建技术研究

近年来,随着计算机硬件的不断快速更新,计算机的处理能力也不断变强。同时场景三维模型的获取技术越来越成熟,我们获得场景的三维模型数据的方式更多也更加方便了。而目前在基于单目和双目的三维重建技术中,单目技术较双目操作简单、而且取材方面更有利于推向市场。本文主要讲述基于单相机的三维重建,然后通过基于累积图的快速NCC匹配的种子扩张算法来进行高精度的三维场景重建。本章对经典的NCC相似度量函数进行优化,以此减少计算时间。而种子像素扩张算法即先选择初始的种子像素,利用视差图进行窗口比较从而获得高置信度的种子像素,因此大大降低了视差图的误匹配点。试验表明,该方法能够得到高质量的三维场景模型。

基于卫星影像处理的三维真实场景构建

随着地理信息服务产业的日益增长,构建真实三维场景的便捷和迅速性成为当前研究的关注焦点。本文研究了基于卫星影像的真实感三维立体场景重建技术,利用。感技术和数字摄影测量,实现了三维重建技术的快捷化、自动化、智能化。

无序三维点云重建技术研究

如何对海量三维点云数据进行快速三维重建是三维场景重现中关键的问题。本文从项目出发,对采集的无序点云提出根据内容进行重建,对非关键区域进行数据压缩,将压缩后的数据与关键区域的数据放在一起进行三维重建。试验结果表明,该方法能完整地呈现三维场景中的地物,同时也能减少三维场景重建的时间,可以为类似的三维重建提供一定的参考依据。

开放平台的自动三维场景生成方法

为降低三维场景重建的难度和复杂度,提出基于二维地图构建三维虚拟场景的方法。对地图元素的导入、多边形的三角化、地图已有元素的三维构建渲染以及非地图元素的呈现方法进行了详细阐述。所提方法可自动生成三维虚拟场景,避免人工采集环境的复杂度。基于生成的场景可为定位、导航和路径规划等任务提供测试环境,也可为高年级本科生综合实验设计中的仿真、测试或者无人驾驶汽车相关研究机构提供基础平台。

大规模场景运动恢复结构研究综述

运动恢复结构旨在基于图像间的局部特征匹配解算相机在全局统一坐标系下的绝对位姿,是基于图像的三维重建中的关键问题.近年来,随着采集设备、计算资源以及理论方法的发展,运动恢复结构研究已逐渐由实验室小规模可控场景向室内外大规模实际场景扩展,并取得了成果显著的理论方法与实际应用.文中从实际应用出发,综述了面向大规模场景三维重建的运动恢复结构研究领域的最新成果;专注于运动恢复结构中相机位姿解算核心问题,并全面介绍了其中的最新成果按照解析式与学习式方法进行;在此基础上,为助力社区发展,讨论与分析的运动恢复结构当前研究进展与未来发展态势.