融合深度特征的无人机影像SfM重建

可靠特征匹配是无人机影像运动恢复结构(SfM)的重要环节。近年来,深度学习被用于特征提取和匹配,在基准数据集表现优于SIFT等手工特征。但是,公开模型往往采用互联网照片进行训练和测试,鲜有用于无人机影像SfM三维重建的性能评价。利用多组不同特点的无人机数据集,本文对比分析手工特征和深度学习特征在无人机影像特征匹配和SfM三维重建的综合性能。试验结果表明,利用公开的预训练模型,结合手工特征的高精度定位和深度学习的特征描述能力,可实现更准确和完整的特征匹配,并在SfM三维重建中取得与SIFT等手工特征相当,甚至更优的性能。

大规模场景运动恢复结构研究综述

运动恢复结构旨在基于图像间的局部特征匹配解算相机在全局统一坐标系下的绝对位姿,是基于图像的三维重建中的关键问题.近年来,随着采集设备、计算资源以及理论方法的发展,运动恢复结构研究已逐渐由实验室小规模可控场景向室内外大规模实际场景扩展,并取得了成果显著的理论方法与实际应用.文中从实际应用出发,综述了面向大规模场景三维重建的运动恢复结构研究领域的最新成果;专注于运动恢复结构中相机位姿解算核心问题,并全面介绍了其中的最新成果按照解析式与学习式方法进行;在此基础上,为助力社区发展,讨论与分析的运动恢复结构当前研究进展与未来发展态势.

基于水下机器人的水下混凝土结构表观病害三维重建方法

利用水下机器人进行水下结构病害检测能大幅提升检测效率、降低检测成本,然而利用水下机器人拍摄得到的水下结构平面图像仅包含结构表面的有限信息。通过对水下结构三维重构可以直观地显示结构的空间构形和特征,可以多视角、全方位获取结构的表观缺陷信息。该文提出了基于水下机器人拍摄平面图像的水下混凝土结构三维重建方法,通过水下折射摄像机成像模型、SIFT特征提取和匹配算法以及点云重建的方式对水下带病害的混凝土结构表面进行三维重建。实验表明:该文提出的水下混凝土结构三维重建方法能实现病害三维立体展示,从多视角清晰获取水下结构表面病害信息。

考虑图像采集的退役零件SfM三维重建精度研究

运动恢复结构(SfM)是一种单目多视图三维重建技术。针对SfM多视图三维重建的速度及质量问题,提出了一种考虑图像采集的退役零件SfM三维重建精度优化方法。首先,构建了图像采集试验平台,以导靴和凸轮轴瓦盖为试验对象,选取图像质量、图像数量、拍摄距离及视角数量4个对重建质量有影响的参数为影响因素,每种因素取3个水平,设计了正交试验;然后,根据试验设计方案,对两个试验对象分别进行了9组图像采集,并用Reality Capture软件对其进行了三维建模;最后,根据重建点云和模型的准确性、重建的完整性与重建效率3个指标,对重建结果进行了评价,并进行了正交试验,通过极差分析获得了最优参数组合。研究结果表明:图像数量与视角数量对三维重建质量影响显著,拍摄距离与图像质量对三维重建质量影响不显著。该研究结果可为提高图像三维重建速度及质量提供参考。

基于改进运动恢复结构的输电线路倾斜影像重建方法

运动恢复结构(structure from motion,SFM)是一种可自动恢复相机运动和场景结构的三维重建技术,其获取的稀疏点云数据直接决定模型重建质量。为提高无人机巡检中输电线路倾斜影像三维重建模型精度,提出一种基于改进SFM的输电线路倾斜影像重建方法。首先介绍增量式、全局式、混合式3种传统SFM算法的原理、流程和特点,在此基础上提出分层混合式改进SFM算法。以输电场景为研究对象,分别采用增量式、全局式、混合式SFM算法和所提出的改进SFM算法进行建模验证,结果表明:与传统SFM算法相比,采用分层混合式改进SFM算法时无人机挂载相机的旋转误差均值最大减小10.6%,平移误差均值最大减小17.9%。基于改进SFM的输电线路倾斜影像重建方法,能明显改善输电线路倾斜影像数据的三维重建质量,可为无人机高效、经济地完成输电线路巡检提供技术支撑。

基于变分光流的三维运动检测与稠密结构重建

提出了一种基于变分理论的由稠密光流检测图像中目标物体三维运动与结构的直接方法。首先在透视投影模型下将目标物体的三维运动参数与图像光流联系起来,构建了一个未知量是三维运动参数的能量函数,然后使用变分方法直接求出图像中目标运动物体的三维运动参数,最后由求出的三维运动参数恢复物体表面的三维稠密结构及图像光流。该方法在对目标物体进行三维运动检测时省略了"光流计算"这一中间过程,避免了图像光流计算给三维运动检测结果带来的误差影响和时间消耗。多组实验证明该算法具有较高的计算精度、较好的鲁棒性和较快的计算效率。

动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。

基于稠密光流的鲁棒运动估计与表面结构重建

提出了一种基于稠密光流的鲁棒运动估计与表面结构重建方法。首先在透视投影模型下推导出图像光流与三维运动速度的对应关系式;然后构造出一个未知参数是图像中运动物体表面像素点三维运动速度的逐点线性估计模型,再通过引入范数定理对该模型进行分析,证明了估计模型具有较好的鲁棒性;最后利用计算得到的像素点三维运动速度重建运动物体表面稠密结构。多组合成与真实图像序列实验表明,该方法具有较高的重建精度和较好的鲁棒性,并且适用于多种运动形式。

基于运动恢复结构的玉米植株三维重建与性状提取

针对传统的玉米植株性状测量方法存在主观性强、劳动强度大、有损伤等问题,提出了基于运动恢复结构(Structure from motion,SfM)的户外玉米植株三维重建方法,并提取了株高、单株最小包围盒体积、茎粗、叶面积、叶片数、叶夹角等11个性状参数。采用前期研制的小车,在户外采集不同视角下的玉米植株图像(采集间距为5~6 cm),基于SfM算法获取玉米植株三维点云;运用直通滤波、圆柱拟合和条件欧氏聚类算法自动分割单株、茎秆和叶片等点云数据,基于距离最值遍历、三角面片化等算法实现株高、茎粗、叶面积等11个性状的准确、无损测量。结果表明,与人工测量值相比,测得的株高、茎粗和叶面积的平均绝对百分比误差分别为3.163%、4.760%和19.102%,均方根误差分别为3.557 cm、1.540 mm、48.163 cm2,决定系数分别为0.970、0.842、0.901。研究表明,本文方法适用于作物表型户外测量,为表型研究提供了一种新的作物表型户外测量方法,同时还证明,株高和单株最小包围盒体积可以显著区分低地上部生物量玉米植株和高地上部生物量玉米植株。

基于直线光流场的三维运动和结构重建

利用直线间运动对应关系 ,将像素点光流的概念和定义方法应用于直线 ,提出了直线光流的概念 ,建立了求解空间物体运动参数的线性方程组 ,利用三幅图像 2 1条直线的光流场 ,可以求得物体运动的 12个参数以及空间直线坐标 .但是在实际应用当中 ,要找出这 2 1条直线的光流场是很困难的 ,因此该文提出了运用解非线性方程组的方法 ,只需要 6条直线的光流 ,就可以分步求出物体的 12个运动参数 ,并根据求得的 12个运动参数和一致的图像坐标系中的直线坐标 ,求得空间直线的坐标 ,从而实现了三维场景的重建 .

重复性结构零件的三维重建

为了提高重复性结构零件的三维重建精度,本文提出一种基于运动恢复结构(structure from motion,SfM)的改进算法,首先在特征点检测和匹配阶段提出了一种基于匹配点空间相关的方法来剔除错误匹配,然后在三维重建阶段利用冲突度量算法对三维结构恢复的稀疏点云进行优化。实验结果表明,本文提出的改进方法能有效减少错误的特征匹配点,重复性结构零件的三维重建准确度有所提升。

一种基于多摄像机的鲁棒运动结构重建方法

考虑大尺度噪声对测量矩阵的影响,提出了一种基于多摄像机的鲁棒运动结构重建方法。通过引入一种用于低秩矩阵恢复的数学模型,将丢失数据和大尺度噪声造成的不完整测量矩阵求解转化为凸优化问题,并使用鲁棒主成分分析方法对其求解,利用多摄像机下的矩阵分解理论实现多摄像机下运动结构重建。实验结果表明,提出的方法能够有效解决大尺度噪声的存在造成多摄像机运动结构重建方法失效的问题,准确地重建物体三维结构。

基于SfM的城市电缆隧道三维重建方法优化研究

三维重建技术常被应用于城市地铁隧道、铁路隧道等场景,用来进行隧道形态的可视化展观以及隧道性态的分析。对于城市电缆隧道,由于其内部障碍物较多,断面较小等特点,采用三维激光扫描仪等传统的三维重建方式存在一定的困难。摄影测量由于其设备的便携性,应用于电缆隧道的三维重建具有优势。基于摄影测量理论,对影响电缆隧道三维重建效果的各种因素进行总结和分析并建立了针对电缆隧道场景三维重建的模型评价方法。于南通滨江路GIL电缆隧道内开展现场实验,对于原始图像存在的明暗不均问题,选用直方图均衡化+伽马变换进行增强化预处理,恢复隧道图像暗部的衬砌细节。基于运动恢复结构(SfM)三维重建方法,构建了具有完整内部纹理信息的电缆隧道三维模型。同时以模型评价方法为判断标准,对图像采集方法和建模参数等关键因素进行优化研究。结果表明,使用200张图像、中等质量建模能够保证较高的点云密度(1.0×10^(5)m)、合理的中心特征点数量(321个)、较低的均方根重投影误差(1.36pix),同时又兼顾了较高的建模效率(177s),满足隧道三维重建的需要。

基于运动恢复结构三维重建的应用与研究进展

三维重建是利用目标物体的二维投影恢复其三维模型的技术,近年来获取高精度的三维模型受到越来越多的关注,而基于运动恢复结构(Structure From Motion,SFM)的三维重建是目前的热点研究方向。文章首先介绍了常用的三维重建方法和基于SFM三维重建的发展现状;其次介绍了基于SFM重建中的2个主要内容,包括摄像机标定和光束平差法;然后介绍了基于SFM三维重建技术的原理及方法;最后介绍了基于SFM的三维重建在不同领域的应用,同时提供了该技术在三维人体重建及人体测量方面的研究思路,为服装个性化定制和服装企业团体定制提供参考。

基于运动力学特征的膝关节结构重建分析

目的通过分析计算机辅助重建的膝关节来研究膝关节的运动力学特征。方法将经CT/MR扫描的原始数据输入到Mimics重建出三维模型,再经分割修补、除噪光顺等后处理,最后进行数字化测量和有限元分析。结果这些测量数据和力学分析使膝关节屈伸、滚动、滑动、侧移和轴位旋转等多个自由度的运动模式获得进一步剖析。结论建立在三维模型重塑基础上的结构分析对膝关节运动力学特征的阐述更加充分。

基于运动恢复结构方法的植株三维重建

为了探究基于运动恢复结构(Structure From Motion,SFM)方法的植株三维重建模型的效果,为植物三维重建工作提供研究案例,本文以紫叶鸭跖草(setcreasea pallida)为研究对象,在搭建序列图像获取平台的基础上,选取35幅、75幅、105幅序列图像进行三维重建的对比分析;同时从植株表型参数方面,对植株三维重建模型进行精度评价。结果表明:75幅图像序列的重建效果最好;不同图像序列的模型计算的植株高度相对误差(Relative Error,RE)均小于2.5%,决定系数(coefficient of determination,R2)均大于0.998;不同图像序列的模型提取叶片长和叶片宽的RE均小于2.89%,R2均大于0.958。因此,序列图像的数量与重建模型的效果有关,但二者并非呈正相关关系;序列图像的数量对重建叶片的长与宽的误差影响较小;SFM方法应用于结构比较复杂的植株的三维重建可以取得较好的重建效果。

基于运动结构图的无人机序列影像三维重建

无人机序列影像具有重叠度高、拓扑联系强的特点。针对现有增量式三维重建算法在处理大规模无人机影像时效率低、输出不稳定的问题,提出基于运动结构图的无人机序列影像三维重建方法。顾及地理位置信息与IMU(Inertial measurement unit)数据建立图像索引集,提高图像匹配效率,并使用随机抽样一致性算法计算相对运动;使用运动结构图表示影像之间的"关联",采用闭环检测剔除错误边;借助李代数与李群的映射关系,融合L1范式与M估计一次性求解影像全局运动,期间只进行一次光束法平差,降低了计算复杂度。实验验证本文方法在效率和效果上得到了提高。

基于MATLAB的运动恢复结构三维重建算法的研究与实现

随着机器视觉的广泛应用,三维重建技术越来越受关注,而运动恢复结构法(Structure From Motion,SFM)凭借其设备成本低、方便携带、适用场景广泛等优点成为三维重建的研究热点。文章从相机成像基础理论出发,介绍了坐标系、相机成像几何关系,然后将SFM问题的转化为数学问题进行SFM算法原理介绍。在MATLAB软件平台实现了增量SFM算法的应用,并得到了相机位姿和三维点云,为开展SFM应用研究提供新思路。

邻图配对式运动恢复结构的欧式三维重建

传统增量式运动恢复结构重建易受到尺度变化的影响,重建出的点云存在分层现象,并且不存在量纲。通过改进重建拓扑结构和尺度迭代最近点算法,提出了一种新的欧式三维重建方法。首先,设计了两两相邻图片重建点云后并入主点云的重建拓扑结构;然后,建立了对应表,旨在找到同一世界点在新建点云和主点云下的对应三维点对;接着,结合Geman-McClure范数,提出了抗噪声的尺度迭代最近点求解算法;最后,设置地面控制点,为重建出的点云引入尺度。实验结果表明,提出方法重建出的点云比传统增量式运动恢复结构重建出的点云更精确,并且点云长度的测量绝对误差在1%~2%左右。提出方法适用于近场景物体较精确的欧式三维重建。

实时运动结构重建在自主导航系统中的应用

实时运动结构重建是自主车辆、机器人导航、空间探测器自主降落、智能监控等领域中的重要研究课题。目前实时运动结构重建主要存在着特征匹配困难、鲁棒性差、系统无法自动获取初始参数和需要大量人工干预等诸多问题。利用高速CMOS摄像机与惯性传感数据融合提高了运动结构重建算法的精度及其鲁棒性。该算法在扩展卡尔曼滤波框架下是通过融合惯性与视觉传感器的数据来进行运动估计的。对场景中的每一个待估计结构的特征点建立对应的卡尔曼滤波器,以估计其空间三维结构信息。运动估计模块与结构估计模块交替运行,减小了系统运算的复杂度,提高了实时性能。通过对真实场景图像序列的实验验证结果表明,惯性传感器的额外信息能够有效地提高运动结构估计的精度,能够增强算法的鲁棒性。