固连双相机多视图重建测量方法设计

大范围场景光学非接触式测量在工程中具有广泛的应用需求,常规基于单相机的多视图重建测量方法需要在场景中加入尺度基准,图像采集过程复杂、对图像重合度要求高。为此提出一种利用固连双目相机进行多视图重建的方法,既继承多视图重建中测量范围大的优势,同时又无须尺度基准,图像采集过程更简单易实现,数据优化过程中还额外增加了双相机固连约束条件。具体实现过程中,首先标定获取安装在固定杆上的两相机的内参数及固连关系,然后使用双相机对待测量区域采集图像并双目交会获取每一时刻的空间点云。计算相邻时刻点云所在坐标系的转换关系,通过传递将所有时刻图像对应相机位姿以及交会点云统一在指定坐标系下,由光束法平差优化相机位姿及点云坐标,由重建点云坐标即可计算待测尺寸参数及形变信息。经实验验证,在5 m范围内,其测量误差最大3 mm,均值1 mm。该方法可以满足大尺寸物体、大范围场景的测量需求且稳定可靠。

基于多视图立体深度学习的堆叠工件三维重建

随着工业自动化的不断发展,工件的三维重建技术在制造业中扮演着越来越重要的角色.在实际的工作环境下,工件普遍存在堆叠问题,对后续的机器人识别抓取等工作存在较大影响.目前三维重建技术对于一些具有弱纹理区域的工件重建,仍存在图像特征点提取难度大、特征配准精度低的问题.针对以上问题,本文提出了一种基于多视图立体匹配深度学习的堆叠工件三维重建方法.首先,输入多张不同视角的图像经过融合DCNv2的特征金字塔网络,进行特征提取;然后,进行单应性变换构建代价体,再使用方差聚合为一个统一的代价体;接着在代价体正则化部分,引入SE通道注意力机制模块来提高网络的特征表达能力,增强模型的性能和泛化能力;此方法在DTU(Danish Technical University)数据集上具有较好的表现,并且运用该方法生成的堆叠工件点云模型对以后的工业自动化开展具有重要意义.

特征对齐与上下文引导的多视图三维重建

针对三维重建对细小特征及边缘区域重建欠佳的问题,提出了一个基于特征对齐与上下文引导的多视图三维重建网络,即AGA-MVSNet。首先,构建了一个特征对齐模块(FA)与特征选择模块(FS),能够将特征金字塔不同层级的特征先对齐之后再进行融合,提高对小尺寸物体和边缘区域的特征提取能力;然后,在代价体正则化中加入了一个上下文引导模块,该模块能够在略微增加运行内存的情况下充分利用周围信息,增强成本体积之间的相关性,提高三维重建的精度与完整度;最后,在DTU数据集上进行了实验,实验结果表明,该方法相比于基准网络CasMVSNet精度提升了2.2%,整体重建质量提升了2.5%。此外,在Tanks and Temples数据集上的表现相较一些已知的方法也十分优异,且在BlendedMVS数据集上也生成了不错的点云效果。

基于内窥镜图像的儿童腺样体场景三维重建

腺样体肥大是导致儿童阻塞性睡眠呼吸暂停综合征的主要因素。医生通过内窥镜影像评估腺样体肥大程度及其对气道的阻塞程度。然而,内窥镜影像为二维图像,医生只能主观推测患者腺样体区域的三维结构。这种方法严重依赖医生的相关经验和对腺样体的观察角度。腺样体表面为人体黏膜组织,覆盖鼻腔分泌物,其内窥镜影像具有强反光、特征稀少、场景光滑、模糊等特点。根据腺样体表面特点,该文提出一种基于腺样体鼻咽腔内镜图像序列的多视图三维重建算法。算法首先采用多视图立体匹配技术获取图像对应深度图的粗糙估计;其次,使用网格曲面在深度空间中对粗糙的深度信息进行拟合,从而得到平滑、精细的深度图;最后,通过点云融合算法获得腺样体区域稠密、精确的三维重建。仿真与真实实验表明,该文算法基于腺样体内窥镜图像序列,可实现精确、稠密、平滑的腺样体区域三维重建,且重建结果显著优于现有三维重建算法。

多视图立体三维重建中的孔洞修复算法

为了解决多视图立体三维重建算法不能很好地处理弱纹理或无纹理及高光区域的重建问题,提出一种基于可见外壳与多视图三维点云有机融合的多视图立体三维重建孔洞修复算法.该算法以可见外壳及多视图三维点云为输入,首先提取出可见外壳内满足点云稀疏度约束的叶节点,然后利用可见外壳法向量射线约束去除包裹在三维点云外层的叶节点,最后通过加入三维点云曲面曲率约束来消除点云中凹陷区域的影响.实验结果表明,文中算法有效地解决了物体缺乏纹理区域表面的孔洞修复问题,使得最终生成的三维网格模型完整和平滑,具有参数可调、易于实现的特点,对于不同的模型都具有非常好的鲁棒性.

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建。通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CMVS/PMVS)获取稠密点云;利用PCL泊松曲面重构算法将稠密点云生成多边形网格,得到最终的重建图像。采用真实的实验室设备进行了验证和测试,实验结果表明,该方法可以有效快速地进行实验室设备的三维重建。

一种基于场景图分割的混合式多视图三维重建方法

针对大范围三维重建,重建效率较低和重建稳定性、精度差等问题,提出了一种基于场景图分割的大范围混合式多视图三维重建方法.该方法首先使用多层次加权核K均值算法进行场景图分割;然后,分别对每个子场景图进行混合式重建,生成对应的子模型,通过场景图分割、混合式重建和局部优化等方法提高重建效率、降低计算资源消耗,并综合采用强化的最佳影像选择标准、稳健的三角测量方法和迭代优化等策略,提高重建精度和稳健性;最后,对所有子模型进行合并,完成大范围三维重建.分别使用互联网收集数据和无人机航拍数据进行了验证,并与1DSFM、HSFM算法在计算精度和计算效率等方面进行了比较.实验结果表明,本文算法大大提高了计算效率、计算精度,能充分保证重建模型的完整性,并具备单机大范围场景三维重建能力.

基于学习的兰州玉佛寺多视图三维重建方法研究

针对人工建模视觉方法存在的精度较差,重建细节缺失且效率较低等缺陷,提出一种利用基于学习的MVS网络模型对兰州玉佛寺建筑构件及其相关文物进行高精度三维重建的方法。经实验证明,由该方法获得的重建模型在精确度、完整度及整体性等方面相较于其他一些方法,均具有明显优势。此外,建立兰州玉佛寺高清图像数据集,用于特征提取、相机标定及三维重建等视觉方法研究,而且对于研究和保护当地文物文化遗产具有重要意义。

室外弱纹理金属的稠密重建与测量

针对室外金属容器由于尺寸大、纹理弱、周围环境复杂而难以测量的问题,本文提出了一种基于多视图稠密重建的室外弱纹理金属的测量方法,通过获取弱纹理金属表面的三维表征,实现尺寸测量。首先,对传统的增量式运动恢复结构算法进行改进,提出新的赋权连接图、基于度数的初始匹配对选择方法和基于可见点分布的新视角选择方法,以提高稀疏重建的密度;然后,为解决金属弱纹理区域难以高质量重建的问题,提出基于稀疏先验的深度估计方法和基于多分辨率多窗口的深度估计框架。试验结果表明,本文方法可以解决室外弱纹理金属的测量问题,970 mm内的绝对误差为0.52 mm。

基于多视角图像的玉米三维重建及双面配准方法研究

提高植物三维点云模型重建时的准确性与完整性,是精准获取植物表型参数的关键所在。目前大多数三维重建方法只能从某一方向对目标物体进行重建,缺乏完整的三维重建过程。为了解决此问题,本研究提出了一种基于多视角图像序列的玉米双面配准的三维重建方法,通过安装在图像采集平台上下侧的RGB相机来获取玉米不同视角的图像序列,基于SfM算法获取玉米的三维点云模型后使用点云颜色滤波算法进行预处理。通过交互式选点测量方法得到玉米点云的空间坐标后基于欧式距离算法计算20组玉米的株高、叶长、叶宽等表型参数,与对应的手动测量结果相比,决定系数r2依次为0.973 6、0.969 1、0.915 0,结果表明两者间显著相关。之后对标记物使用4PCS和PCA算法进行粗配准,结果表明采用4PCS具有更好的粗配准效果。最后采用ICP算法进行标记物的精配准,得到变换矩阵后将其应用于玉米点云,即完成了玉米点云的双面配准。由玉米点云的配准精度均方根值(RMS)可知,当点云重叠度设置为90%时,RMS值较小,玉米点云配准的精度更高,可达到较好的配准效果。总之,本研究所提的配准方法可以拼接和重建出结构更加完整的玉米点云模型,从而满足对玉米表型研究的需求。

基于三维点云的大坝缺陷体积测量方法

大坝在运行过程中不可避免地会出现混凝土呈块状剥落的情况;因此,精确地剥落缺陷体积测量对于其结构修缮具有重要意义,而缺陷的形状往往是不规则的,难以通过简单的几何运算求出;为实现非接触精准测量,提出一种将点云平面拟合、滤波和三角化相结合的缺陷体积测量方法;利用单目相机拍摄待测结构物,对其进行多视图三维重建,获取点云数据,分割出缺陷点云并对其进行体素降采样,采用Delaunay三角剖分法计算缺陷体积;为提高测量精度,改良传统RANSAC平面拟合算法,在其中融入统计离群值移除,实现缺陷区域的精准分离;经过多次实验证明,该方法在测量缺陷时,无论形状是否规则,都能较为精准地测量出其真实体积;将测量结果与仅用RANSAC算法分割相比,测量精度提高70.32%;该方法大幅度提升了缺陷的测量精度。

一种改进的表面重建算法及其并行化研究

对于泊松三维表面重建中估算指示函数出现误差的情况,引入屏蔽因子并使用线性插值的方法纠正误差。该方法在等值面提取时使用的索引表查找法存在二义性的问题,需使用渐近线方法来解决。改进算法需要较大的存储空间来存储顶点信息和法向量以及较长的时间来运算,因而引入了CUDA架构的并行化计算来提高运行效率。

改进ASIFT算法的PMVS三维重建

基于多视图的三维重建的特征点检测与匹配能力较差,通常使用的Harris、SIFT算法所能检测和匹配的特征点较少,误匹配的特征点数量较多。因此,提出了基于Bicular算法的自适应尺度优化结合Harris算法改进Asift算法,将改进算法BH-Asift(Bicular Harris-Asift)运用到基于PMVS的多视图三维重建系统中,改进后的算法特征点检测与匹配能力较强,生成的最终三维模型更加真实。

一种基于图像集合的三维重建方法

设计并实现了一整套基于图像集合的三维重建技术。首先对输入的多幅图像提取特征点,然后将这些特征点进行匹配,接着迭代运行从运动恢复结构的优化算法,得到相机参数以及稀疏的空间点云信息,最后利用多视图立体重建方法得到稠密的空间点云模型,完成对目标的三维重建。实验结果表明,本文采用的方法不需要特定的设备,无需人工干预即可自动重建出正确的被观测目标的三维模型。

岩矿石标本三维建模技术及其教学资源库建设

岩矿石标本鉴定是地质类专业学生的必备地质基本技能。中国地质大学(武汉)资源学院拥有丰富的岩矿石教学标本,但相对又是珍稀的,不能满足越来越多的地球科学专业学生个性化学习需求。矿产资源形成与勘查开发虚拟仿真实验教学中心开展了岩矿石标本三维模型教学资源库建设工作。介绍了岩矿石标本三维模型教学资源库建设意义,研究了岩矿石多视图图像三维重建技术和资源建库优化流程,结合游戏化积件与课件开发,建设了岩矿石标本三维模型资源库。对增强地学实习信息化水平具有重要作用。

多目视觉测量系统的光束法平差改进

为了消除三维扫描测量机器人系统中工业机器人定位误差对测量结果的不利影响,搭建了多目视觉测量系统对三维扫描测头进行空间同步定位。由于系统中相机与标志点之间的距离变化较大,标志点重投影误差难以评价空间定位误差,另外受相机标定精度影响,光束法平差对三维坐标修正不明显。为解决上述问题,本文改进了光束法平差,在传统光束法平差的误差方程中引入摄影比例尺,再将整体参数的优化分为两步,先修正相机内、外参数,再修正被测点三维坐标,以提升系统的三维重建精度。实验结果表明,在对一维基准尺长度的测量实验中,测量结果与参考值之间的偏差小于0.300 mm,标准差不大于0.110 mm,满足三维扫描测量机器人系统的应用需求。

结合目标轮廓和深度信息的建筑物单体化重建

针对倾斜航空影像建筑物单体化重建过程中点云和轮廓获取自动化程度低且对数据要求高问题,该文提出了一种精细化轮廓提取驱动的建筑物三维重建方法。首先构建边缘增强模块,利用卷积神经网络对影像进行细节增强,突出目标边缘特征,随后利用轻型多视图匹配网络获得高精度深度图,并利用成对视图加权模块来提升深度图的准确性。接着引入Transformer结构对建筑物进行初始提取,同时构建特征抽稀模块提高计算效率,并设计自适应优化与正则化模块用于剔除误检区域及优化建筑物轮廓。通过深度图融合生成点云进一步得到三维格网模型,基于建筑物轮廓图与三维模型实现建筑物单体化重建。实验结果表明,该文方法在深度估计及轮廓提取上均取得较好结果,并利用该文方法对德州市城区进行建筑物单体化建模,得到了精度较高的LOD-1模型。

一种多视角高精度图片的深度估计方法

针对多视图的重建中高精度图片难以有效重建的问题,提出了基于学习的深度估计方法.该方法利用空洞卷积神经网络对图片进行特征提取,利用长短期记忆网络构建并优化三维代价体,并且采取有监督和无监督2种方式进行训练.在2个真实场景中的多视角图片数据集上的实验结果表明,相比于传统方法和其他基于学习的方法,该网络所需的显存大大减少,因此能用于高精度图片的重建,同时,提高了模型深度预测的准确性和完整性。