多视图匹配算法的研究

研究了一种利用使用多个实化视图进行连接来回答查询的方法 .给出了最优重写的搜索空间和匹配方法 ,并扩展到具有复杂选择条件和分组操作查询和视图的匹配 .

基于混合结构的多视图三维场景重建

基于PatchMatch的多视图高效和高精度三维重建一直是一个挑战性问题。红黑棋盘格模式的传播方式并行计算效率高,但对应的视图选择策略精度较差;基于马尔可夫链的视图选择策略能获取更为准确的匹配结果,但算法并行度较低。为了达成场景重建质量与重建时间的平衡,本文提出了一种基于混合结构的多视图三维重建算法,在第一阶段采用沿行/列并行的传播策略和马尔可夫链式的视图选择策略,得到质量较高的初始深度图,并通过引入多层次处理提升弱纹理区域的重建质量;在第二阶段采用棋盘格式传播方式和基于投票的视图选择策略提高计算效率,缩短重建所需时间。通过在Strecha和ETH3D数据集上进行了大量实验和对比表明,本文算法在不降低计算精度的前提下,计算效率提高2.5倍以上。

结合注意力机制与路径聚合的多视图三维重建

目前基于学习的多视图三维重建研究已经取得了显著成果,但依然存在特征提取不完全和成本代价体之间相关性差的问题,从而导致重建精度不高。针对这一问题,设计了一种级联网络PAA-MVSNet。为了获得输入图像更加完整和准确的特征信息,该模型采用了“自顶向下”的特征提取方法,在不同尺度上进行特征提取,并将这些特征进行拼接,最后输出3个不同尺度的特征层;此外,引入改进的SE注意力模块优化三维代价体正则化过程,增强了代价体成本体积之间的相关性,提高了重建的精度和完整性。在DTU数据集上和基准网络CasMVSNet相比,该模型的准确性误差和完整性误差指标分别降低了5%和1.4%,且相较于其他模型均有不同程度提升。此外Tanks and Temples数据集上的实验结果表明,该模型有很好的泛化性。提出的基于路径聚合的特征提取模块和注意力优化代价体正则化模块均取得了效果,在重建精度上相比于其他模型都有一定的提升,验证了该模型的有效性。

基于连续对称视差计算的多视图立体匹配

为了解决基于非凸能量最小化的多视图三维重建方法容易陷入到局部解的问题,提出鲁棒的基于连续对称视差的多视图立体匹配算法.采用连续对称优化算法对基于局部窗口的算法产生的视差进行优化,在能量函数中引入左、右一致性约束,为了提升视差图的准确度,采用近邻的图像和视差图迭代地对视差进行改进.每一个视差图对应一个深度图,因为生成的视差图有较好的质量,融合的过程可以采用简单的算法.Middlebury的测试图像和现实中的一些场景的重建的实验效果证明了该算法的有效性.

一种快速多视图立体匹配方法

由于室外场景图像集具有规模巨大、尺度多变等特点,快速精准的多视图立体匹配受计算效率严重制约。为此,提出一种新的快速多视图立体匹配和优化方法。该方法首先基于Plane Sweep框架计算初始匹配代价;然后提出并行Semi-Global算法对匹配代价优化计算深度图;最后使用GPU对图像滤波剔除噪声点。实验结果表明,该方法可高效生成用于三维重建的优质深度图。

基于多视立体视觉与Leiden图聚类的多视图直线匹配

直线特征的精确匹配对三维模型的重建与优化具有重要意义。但是传统的双视图直线匹配由于视图数量较少导致直线匹配结果鲁棒性较差,且对于存在断裂的直线提取结果,同一直线在不同影像上提取直线的数目不等,导致直线匹配结果完整性较差。针对上述问题,本文提出多视图立体视觉(Multiple View Stereo,MVS)与Leiden图聚类相结合的多视图直线匹配算法。该算法首先使用直线提取算法和MVS三维重建算法对输入的多视影像分别进行直线信息提取和多视图三维信息提取,得到各视图上的直线与覆盖多视图场景的稠密三维点及其相关信息,并以此构建直线描述符;接着通过三维直线投影角度约束、点-线位置关系约束及同名点约束对匹配候选进行筛选,并根据各视图上直线间的相似性关系以各视图上的直线为节点,直线间的相似性得分为边权重构建无向图,同时剔除无向图中由单个节点构成的连通分量,得到连通分量集合,即初始匹配结果;最后对各个连通分量的节点基于同视图共线约束进行重构,得到子无向图,并对子无向图节点使用Leiden算法进行聚类。最终在多视影像上得到精确的直线匹配结果。本文选取大疆无人机拍摄的2组影像以及网上公开的1组影像进行实验。实验结果表明,采用本文算法获得的直线匹配结果较对比算法在直线匹配数目以及匹配正确率上均有所提升。

基于光线的全局优化多视图三维重建方法

利用光线跟踪原理,提出一种全局优化的多视图三维重建方法。根据图像轮廓得到物体的包围盒,采用体素离散物体所在的几何空间。从相机中心向图像上每个像素发射一条光线,为确定光线达到的体素,使用归一化互相关(NCC)值度量光线-体素的一致性,并估计采样空间中面片的法向信息,以提高NCC值的可信度。设计基于因子图的全局优化模型得到物体体素,针对光线因子的特殊性,设计一种高效的置信度传播算法,使重建方法的时间复杂度从指数阶降为线性阶。实验结果表明,与基于马尔可夫场的重建方法相比,该方法的鲁棒性较好,可提高重建模型的准确度和完整性。

语义导向多尺度多视图深度估计算法

目前利用深度学习进行多视图深度估计的方法可以根据卷积类型可以大致分为两类。其中,基于2D卷积网络的模型预测计算速度快,但预测精度较低;基于3D卷积网络的模型预测精度高,却存在高硬件消耗。同时,多视图中相机外部参数的变化使得模型无法在物体边缘、遮挡或纹理较弱区域生成高精度预测结果。针对上述问题,提出了基于3D卷积的语义导向多尺度多视图深度估计算法,在保证预测精度的同时降低硬件消耗。同时针对遮挡、纹理较弱等区域,利用网络自身提取的图片特征作为先验导向信息,增强网络对全局信息的感知,结合多尺度融合方法增强网络的鲁棒性。在公开数据集的测试对比中,提出的方法预测深度图结果更加清晰,并能有效地应对图片中物体边界、遮挡等区域。

一种有效的无序多图像分组及其拓扑有序化的算法

针对大规模三维重建应用中多幅无序图像的分组及其有序化问题,提出一种鲁棒的无序图像分组方法。首先,对大量无序图像提取SIFT(scale invariant feature transform)特征,接着采用DBH(dichotomy based hash)算法对图像特征集合进行快速匹配,最后应用一种新的基于图像内容的图像相似度度量准则,将无序图像分组并采用视图生成树拓扑化组内图像。实验结果表明,该算法能快速有效地对无序图像分类并拓扑化。

基于倾斜航摄仪数据的实景三维建模技术探讨

随着倾斜摄影测量技术的不断发展,基于倾斜摄影的实景三维模型数据得到广泛应用。基于Context Capture Center软件系统平台,结合生产项目,提出基于倾斜航摄仪影像数据进行实景三维建模的应用方案,总结实景三维建模的技术流程,验证倾斜航摄仪影像数据在实景三维建模中的优势和可行性。