基于特征聚合Transformer的多视图立体重建方法

针对现有多视图立体(MVS)方法中缺乏对整体图像的理解以及图像之间的联系所造成的在弱纹理区域或非朗伯曲面匹配模糊的问题,提出一种基于特征聚合Transformer的多视图立体重建方法。首先,通过融合可变形卷积的特征金字塔网络对输入图像进行特征提取,自适应地调整感受野的大小和形状。接着引入基于Transformer的空间聚合模块,利用图像内部自注意力机制和图像间交叉注意力机制有效地获取视图内全局上下文信息以及视图间的信息交互关系,从而更精确地捕获场景的纹理特征进行特征聚合,实现可靠的特征匹配。最后,采用可见性成本聚合估计像素可见性信息,去除成本聚合中的噪声和错误匹配像素。在DTU和Tanks&Temples数据集上的实验结果表明,与其他方法相比,所提方法的重建性能更优越。