基于边缘辅助极线Transformer的多视角场景重建

基于深度学习的多视角立体几何(MVS)旨在通过多个视图重建出稠密的3维场景。然而现有的方法通常设计复杂的2D网络模块来学习代价体聚合的跨视角可见性,忽略了跨视角2维上下文特征在3D深度方向的一致性假设。此外,基于多阶段的深度推断方法仍需要较高的深度采样率,并且在静态或预先设定的范围内采样深度值,容易在物体边界以及光照遮挡等区域产生错误的深度推断。为了缓解这些问题,该文提出一种基于边缘辅助极线Transformer的密集深度推断模型。与现有工作相比,具体改进如下:将深度回归转换为多深度值分类进行求解,在有限的深度采样率和GPU占用下保证了推断精度;设计一种极线Transformer模块提高跨视角代价体聚合的可靠性,并引入边缘检测分支约束边缘特征在极线方向的一致性;为了提高弱纹理区域的精度,设计了基于概率成本体积的动态深度范围采样机制。与主流的方法在公开的数据集上进行了综合对比,实验结果表明所提模型能够在有限的显存占用下重建出稠密准确的3D场景。特别地,相比于Cas-MVSNet,所提模型的显存占用降低了35%,深度采样率降低约50%,DTU数据集的综合误差从0.355降低至0.325。

一种基于簇的多视角立体改进算法

基于面片的多视角立体(PMVS)算法只需要输入一组图片及摄像机参数便可生成稠密的带有颜色的三维点云,它无需任何的初始信息。但该算法仍有一些不足,一方面重建出的表面不够光滑和连续,特别是在大场景重建时经常碰到的俯仰拍摄情况尤为严重;另一方面对大型图像集进行重建时时间和空间复杂度高,无法实现重建。针对这些不足,提出了一种新的基于簇的PMVS改进算法。首先对图像集进行基于簇的划分,很大程度上减少了算法的运行时间,解决了系统内存消耗过大的问题,然后采用加入空间几何约束的PMVS改进算法对每个图像簇进行重建,提高了重建精度和表面光滑性,最后将所有簇的重建结果进行融合。通过实验证明了该算法的实用性和有效性。

基于车载双目立体视觉的运动障碍检测

提出一种基于多视几何约束的车载双目立体视觉运动障碍检测算法。研究结果表明:多视极线约束有效地解决了当相机和障碍同方向运动时对极几何无法检测运动障碍的问题。在粒子滤波框架下,以多视极线约束为状态观测,可同时检测和跟踪多个运动障碍。不同场景实际数据集上的实验结果证明:该方法具有鲁棒性和有效性。

基于投影矩阵的空间非合作目标三维重建

针对从摄像机运动恢复结构算法(structure from motion algorithm,SFM)重建结果精度低以及面片重建算法(patchbased multiview stereo,PMVS)计算时间长的缺点,提出1种基于投影矩阵空间非合作目标三维重建算法。首先采用针孔模型对三维空间点到二维图像像素点投影关系进行理论推导,然后利用对极几何约束原理求解出旋转矩阵和平移矩阵;再由投影矩阵,解算三维空间点坐标;最后结合精密可控转台,搭载双目相机进行仿真实验。仿真实验结果表明,与SFM算法和PMVS对比,重建结果点云个数分别增加了22倍和9倍,所需时间分别减少了5s和97s;验证该算法的高可靠性、高重建精度和强实时性。

一种深度图的时域下采样编码及重建方法

为提高三维视频系统的编码效率,提出了一种针对中间视点的深度时域下采样编码方法.首先确定深度图像的丢弃方式;然后利用基于时间一致性和视点间的相关性,恢复出丢弃的深度图像,并对恢复出的结果进行维纳滤波,进一步提高恢复的深度图的质量.该方法需要向编码端发送维纳滤波器系数和重建深度选择标识符.实验结果表明,在保证同等码率的前提下,解码端重建的虚拟视图的峰值信噪比最大能提升0.229dB,平均提升0.130dB,编码性能得到改善.

基于特征聚合Transformer的多视图立体重建方法

针对现有多视图立体(MVS)方法中缺乏对整体图像的理解以及图像之间的联系所造成的在弱纹理区域或非朗伯曲面匹配模糊的问题,提出一种基于特征聚合Transformer的多视图立体重建方法。首先,通过融合可变形卷积的特征金字塔网络对输入图像进行特征提取,自适应地调整感受野的大小和形状。接着引入基于Transformer的空间聚合模块,利用图像内部自注意力机制和图像间交叉注意力机制有效地获取视图内全局上下文信息以及视图间的信息交互关系,从而更精确地捕获场景的纹理特征进行特征聚合,实现可靠的特征匹配。最后,采用可见性成本聚合估计像素可见性信息,去除成本聚合中的噪声和错误匹配像素。在DTU和Tanks&Temples数据集上的实验结果表明,与其他方法相比,所提方法的重建性能更优越。