全距离深度平衡立体匹配网络

针对当前视差估计网络在将视差转换成深度时,存在深度精度受相机参数影响,且在远距离处产生深度精度急剧下降的问题,提出一种全距离深度平衡立体匹配网络(FRDBNet)。首先构建深度代价体,使网络学习到全距离深度的概率分布,进行深度回归直接生成深度;然后采用视差与深度损失融合的训练策略使网络同时关注远中近三分段全距离的深度估计;最后,基于初始视差右图对应点7邻域特征设计视差优化模块进一步提高网络的深度估计精度。在大型真实驾驶场景Driving Stereo数据集上的实验表明,针对全距离[1,100]m的深度估计,FRDBNet在[1,30]m近距离、[30,60]m中距离和[60,100]m远距离处深度精度相比CVPR2022性能表现优越的ACVNet分别提高10.38%、15.11%和20.35%,达到了良好的深度精度平衡。

基于三分支混合特征提取的双目立体匹配算法

基于深度学习的双目立体匹配算法大多采用卷积神经网络(CNN)进行特征提取。但该网络存在感受野有限、卷积核权重共享等固有的局限性,难以提取到强辨识度的特征,易导致弱纹理区域、细节区域等有挑战性区域的匹配精度较低。针对该问题,本文提出一种基于三分支混合特征提取的双目立体匹配算法。具体地,将CNN分支、Swin Transformer分支、融合分支并联设置,并对左、右图像进行特征提取,并联分支设置有效地保留了CNN的局部特征表达能力和Swin Transformer框架的全局特征表达能力。融合分支由多阶段的全局-局部信息适配器组成,不仅能实现本阶段全局信息和局部信息的融合与表达,而且能够跨不同阶段有效地传播特征,从而筛选出适用于弱纹理区域和细节区域的强相关特征信息,提高了立体匹配的精度。在SceneFlow数据集上进行的消融实验验证了本文算法的有效性。利用SceneFlow、KITTI 2012、KITTI 2015数据集进行了测试。本文方法在SceneFlow数据集上的端点误差为0.652个像素;在KITTI 2012数据集上的非遮挡区域,视差误差大于5个像素的百分比为0.79%。结果表明本文算法具有优异的立体匹配精度。