基于改进的ResNet与IMU位姿图像特征描述子

基于深度学习的图像特征描述子,是许多3D视觉任务的重要组成部分,但现有的基于深度学习的图像特征描述子框架,通常需要特征点之间的真实对应关系来进行训练,而要想大规模获取这些对应的特征点却具有很大的挑战性。本文提出了一种新的弱监督学习框架,该框架只需从与图像相关联的惯性测量单元位姿中学习特征描述子。基于此,本文构造了新的损失函数,该函数利用IMU位姿所给定的对极约束,方法稳定且高效。因为本方法不需要特征点之间的真实对应关系,所以在庞大且多样化的数据集上训练效果更好,为更具有区分性的局部特征描述子提供了可能。本文将学习到的特征描述子称为POSE描述子,经过严格的监督训练,POSE描述子比之前基于完全监督的特征描述子更好,且数量和匹配度均有所提高。