基于HF-Net光谱特征重定位的三维光谱成像技术研究

本文研究采用新型卷积神经网络HF-Net的深度学习技术将光谱数据在三维重建稠密点云上进行重定位的可行性。首先基于HF-Net多任务学习的光谱重定位方法,是一种异构的定位方法,使用MobileNet和NetVLAD层提取光谱图像的全局描述子,在三维重建彩色点云的数据集进行全局检索,得到此光谱照片对应的三维点云的大致位置。使用光谱图像的局部描述子和关键点得分,进行局部特征匹配,找到光谱图像中的光谱信息,对应三维模型点云中的匹配点,从而完成光谱信息和三维模型的映射。结果表明,通过HF-Net实现光谱特征点匹配后,可以将光谱信息完整地映射到三维重建模型上。本文提出的方法,可以实现立体物证的三维空间信息和光谱特征的精细定位,是人工智能在物证全维度影像数据融合技术中的新应用。