跨视角图像地理定位技术研究综述

跨视角图像地理定位(Cross-view image geo-localization)是将待查询图像与已知位置不同拍摄角度的图像进行匹配,以确定图像拍摄位置的技术,在公共安全、网络空间治理等领域具有广泛应用前景.本文将现有跨视角图像地理定位方法分为传统的基于人工设计特征的方法和当前流行的基于深度神经网络的方法,并根据特征提取前的视角对齐方式对后者作进一步分类.然后,分析总结了不同类别定位方法的优缺点,为综合利用提供依据.分析结果表明,视角对齐能够有效弥补不同视角之间的巨大差异,提高图像检索的效率和精度,因此设计可解释性强且失真小的视角对齐方法是跨视角图像定位技术研究重点突破的问题之一.

FY-3微波成像仪遥感图像地理定位方法研究

风云3号(FY-3)微波成像仪采用天线绕轴旋转形成圆锥形跨轨的扫描方式。该研究依据这种特殊的扫描几何,给出了适用于FY-3微波成像仪遥感图像地理定位的方法。根据微波成像仪观测几何、仪器空间位置和指向建立了遥感图像观测像元与地面位置之间关系的模型,其中包括根据卫星位置计算实时速度的算法模型。将此方法用于FY-3微波成像仪遥感图像地理定位,将计算结果与实际遥感图像比较以及通过地面控制点定位精度统计分析,使用该方法的地理定位精度达到像元级。

风云三号微波湿度计遥感图像地理定位方法

风云三号(FY-3)微波湿度计采用45°天线绕轴旋转形成垂直于卫星飞行轨迹的360°连续变速圆周扫描方式。依据这种扫描几何,给出了适用于风云三号微波湿度计遥感图像地理定位的方法,定义了完善的坐标系及坐标系转换关系,根据微波湿度计观测几何、卫星空间位置和姿态、仪器空间位置和指向建立了天线观测矢量与地面位置之间关系的模型。风云三号微波湿度计遥感图像地理定位方法在风云三号地面应用系统业务运行中,对微波湿度计遥感图像地理定位精度达到了像元级。

基于跨视角图像转换的地-空图像地理定位

图像地理定位任务的目标是对于给定的现实图像实现其地理位置的预测,在目前主流方法中,这种预测通过将输入图像与数据库中带有地理标签的图像进行匹配实现。由于缺乏全面的带有地理标签的地面图像,已有的数据库都是通过带有经纬度标签的卫星图像来建立的,而卫星图像相对于地面图像的巨大视角变化则给图像的匹配带来了挑战。本文提出了一种新的用于跨视角图像转换的条件生成对抗网络Crossview Attention Seq(CAS),使其生成由卫星图像转换得到的地面辅助信息。CAS由图像的语义分割信息达到了更好的生成效果,同时又通过模块中的空域注意力机制压制了转换的噪声。CAS所生成的转换信息与查询图像一起被输入到图像匹配框架当中,进行参数的优化和特征表示的学习。基于孪生网络模型搭建了新的图像匹配框架,并将新的损失函数结合到训练过程中,与传统三元组损失相比,它大大提升了模型整体优化的效果。实验结果表明,本文提出的方法在两个经典图像定位数据集上对比基线模型达到了更高的定位精度,并且对低信息量的数据具有更强的鲁棒性。

图像地理定位研究进展

图像地理定位是将没有地理位置的图像,通过一系列方法获得对应地理位置,使其与现实地理空间建立关联映射的技术。该技术对进一步挖掘图像信息有着重要的作用,在网络空间测绘、情报获取、用户室外定位、增强现实等方面具有较高的应用价值。尽管计算机视觉领域取得了巨大的进展,但是由于图像地理定位涉及到图像特征提取、大规模数据检索、大规模点云处理、深度学习、地理信息特征提取、几何建模与推理、语义场景理解、基于上下文的推理、多数据融合应用等多个领域,所以对图像的高精度自动地理定位仍是需要进一步解决的难题。本文对图像地理定位研究进展进行了梳理,主要包括图像地理定位方法、图像地理定位数据集、图像地理定位评价方法和图像地理定位总结与展望4个方面。首先按照研究内容相关性将图像地理定位方法分为了图像检索、2D-3D匹配和跨模态检索3类方法,并详细介绍了每一类方法的最新研究进展;其次对图像地理定位研究所用的数据集和评价方法进行了归类与总结;最后分析了图像地理定位的研究现状,并从全球地理定位、自然区域地理定位、多方法融合地理定位、基于POI数据的地理定位和预选位置的精细化定位等方面对图像地理定位的未来研究方向进行了展望。

FY-3D卫星姿轨误差标校及对定位影响研究

卫星轨道及姿态误差是影响图像地理定位精度的关键因素,以风云三号D星(Fengyun-3D,FY-3D)中分辨率光谱成像仪(medium resolution spectral imager,MERSI)为例分析了轨道及姿态实测数据,分析结果表明,FY-3D轨道及姿态均存在多种因素导致的误差,为确定该误差来源,利用卫星搭载的全球卫星导航系统掩星探测仪高精度星历对星上姿态数据全链条计算进行分析,确定姿态误差来源于星上算法存在误差,提出订正优化方案并分析其可行性,进而利用订正后的姿态及轨道数据进行图像地理定位。实测结果表明,MERSI的1 km图像地理定位精度在沿轨和跨轨方向均提升了约20%,达到亚像元级,分析结果表明,通过标校姿轨误差以提高定位精度的方法行之有效。