地学知识图谱引导的遥感影像语义分割

尽管深度语义分割网络有效提升了遥感影像语义分割性能,但其效果远未达到人类领域专家的目视解译水平。原因是人类视觉系统在进行遥感影像解译时,往往会综合运用视觉特征、语义信息和先验知识。然而,深度语义分割网络本质上是数据驱动的面向像素级损失反向优化的分类方法。这种基于像素级优化的深度语义分割网络,一方面受限于像素空间尺度,缺乏整体性目标线索挖掘;另一方面难以跨越结构化数据和非结构化知识之间的鸿沟,无法充分利用地学先验知识和空间语义信息。针对以上两方面的问题,本文提出了地学知识图谱引导的遥感影像深度语义分割方法,运用从地学知识图谱中抽取的地物目标语义信息和地学先验知识构建实体级连通约束和实体间共生约束,引导深度语义分割网络训练。其中,实体级连通约束以连通域实体而非像素单元计算损失,得到实体级别的特征表示,使得分割结果更具整体性,边界模糊和随机噪声现象得到抑制。实体间共生约束将共生条件概率量化的空间共生知识嵌入到数据驱动的深度语义分割网络中,实现空间语义信息和地学先验知识对实体空间分布的约束引导和自动优化。验证结果表明,在实体级连通约束和实体间共生约束的引导下,深度语义分割网络可以完成对实体级特征的学习并根据空间共生知识自动优化地物实体的空间分布,有效改善了遥感影像语义分割性能。