图引导的特征融合和分组对比学习的域自适应语义分割

在无监督域自适应语义分割任务中,有效地融合源域和目标域的特征以及解决不同类别像素数量分布不均衡的问题是提升跨域语义分割网络性能的关键。为了充分融合源域和目标域的特征,建立源域和目标域之间的长距离上下文关系,本文构建了双跨域图卷积网络,利用图卷积来引导源域和目标域的特征进行融合。本文分别构造了跨域位置相似矩阵和通道相似矩阵,提出了跨域位置图卷积和跨域通道图卷积。为了解决数据集中存在的类不平衡问题,同时提取到更多域不变特征,本文提出了分组对比学习策略,通过在组内构造正负样本,拉近2个域相同类之间的距离并拉远2个域不同类之间的距离。实验证明,本文提出的方法在数据集GTA5到Cityscapes和SYNTHIA到Cityscapes上的跨域语义分割均取得了良好的效果。

基于位置对抗学习的道路场景无监督域自适应语义分割

在城市道路场景图像的无监督域自适应语义分割任务中,现有的基于对抗学习的跨域语义分割方法往往会忽视图像中的空间位置关系,在图像整体层面上进行对抗,这会导致卷积神经网络偏向于提取两个域之间主要类别的特征。道路场景图像中的上、中、下3部分对应的类别不同且类别占比差距也较大,但以往的方法没有充分利用图像的空间位置结构,也没有考虑到数据集中存在的类别占比数量不平衡的问题。为了解决这个问题,提出了横向位置分块对抗和纵向位置分块对抗的方法。在块与块内做对抗损失,这样可以使域之间类别的靠拢更加细节化,一定程度上解决了数据集中的类别数量不平衡问题。通过在数据集GTA5到Cityscapes和SYNTHIA到Cityscapes上的实验,证明了所提方法的有效性。