FMNet:基于特征对齐的多方位注意力机制服装图像分割网络

针对语义分割中不同尺度特征融合导致的特征错位问题,提出了一种用于不同尺度语义特征融合的上采样方法。首先,将不同尺度特征图初步融合,将得到的语义信息作为低分辨率特征图进行上采样的位置参照;随后,将低分辨率特征图上采样后,再与高分辨率特征图进行融合。针对神经网络中语义学习模块对语义特征信息学习不充分的问题,提出了一种多方位注意力机制(multi-directional attention mechanism,MAM),从空间、通道和类别3个方位学习语义信息。根据上述2个方面的创新,提出了用于服装图像分割的网络——FMNet,并选取、划分服装数据集DeepFashion2作为训练、验证和测试的数据集。实验结果表明,所提FMNet的平均交并比(mean intersection over union,mIoU)相较于OCRNet提高了2%,相较于DeepLabv3+和PSPNet分别提高了5%和10%。

基于类别注意力卷积网络的地物分类方法

在近期的研究发展中,语义分割取得了巨大的进步。但大多数方法都是从空间角度出发,来获取更加丰富的上下文信息。与以往的方法不同,本文提出了一种基于类别注意机制的特征融合方法,从类别角度出发,来获取全局上下文信息,并与其他特征信息进行融合,这种方法能够更好地表示图像中各类目标的特征,具有更好的类内聚合性。为此,本文使用了一种ACF(类别注意力特征)模块,以计算和构建图像中各类目标的类别中心,以此为基础得到了一个基于类别注意力的多特征融合语义分割网络,以实现更好的地物分类性能。算法使用ISPRS数据集进行实验,与其他算法进行对比,本文方法具有更好的性能表现。