在医学图像分割领域U-Net已经成为了被应用最广泛的医学图像分割模型,许多有关医学图像分割的研究都用U-Net作为基线标准。以U-Net为基础的一系列变体分割模型也相继问世,其中包括CoTr,其为Convolutional neural network and a Transfor...在医学图像分割领域U-Net已经成为了被应用最广泛的医学图像分割模型,许多有关医学图像分割的研究都用U-Net作为基线标准。以U-Net为基础的一系列变体分割模型也相继问世,其中包括CoTr,其为Convolutional neural network and a Transformer的简称。就如其名,CoTr是一个结合了卷积神经网络和Transformer,具有类似U-Net的U形结构的分割网络。CoTr构造卷积层以提取特征表示,并且构造有效的可变形Transformer (DeTrans)以对提取的特征图的长程依赖性进行建模。与平等对待所有关键位置的vanilla Transformer不同,DeTrans通过引入可变形的自注意机制,只关注一小部分关键位置。因此,DeTrans的计算和空间复杂性大大降低,使得处理多尺度和高分辨率特征图成为可能,而这些特征图通常对图像分割至关重要。CoTr模型在多模态腹部分割数据集(Amos数据集)上进行了广泛评估。结果表明,在3D多器官分割任务上,与其他基于CNN、基于Transformer和混合方法相比,CoTr带来了持续的性能改进。展开更多
文摘在医学图像分割领域U-Net已经成为了被应用最广泛的医学图像分割模型,许多有关医学图像分割的研究都用U-Net作为基线标准。以U-Net为基础的一系列变体分割模型也相继问世,其中包括CoTr,其为Convolutional neural network and a Transformer的简称。就如其名,CoTr是一个结合了卷积神经网络和Transformer,具有类似U-Net的U形结构的分割网络。CoTr构造卷积层以提取特征表示,并且构造有效的可变形Transformer (DeTrans)以对提取的特征图的长程依赖性进行建模。与平等对待所有关键位置的vanilla Transformer不同,DeTrans通过引入可变形的自注意机制,只关注一小部分关键位置。因此,DeTrans的计算和空间复杂性大大降低,使得处理多尺度和高分辨率特征图成为可能,而这些特征图通常对图像分割至关重要。CoTr模型在多模态腹部分割数据集(Amos数据集)上进行了广泛评估。结果表明,在3D多器官分割任务上,与其他基于CNN、基于Transformer和混合方法相比,CoTr带来了持续的性能改进。