融合卷积和Transformer的多尺度皮肤病变分割算法

皮肤病变自动分割对协助医生临床诊断、治疗及术后观察都具有非常重要的意义。现有卷积擅长建立局部相关性但无法捕获像素长程依赖关系,而Tansformer可以建立特征信息的全局依赖关系但会造成局部细节信息丢失。因此,提出了一种融合卷积和Transformer的多尺度自动分割网络。采用ResNet34作为基础编码块,利用其金字塔结构建立病灶的多级局部相关性;采用Swin Transformer模块捕获上下文特征的长程依赖关系,考虑到病灶形状多变、大小不一等情况,提出多尺度特征聚合模块来进一步提取上下文特征多尺度信息;采用具有注意力机制的解码块逐步融合编码块提取到的多级语义信息。实验结果表明,所提模型在ISIC 2017数据集上测试所得的Dice系数分别高达89.55%,FPS高达83,与其他先进模型相比,本模型参数更少、推理速度更快、精度更高。