SwinEA:融合边缘感知的医学图像分割网络

基于卷积神经网络的方法在医学图像分割任务中取得了显著成果,但该方法固有的归纳偏置使其不能很好地学习全局和长距离的语义信息交互,而Transformer的优势是关注全局信息,两者可以优势互补。因此提出一种针对分割边缘利用Swin Transformer融合边缘感知的医学图像分割网络。设计基于上下文金字塔的边缘感知模块,用于融合全局的多尺度的上下文信息,针对边缘和角落等局部特征,利用浅层深度主干的特征产生丰富的边缘特征,因此提出的边缘感知模块可以尽可能多地产生边缘特征。在腹部多器官分割任务和心脏分割数据集的实验结果表明,该方法在各项指标中都有所提高。

基于生成对抗网络的图像修复算法

为了获得更好的图像修复效果,提出了一种基于生成对抗网络的图像修复算法。该算法能在图像像素大量缺失的情况下复原图像,并且更加关注提升修复区域的连续性以及局部一致性。首先使用金字塔上下文编码器对上下文语义进行编码得到潜在特征图;然后通过注意力转移网络学习缺失区域内外的亲和性,再通过加权赋值的方式,将注意力评分转移到潜在特征图中的填充区域,形成重建特征图;接下来将潜在特征图和对应的重建特征图进行跳跃连接,并将其输入到多尺度译码器中生成修复图像;最后通过全局局部一致的鉴别网络来区分真实图像和修复图像。实验结果表明,所提算法在PSNR和SSIM评价指标值均有所提升的同时L1 loss评价指标值有所降低,修复后的图像更接近于真实图像。