基于生成对抗网络的乳腺癌免疫组化图像生成

乳腺癌是一种凶险的恶性肿瘤,医学上需要根据人表皮生长因子受体2(HER2)水平来判断乳腺癌的侵袭性,从而制定治疗方案,这就需要对组织切片进行免疫组化(IHC)染色。为了解决IHC染色昂贵且费时的问题,首先,提出一种基于混合注意力残差模块的HER2预测网络,在残差模块中加入了CBAM模块,使得网络能够在空间、通道维度上更有侧重性地学习。预测网络能够由HE染色切片直接预测HER2水平,并且预测准确率达到97.5%以上,对比其他网络提升了2.5个百分点以上。随后提出一种多尺度生成对抗网络,使用引入混合注意力残差模块的ResNet-9blocks作为生成器,PatchGan作为判别器,并自定义多尺度损失函数。生成对抗网络可以由HE染色切片直接生成模拟IHC染色切片,在低HER2水平下生成的图像与真实图像的SSIM为0.498,PSNR为24.49 dB。