基于生成对抗网络的糖尿病视网膜病变眼底图像生成

目的利用计算机视觉算法自动生成各种类型的糖尿病视网膜病变(DR)眼底图像。方法提出一种基于生成对抗网络(GAN)的眼底图像生成方法。该方法以眼底图像的血管脉络图像和病灶点的文字描述作为生成的约束条件,对文字使用长短记忆网络(LSTM)进行编码,血管脉络图像用卷积神经网络(CNN)进行编码,对二者信息合并,再使用生成对抗网络生成眼底图像。结果模型生成的眼底图像中包含清晰的视盘、血管、黄斑等特征,但是由于文字编码的循环神经网络(RNN)损失函数不能很好地收敛,所以生成图像细节特征不明显。结论使用GAN可以生成逼真的DR眼底图像,在扩充医疗数据方面具有一定的应用价值,但在小区域细节特征的生成方面仍需改进。