基于条件残差生成对抗网络的风景图生成

风景图像的语义分割图中包含天空、白云、山川、树木、河流等大量类别信息,针对语义分割图中存在的信息类别过多、不同区域间的色彩变换不明显等问题,现有方法生成的风景图像在清晰度和真实性上效果并不理想。因此提出了一种基于条件残差生成对抗网络(CRGAN)方法,用于生成清晰度更高和内容更真实的风景图像。首先,优化生成器网络的上采样和下采样结构,提升生成器对语义分割图的特征提取效果。其次,在编码器和解码器之间使用跳跃连接传递语义分割图的特征信息,防止特征信息在编码器中传递丢失,保留特征信息的完整性。最后,在网络的编码器和解码器之间添加残差模块,以便更好地提取、传输和保留语义信息。此外,方法中采用均方差(MSE)提升语义分割图和生成图像之间的相似度。实验结果表明,相较于pix2pix和cyclegan方法,CRGAN生成的图像在FID指标中分别增加了26.769和119.333,有效提升了风景图像的清晰度和真实性。同时使用公共数据集验证了CRGAN的泛用性和有效性。