近年来,虽然基于生成对抗网络(generative adversarial networks,GAN)的文本生成图像问题取得了很大的突破,它可以根据文本的语义信息生成相应的图像,但是生成的图像结果通常缺乏具体的纹理细节,并且经常出现模式崩塌、缺乏多样性等问...近年来,虽然基于生成对抗网络(generative adversarial networks,GAN)的文本生成图像问题取得了很大的突破,它可以根据文本的语义信息生成相应的图像,但是生成的图像结果通常缺乏具体的纹理细节,并且经常出现模式崩塌、缺乏多样性等问题。针对以上问题,提出一种针对生成对抗网络的行列式点过程(determinant point process for generative adversarial networks,GAN-DPP)方法来提高模型生成样本的质量,并使用StackGAN++、ControlGAN两种基线模型对GAN-DPP进行实现。在训练过程中,该方法使用行列式点过程核矩阵对真实数据和合成数据的多样性进行建模,并通过引入无监督惩罚损失来鼓励生成器生成与真实数据相似的多样性数据,从而提高生成样本的清晰度及多样性,减轻模型崩塌等问题,并且无需增加额外的训练过程。在CUB和Oxford-102数据集上,通过Inception Score、Fréchet Inception Distance分数、Human Rank这3种指标的定量评估,证明了GAN-DPP对生成图像多样性与质量提升的有效性。同时通过定性的可视化比较,证明使用GAN-DPP的模型生成的图像纹理细节更加丰富,多样性显著提高。展开更多
文摘近年来,虽然基于生成对抗网络(generative adversarial networks,GAN)的文本生成图像问题取得了很大的突破,它可以根据文本的语义信息生成相应的图像,但是生成的图像结果通常缺乏具体的纹理细节,并且经常出现模式崩塌、缺乏多样性等问题。针对以上问题,提出一种针对生成对抗网络的行列式点过程(determinant point process for generative adversarial networks,GAN-DPP)方法来提高模型生成样本的质量,并使用StackGAN++、ControlGAN两种基线模型对GAN-DPP进行实现。在训练过程中,该方法使用行列式点过程核矩阵对真实数据和合成数据的多样性进行建模,并通过引入无监督惩罚损失来鼓励生成器生成与真实数据相似的多样性数据,从而提高生成样本的清晰度及多样性,减轻模型崩塌等问题,并且无需增加额外的训练过程。在CUB和Oxford-102数据集上,通过Inception Score、Fréchet Inception Distance分数、Human Rank这3种指标的定量评估,证明了GAN-DPP对生成图像多样性与质量提升的有效性。同时通过定性的可视化比较,证明使用GAN-DPP的模型生成的图像纹理细节更加丰富,多样性显著提高。
