基于CartoonGan的改进卡通化图片生成方法

文章提出了一种改进的卡通图像生成网络模型,旨在增强卡通效果的同时保留语义信息。首先,设计一个显著性网络,为了防止过拟合问题以及进一步提取特征,在显著性网络上添加残差结构构成残差显著性网络,并将其拼接到CartoonGan上用来保留语义信息;其次,在前者基础上添加cbam注意力机制进一步提高卡通化效果;最后,在训练过程中为了防止训练不稳定和梯度消失使用最小二乘损失来替换交叉熵损失,并且引入显著性损失来约束显著性网路的训练。实验表明,通过在宫崎骏和新海诚两个画风的卡通数据集上进行测试,使用FID测试指标显示在两个数据集上都有一定的优化。

基于生成对抗网络的动漫风格迁移

针对目前生成动画图像质量较低、内容失真、视觉效果有待进一步提升等问题,本文在Generative Adversarial Networks for Photo Cartoonization(CartoonGAN)网络的基础上提出了一种动漫风格迁移的网络模型。首先通过引入预训练模型ResNet-101对内容损失函数进行训练,加快训练速度的同时保证真实图片内容的完整性;然后在生成器模块加入激励挤压模块(SE-Block),实现在特征提取中保留空间特征和通道特征,使得生成的图片更易被判别器区分,从而更好地训练判别器。最后,进行了定性比较和定量分析,结果表明本文所提算法能够有效提升训练速度、提高漫画图像生成质量和增强图像的抽象感,且IS、FID的得分分别为11.2和86。

新的基于GAN的局部写实感漫画图像风格迁移

利用生成对抗网络对图像进行风格迁移,将真实世界的图像直接转换为高品质动漫风格,是当今计算机视觉的研究热点之一。针对目前流行的AnimeGAN和CartoonGAN漫画生成对抗网络在图像迁移中存在细节丢失严重、色彩失真等问题。通过引入SE-Residual Block(挤压激励残差块)、漫画脸部检测机制并优化损失函数提出全新的ExpressionGAN解决了AnimeGAN迁移图像细节丢失严重的问题。通过加入DSConv(分布偏移卷积)提出Scenery-GAN加快了训练速度并消除了CartoonGAN迁移图像中的歧义像素块。通过卷积优化了图像的融合边界。同时,提出了一种新的对原始图像人物和环境分别处理并融合的局部写实主义漫画模型。实验结果表明,与AnimeGAN和CartoonGAN相比,该方法在训练速度、漫画图像生成质量和图像局部写实感方面都有了明显的提升。