基于生成对抗网络的文本两阶段生成高质量图像方法

为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法(DFA-GAN).采用两阶段图像生成,以单级生成对抗网络(GAN)为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合.

基于生成对抗网络的时尚内容和风格迁移

生成对抗网络常常被用于图像着色、语义合成、风格迁移等图像转换任务,但现阶段图像生成模型的训练往往依赖于大量配对的数据集,且只能实现两个图像域之间的转换。针对以上问题,提出了一种基于生成对抗网络的时尚内容和风格迁移模型(content and style transfer based on generative adversarial network,CS-GAN)。该模型利用对比学习框架最大化时尚单品与生成图像之间的互信息,可保证在时尚单品结构不变的前提下实现内容迁移;通过层一致性动态卷积方法,针对不同风格图像自适应地学习风格特征,实现时尚单品任意风格迁移,对输入的时尚单品进行内容特征(如颜色、纹理)和风格特征(如莫奈风、立体派)的融合,实现多个图像域的转换。在公开的时尚数据集上进行对比实验和结果分析,该方法与其他主流方法相比,在图像合成质量、Inception score和FID距离评价指标上均有所提升。

基于改进生成对抗网络的图像风格迁移算法

图像风格迁移是图像处理领域的研究热点,但目前风格迁移模型存在生成图像细节模糊、风格纹理的色彩效果较差以及模型参数过多等问题。文中提出了一种基于改进循环一致性生成对抗网络的图像风格迁移方法,通过加入Ghost卷积模块和反残差改进模块来优化生成器网络结构,以此降低模型参数量和计算成本。同时能增强网络的特征提取能力,在损失函数中加入内容风格损失项、颜色重建损失项和映射一致性损失项来改善模型的生成能力,提升生成图像质量。实验结果表明,所提改进方法具有较强的风格迁移能力,有效增强了生成图像的内容细节和风格纹理的色彩效果,显著提升了图像质量,模型性能也得到了改善。

基于改进生成对抗网络的图像风格迁移方法研究

为了解决传统GAN(Generative Adversarial Network)进行图像风格迁移受到成对数据集的限制,以及CycleGAN学习高级特征时表现不佳和训练过慢的问题,本文采用ModileNetV2-CycleGAN模型进行图像风格迁移,并引入多尺度结构相似性指数(multi-scale structural similarity,MS-SSIM)作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。采用客观结构相似性SSIM与峰值信噪比PSNR和主观投票作为评估指标,对迁移后的效果进行评估,实验结果表明了本文改进算法的有效性。

融合上下文注意力的两段式生成对抗网络的肺结节图像生成与分类

提出一种融合上下文注意力的两段式生成对抗网络用于肺结节生成和分类。上下文注意力采用一种通道增强的多头上下文注意力机制,将通道注意力和多头上下文注意力结合,更好地处理特征图中的复杂语义关系,有效增强了模型的特征提取能力;两段式生成对抗网络框架用于实现肺结节在指定肺部区域的注入,该框架将生成任务分为两个阶段:第一阶段生成肺结节感兴趣区域图像,然后通过泊松融合模块与指定的肺实质进行融合,生成初始样本;第二阶段使用改进的CycleGAN模型对初始样本进行微调。同时,在判别器中引入跨层激励模块和辅助分类器实现对特征通道的再校正以及对肺结节的分类。在LIDC-IDRI数据集上进行实验验证,实验结果表明,所提方法在肺结节生成上的FID、IS和KID评分分别为115.153、2.619±0.095和0.062;在肺结节恶性度分类上准确率为70.23%,灵敏度、F1值和AUC分别为68.66%、68.92%和87.59%,表现出优于ADGAN等基于GAN的分类模型,以及VGG16等基准网络的性能。

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络(Cycle-GAN)在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制(SE-Net),利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习(CL),使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。

基于生成对抗网络的遥感影像色彩一致性方法

在遥感成像过程中易在拍摄影像内部、影像与影像之间产生亮度不均匀、色彩不一致的现象,通过人工借助图像处理软件进行色彩调节已经不能满足呈几何级数量增长的遥感影像调色需求,因此提出一种针对土地利用率高的复杂城区地物的融合注意力机制无监督循环一致生成对抗网络(channel attention-cycle generative adversarial networks,CA-CycleGAN)。首先,通过直方图调整和Photoshop等软件手工制作用于色彩参考的样本数据集,选择合适的城区影像数据作为待校正影像样本集,将2部分影像分别进行裁切,得到预处理后的影像样本集;然后,将处理好的待校正影像集和色彩参考影像集通过CA-CycleGAN中,由于在生成器中加入了注意力机制,因此在生成器与鉴别器相互对抗的训练过程中能够利用注意力特征图将生成的重点分配在重要的区域,提高生成影像效果,得到基于城区影像的色彩校正模型以及色彩校正后的影像图。影像校正效果和损失函数图表明,所提出的方法在循环一致生成对抗网络基础上做出了优化,加入注意力机制的生成对抗网络在调整影像色彩上的综合表现效果优于不加注意力机制的生成对抗网络。相较于传统方法大大减少了色彩校正的时间,对比人工调色增加了影像色彩校正效果的稳定性。证明所提出方法在遥感影像匀色工作中优势较明显,具有较好的应用前景。

基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构(UNet)进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。

基于循环一致性生成对抗网络的盆腔伪CT生成方法

目的:基于循环一致性生成对抗网络(CycleGAN),利用非配对患者盆腔部位数据,实现MRI和CT图像之间的相互转换,并对基于该模型生成的盆腔伪CT(sCT)进行精度和剂量性能的评估。方法:该CycleGAN网络包含两个生成器和两个判别器。先基于全卷积网络(FCNs)构建两个生成器,一个将2D盆腔MRI转换为2D盆腔sCT图像,另一个将CT图像转换为伪MRI(sMRI)图像。再基于FCNs构建两个判别器,用于对真实图像和生成的伪图像进行判别,提升生成图像的质量。为保证sCT图像与MRI图像的一致性,引入归一化互信息作为相似性约束损失项,对模型进行改进。训练集包括35例患者盆腔部位的T1-MRI图像和另外36例患者盆腔部位的CT图像,测试集包括10例盆腔部位患者的MRI和CT图像,评估方法包括sCT与CT图像的误差和放疗剂量伽马通过率。结果:对于测试集中所有病例,生成的sCT与真实CT图像之间的平均绝对误差(MAE)为35.537(±4.537)HU;基于体素的平均剂量差异最大为0.49%;以3%/3 mm、2%/2 mm和1%/1 mm为标准的平均伽马通过率分别高于99%、98%和95%。结论:使用CycleGAN网络和非配对患者训练数据可以生成准确且符合临床剂量精度要求的盆腔部位sCT图像。

基于循环一致生成对抗网络的地物主轮廓提取方法

遥感图像的地物轮廓提取在实际生产生活中有重要的意义。论文采用以深度残差网络作为生成器,深度卷积神经网络作为判别器,采用循环一致生成对抗网络的训练方式,训练出一个可以用来提取地物轮廓的生成网络。该训练方法可以不使用严格对齐的训练图对。论文采用了灰度图和梯度强度图作为生成器的输入,对比分析了两种输入方法的效果和性能,验证了网络的泛化能力。

基于循环一致生成对抗网络的多模态影像刚性配准

目的:采用循环一致生成对抗网络(CycleGAN)方法在保证医学影像刚性配准精度的同时,降低图像配准的时间以及训练数据获取难度。方法:首先对训练数据进行标准化与归一化,同时对图像进行重采样与剪裁,去除多余的空气部分。其次采用阈值法与扫描线法获取图像的外轮廓信息,基于CycleGAN建立两个生成器与两个判别器,生成器输入配准图像对和输出配准结果,判别器输入配准图像对和输出配准程度。在原始CycleGAN损失函数基础上,增加轮廓损失项,以约束网络训练方向,提高收敛速度。结果:选取75例腹部病例,其中65例作为训练数据集,10例作为测试数据集,配准结果与配准软件Elastix对比。计算测试图像集外轮廓Dice系数,配准前图像对的平均Dice系数为0.858,Elastix配准后的平均Dice系数为0.926,本方法配准后的平均Dice系数为0.925。配准时间上Elastix的平均配准时间为12.1 s,本研究方法的平均配准时间为0.04 s,加速比达到302。结论:本方法在保证图像配准精度的同时极大降低了图像配准所需的时间,提高了配准流程工作效率。除此之外,与其他深度学习网络相比,本方法不需要真实配准结果以及传统相似性测度。

基于约束性循环一致生成对抗网络的人脸表情识别方法

深度神经网络在表情分类识别中会由于样本数量不均衡,样本相似度高出现过拟合,导致识别结果不理想,而通过旋转变换、添加噪声等数据增强方法不能解决相似度较高的问题。为此,对循环一致生成对抗网络(Cycle-GAN)进行改进,通过引入类别约束性条件,构建一种基于约束性循环一致生成对抗网络(CCycle-GAN),实现了一对多的数据类别映射,减少了模型训练开销;同时,为了提高人脸表情识别效率,对Cycle-GAN判别器进行改进,用一个辅助表情分类器替换循环一致生成对抗网络的判别器,不仅可以判断输入图像的真假,而且可以对表情进行分类。在CK+和FER2013数据集上的实验结果表明,该方法可以有效地解决神经网络中的过拟合和样本不均问题,提高了表情样本生成质量,进而提高了人脸表情识别率。

SealGAN:基于生成式对抗网络的印章消除研究

发票是财务系统的重要组成部分.随着计算机视觉和人工智能技术的发展,出现了各种发票自动识别系统,但是发票上的印章严重影响了识别准确率.本文提出了一种用于自动消除发票印章的SealGAN网络. SealGAN网络是基于生成式对抗网络CycleGAN的改进,采用两个独立的分类器来取代原本的判别网络,从而降低单个分类器的分类要求,提高分类器的学习性能,并且结合ResNet和Unet两种结构构建下采样-精炼-上采样的生成网络,生成更加清晰的发票图像.同时提出了基于风格评价和内容评价的综合评价指标对SealGAN网络进行性能评价.实验结果表明,与CycleGAN-ResNet和CycleGAN-Unet网络相比较, SealGAN网络不仅能实现自动消除印章,而且还能更加清晰地保留印章下的发票内容,网络性能评价指标较高.

基于循环一致性对抗网络的油画风格迁移技术的研究

图像到图像的风格迁移工作在现实生活中有着广泛应用,而手工创意油画风格作品耗时耗力,同时这种传统方法最大的缺陷就是容错率低、创新性不强。主要通过优化循环一致性对抗网络(CycleGAN)来实现针对风景图片对油画风格的迁移,该网络加入了双向生成的结构解决了图像单向迁移的弊端。在传统GAN(Generative Adversarial Network)的基础上对超参进行优化,生成器和判别器两大模块互相博弈学习训练风格领域图片,提取关键特征对原始风景图片进行油画风格迁移处理,经在油画数据集测试,优化的生成对抗网络模型和实验方法在传统方法上能明显提高拟合度和迁移效果,生成创新性更高的图片。

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。

多时相遥感影像语义分割色彩一致性对抗网络

利用深度卷积神经网络智能化地提取遥感图像中的建筑物对于数字城市构建、灾害侦查、土地管理等具有重要意义。多时相遥感图像之间的色彩差异会导致建筑物语义分割模型泛化能力下降。针对此,本文提出了注意力引导的色彩一致生成对抗网络(attention-guided color consistency adversarial network,ACGAN)。该算法以参考色彩风格图像及相同区域、不同时相的待纠正图像作为训练集,采用加入了U型注意力机制的循环一致生成对抗网络训练得到色彩一致模型。在预测阶段,该模型将待纠正图像的色调转换为参考色彩风格图像的色调,这一阶段基于深度学习模型的推理能力,而不再需要相应的参考色彩风格图像。为了验证算法的有效性,首先,将本文算法与传统的图像处理算法及其他循环一致生成对抗网络做了对比试验。结果表明,ACGAN色彩一致后的图像与参考色彩风格图像的色调更加相似。其次,将以上不同的色彩一致性算法处理后的结果图像进行建筑物语义分割试验,证明本文方法更加有利于多时相遥感图像语义分割模型泛化能力的提升。

采用双框架生成对抗网络的图像运动模糊盲去除

传统运动模糊盲去除方法需先预测模糊图像的模糊核,再复原清晰图像。而实际环境中的复杂的模糊核使此方法不能在视觉上很好地减小实际图像和复原后图像的差异,且直接将现流行的生成对抗模型应用在图像模糊盲去除任务中会有严重的模式崩塌现象。因此,围绕去模糊任务的特点提出了一种端到端的生成对抗网络模型--双框架生成对抗网络。该方案不需要预测模糊核,直接实现图片运动模糊的盲去除。双框架生成对抗网络在原有CycleGan基础上将其网络结构和损失函数均作出了改进,提高了运动图像盲去除的精度,并且在样本有限情况下大幅度增强了网络的稳定性。实验采用最小均方差优化网络训练,最后通过生成网络和判别网络对抗训练获得清晰图像。在ILSVRC2015 VID数据集上的实验结果表明,该方法复原质量更高,且复原结果在后续目标检测任务中达到了更优的效果。

基于注意力机制生成对抗网络的图像去雾

为了解决图像去雾方法中大气散射模型先验知识不完备和实际成对图像数据集缺乏导致的去雾效果欠佳的问题,提出了一种基于注意力机制的循环一致性生成对抗网络(based on attention mechanism cycle-consistent generative adversarial networks,A-CycleGAN)的图像去雾方法。利用循环一致性生成对抗网络(cycle-consistent generative adversarial networks,CycleGAN)方法的约束转移学习能力和循环结构完成非成对图像的无监督去雾任务。考虑实际成像中雾分布的复杂性,结合人类视觉特征,在网络中融入通道注意力机制和区域注意力机制,非均匀地处理不同特征和不同区域。实验结果表明,所提方法在合成图像数据集和真实含雾图像数据集上都取得了较好结果。

基于条件梯度Wasserstein生成对抗网络的图像识别

生成式对抗网络GAN功能强大,但是具有收敛速度慢、训练不稳定、生成样本多样性不足等缺点;该文结合条件深度卷积对抗网络CDCGAN和带有梯度惩罚的Wasserstein生成对抗网络WGAN-GP的优点,提出了一个混合模型-条件梯度Wasserstein生成对抗网络CDCWGAN-GP,用带有梯度惩罚的Wasserstein距离训练对抗网络保证了训练稳定性且收敛速度更快,同时加入条件c来指导数据生成;另外为了增强判别器提取特征的能力,该文设计了全局判别器和局部判别器一起打分,最后提取判别器进行图像识别;实验结果证明,该方法有效的提高了图像识别的准确率。

基于双专用注意力机制引导的循环生成对抗网络

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块,在无匹配图像转换任务中取得了较好的效果,但同时也增加了模型复杂度与训练时间,而且难以关注到图中关键区域的所有细节,图像生成效果仍有提升的空间。针对上述问题,提出一种基于双专用注意力机制引导的循环生成对抗网络(Dual-SAG-CycleGAN),分别对生成器和判别器采用不同的注意力机制进行引导。首先,提出一种名为SAG(Special Attention-mechanism Guided)的专用注意力模块来引导生成器工作,在提升生成图像质量的同时降低网络的复杂度;然后,对判别器采用基于CAM(Class Activation Mapping)的专用注意力机制引导模块,抑制生成器生成无关的噪声;最后,提出背景掩码的循环一致性损失函数,引导生成器生成更加精准的掩码图,更好地辅助图像转换。实验证明,本文方法与现有同类模型相比,网络模型参数量降低近32.8%,训练速度快34.5%,KID与FID最低分别可达1.13和57.54,拥有更高的成像质量。