基于改进循环对抗网络的异质人脸合成配准

针对异质人脸合成问题,根据生成对抗网络在图像合成问题中的优势,将改进的循环生成对抗网络(CycleGAN)应用于异质人脸的合成研究当中。该方法可以降低不同模态人脸图像之间因为特征结构不同导致合成困难的问题。收集照片和素描两种模态的人脸数据,在两种模态之间使用循环对抗网络进行图像生成,实现两种模态之间的转换。利用最小二乘损失函数和Smooth损失函数对原网络目标函数进行改进,可以提高训练过程的稳定性,改善图片的合成质量,分析权重系数的作用。实验结果表明,合成质量和精度较原算法均有所提高。

基于循环生成对抗网络的逆时偏移成像结果优化

在常规逆时偏移方法基础上,通过引入循环生成对抗网络(CycleGAN)发展一种基于循环生成对抗网络的逆时偏移成像结果优化方法。首先构建包含两个生成器和两个判别器的CycleGAN。在对抗损失、循环一致性损失函数的基础上,添加身份损失函数,以避免训练过度;然后,组建样本集来训练网络,使其学习常规逆时偏移成像结果和最小二乘逆时偏移成像结果之间的映射关系;最后,利用其他合成数据和实际资料测试网络效果。结果表明,提出的基于循环生成对抗网络的逆时偏移成像结果优化方法在获得高精度、高信噪比成像结果的同时有效地提高了计算效率。

基于循环生成对抗网络和Transformer的单幅图像去雾算法

针对传统去雾算法在配对数据集上训练时产生过拟合的问题,基于密度和深度分解的非配对图像去雾网络模型,改进了自增强缩放网络。引入Transformer机制,将其与深度卷积神经网络模块深度融合,提出了一种使用未配对数据集训练的基于循环生成对抗网络和Transformer的CT-Nets图像去雾算法;提取输入图像的深度信息和散射系数特征值,利用大气散射模型尽可能恢复不同场景下真实雾的浓度信息,以提高去雾图像主观视觉质量;基于Swin-Transformer设计自增强精化层,以获得精细的细粒度信息,提高模型泛化能力和最终预测图像真实性。实验结果表明,相较于基于密度和深度分解的非配对图像去雾网络模型,CT-Nets图像去雾算法的峰值信噪比和结构相似性分别提升4%和4.1%。

基于循环生成对抗网络的增强罗兰信号生成

在信号生成算法中,需要大量标记信号样本用于网络训练,但通常携带电文信息标记的信号难以批量获取。针对此问题本文提出一种基于循环生成对抗网络和迁移学习的方法,实现了无需大量信号及对应电文作为标记的增强罗兰信号生成,并使用迁移学习在少量实测信号情况下快速生成。循环生成对抗网络的结构包括两个生成器和两个判别器,利用无需一一对应的增强罗兰信号和电文数据集,使生成器学习到两个数据集之间的相互转换关系,实现输入电文数据可以生成与之相对应的增强罗兰信号,并且针对增强罗兰信号的特性,使用一维卷积、残差网络、自注意力机制对网络模型进行改进。实验证实,生成信号与实测数据的均方误差为0.0153,平均皮尔逊相关系数为0.9843,且所含电文信息准确率为99.02%。本文在PSK、ASK、FSK数据集上验证了算法,实验结果表明生成的信号满足预期,为未知参数的信号调制和解调提供一种新的思路。

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络模型的方法研究了非配对低照度图像增强的实现。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效地处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力。同时引入身份一致性损失函数,提高图像质量。结果表明,相较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高,可见本文改进模型的有效性。

基于生成对抗网络的植物景观生成设计——以花境平面图生成为例

【目的】植物景观设计需要科学性和技术性兼备。探索人工智能,特别是生成对抗网络(generative adversarial network,GAN)在植物景观设计中的应用,能够帮助设计师提高设计过程的效率。【方法】以花境平面图生成设计为例,建立了基于细致筛选优化的植物平面数据集。数据集标注基于植物分类,考虑了植物的种类、搭配原则及空间布局规律。引入循环生成对抗网络(cycle generative adversarial network,CycleGAN)模型对数据集进行学习,实现花境平面设计的自动生成。【结果】CycleGAN模型在以花境为代表的植物景观设计中具有独特的优势,花境平面图生成模型能够准确识别条形场地边界,并在色彩再现方面表现出较高的精度和可识别性。生成平面图的空间布局中,色块大小、平面布局形态和位置展示了各种植物的空间分布特点,并能够复现部分潜在搭配组合,生成了符合美学和生态原则的设计方案。然而,模型在部分场地边框的准确识别和设计结果的多样性方面仍存在局限。【结论】证明了CycleGAN在植物景观设计领域的应用潜力,并为实践中的植物景观设计提供了创新和有效的解决方案。

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。

基于循环生成对抗网络的人脸素描合成

针对当前卷积神经网络通常以降低感受野为条件获得多尺度图像特征,以及很难捕获各特征通道之间重要关系的问题,结合循环生成对抗网络结构的特点提出一种新的多尺度自注意力机制的循环生成对抗网络.首先,在生成器中使用VGG16模块组成U-Net结构网络,以增强对图像特征信息的提取,同时对网络中的下采样和上采样进行改进,以提高特征分辨率,获取更多的细节信息;其次,设计多尺度特征聚合模块,采用不同采样率的多个并行空洞卷积,整合了不同尺度上的空间信息,在保持图像较大感受野的同时,多比例地捕捉图像信息;最后,为捕获空间维度和通道维度中的特征依赖关系,设计像素自注意力模块对空间维度和通道维度上的语义依赖关系进行建模,以增强图像特征的表现能力,提高生成素描图像的质量.

基于循环生成对抗网络的机器翻译方法研究

近几年来,智能语言处理在语言学习方面已经得到了广泛的应用,但是由于在处理语言中往往会存在网络模型优化困难、强制对其的标记数据会出现精度偏差,与以往大多数使用判别模型结合HMM混合模型进行声学模型训练的系统相比,本文提出了一种基于循环生成对抗网络的机器翻译方法,该方法主要结合生成对抗网络来训练机器翻译模型.首先,将一段语音输入神经机器翻译模块进行离散,预先变换得到MFCC特征;然后,将经过预处理的语音输入到特征提取模块并结合长时短时记忆网络循环提取语音特征;最后,将网络模型输出的语音与人工翻译的语音进行对比,并判别网络模型输出的语音特征与人工翻译的语音是否匹配,如果不匹配则继续优化生成网络.实验结果表明,我们的网络与传统的高斯核混合模型相比有明显的提升.本文方法在CSDN口令集、Rockyou口令集、Tianya口令集和Yahoo口令集中均取得了优越的结果,其中在Yahoo口令集中单词错误率降至19.5%.

基于循环生成对抗网络的超分辨率重建算法研究

为了提高图像超分辨率重建的效果,该文将注意力机制引入多级残差网络(Multi-level Residual Attention Network,MRAN)作为CycleGAN的重建网络,提出了基于循环生成对抗网络(CycleGAN)的超分辨率重建模型MRA-GAN。MRA-GAN模型中重建网络负责将低分辨率(LR)图像重建为高分辨率(HR)图像,退化网络负责将HR图像降采样为LR图像,LR判别器负责鉴别真实LR图像和通过退化网络降采样得到的LR图像,HR判别器负责鉴别真实HR图像和通过重建网络重建得到的HR图像,并且改进了CycleGAN原有的判别器判别方式和损失函数。实验结果验证了MRA-GAN模型与现有算法相比,在峰值信噪比(PSNR)和结构相似性(SSIM)等指标上都有所改进。

一种基于循环生成式对抗网络的去雾算法

针对现有基于学习的去雾算法在处理过程中需要成对的数据来训练网络参数的问题,提出了一种基于循环生成式对抗网络的去雾算法.该算法通过使用编码器-解码器(Encoder-Decoder,ED)体系结构来构建生成器网络,然后采用一种不成对的图像训练方法来训练网络参数,估计出传输图,最后根据估计的传输图和大气光值,利用光学模型恢复出无雾清晰图像.实验结果表明:对于室内、外有雾图像,本文提出的方法可以在不发生任何颜色失真的情况下恢复无雾场景,而且相对于其他方法,该方法在多个评价指标上都有明显的性能优势.

基于改进循环生成式对抗网络的图像去雾方法

针对现有图像去雾方法存在的颜色失真、细节丢失以及去雾效果不自然等问题,提出一种改进的循环生成式对抗网络用于图像去雾。通过添加多尺度鉴别器作为判别器来改进原始网络结构,增强判别能力,引导网络产生更精细自然的无雾图像。同时重新设计损失函数,使用最小二乘代替交叉熵作为对抗损失,引入循环感知损失,结合原始循环一致性损失组成新的复合损失函数,提高图像颜色与细节恢复的质量。在D-HAZY和SOTS数据集上的实验结果表明:该方法能够生成较为自然的无雾图像,其主观效果和客观指标均优于对比方法,具有更好的去雾能力;与原始循环生成式对抗网络相比,峰值信噪比从19.052 dB提高至23.128 dB,结构相似性指数从0.787提高至0.867。与DehazeNet、AOD-Net与GCANet等主流去雾方法相比,峰值信噪比和结构相似性指数比排名第二的方法分别提升7.1%和4.3%。

基于循环一致性对抗网络的油画风格迁移技术的研究

图像到图像的风格迁移工作在现实生活中有着广泛应用,而手工创意油画风格作品耗时耗力,同时这种传统方法最大的缺陷就是容错率低、创新性不强。主要通过优化循环一致性对抗网络(CycleGAN)来实现针对风景图片对油画风格的迁移,该网络加入了双向生成的结构解决了图像单向迁移的弊端。在传统GAN(Generative Adversarial Network)的基础上对超参进行优化,生成器和判别器两大模块互相博弈学习训练风格领域图片,提取关键特征对原始风景图片进行油画风格迁移处理,经在油画数据集测试,优化的生成对抗网络模型和实验方法在传统方法上能明显提高拟合度和迁移效果,生成创新性更高的图片。

基于循环生成对抗网络的鼻咽癌CBCT图像修正

目的:利用循环生成对抗网络模型(CycleGAN)进行锥形束CT(CBCT)图像迁移,生成伪CT(sCT)图像,从而实现CBCT图像的HU值矫正。方法:回顾性分析在福建省肿瘤医院行放射治疗的鼻咽癌患者39例,所有患者均接受临床CT与CBCT扫描。以CBCT图像为基准,采用刚性配准算法对临床CT和CBCT进行配准,获得重采样计划CT(pCT)。经阈值分割及形态学处理获取配对影像的外轮廓内部区域作为掩膜,对配对影像进行掩膜操作及归一化预处理。建立CycleGAN神经网络,训练sCT生成模型。基于体素点计算平均绝对误差(MAE)和平均误差(ME),用于比较测试集sCT与pCT之间的差异。结果:测试集的sCT图像与pCT图像相比较,在体外轮廓内的MAE和ME分别为(99.00±15.37)HU和(-24.00±12.64)HU;软组织区域的MAE和ME分别为(48.00±7.45)HU和(-7.00±8.96)HU。结论:CycleGAN能修正CBCT图像的HU值,迁移生成的sCT图像具有与pCT图像近似的HU值及平滑性,可用于放射治疗剂量计算。

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。

基于循环对抗生成网络的胸部锥形束CT校正及剂量计算准确性

目的:采用循环对抗生成网络算法建立胸部锥形束CT(CBCT)校正模型,探讨该模型用于提升CBCT质量的可行性,评估校正的CBCT(CCBCT)用于剂量计算的准确性。方法:选择食管癌或肺癌患者已配准的CBCT和定位CT70例,随机选取其中60例作为训练集,用来训练循环对抗生成网络,生成CBCT的校正模型。剩余10例作为测试集,对CBCT、CCBCT和定位CT之间的CT值平均绝对误差、峰值信噪比、归一化互相关进行统计学分析。将原调强计划(CTPlan)移植到CCBCT上,生成CCBCTPlan,以CTPlan剂量分布为参考,对CCBCTPlan进行三维剂量γ分析。结果:CBCT经校正后散射伪影显著减少,CT值平均绝对误差降低了52.74%±6.47%,峰值信噪比和归一化互相关分别提高了7.95%±3.56%和1.68%±3.38%,差异均有统计学意义(t=18.47、-7.31、-6.77,P<0.05)。在2mm/2%、2mm/1%和1mm/1%条件下,CCBCTPlan三维剂量平均γ通过率分别为99.16%±0.34%、98.01%±0.72%、93.95%±1.62%。结论:基于循环对抗生成网络构建的CBCT影像校正模型用于提升CBCT影像质量是可行的,经校正的胸部CBCT可用于放疗剂量计算,为CBCT用于自适应放疗剂量计算奠定基础。

基于循环生成对抗网络的壁画色彩修复算法

针对敦煌唐代壁画修复所面临的褪、变色以及修复后的壁画图像色彩存在假色和伪影的问题,提出基于循环生成对抗网络和多尺度融合协调注意力机制的壁画色彩修复算法。首先在循环一致性损失中添加同一映射损失,然后改进协调注意力机制,提出多尺度融合的协调注意力机制,最后在生成器中引入多尺度融合的协调注意力机制,对图像进行卷积核大小为1×1、3×3、5×5、7×7的多尺度卷积运算,提高生成图像的协调性。实验结果表明,与CycleGAN、WGAN等经典算法相比,本文算法在构造的壁画数据集上精度更高,可以在不依赖专家知识的情况下修复褪色壁画图像的颜色。

基于循环对抗神经网络的快速最小二乘逆时偏移成像方法

最小二乘逆时偏移成像方法因计算量巨大,限制了其大规模的工业应用。基于此,建立循环对抗神经网络表征Hessian矩阵的逆,构建逆时偏移结果和反射系数之间的映射关系。通过建立的神经网络对逆时偏移成像结果进行去模糊化处理,提高成像质量,同时大幅减少计算时间。将训练好的网络应用于Marmousi模型和Sigsbee2A模型的逆时偏移结果。结果表明,本文方法在不显著增加计算量的情况下较好地提高了逆时偏移成像质量。

循环生成对抗网络基于颅脑MR图生成伪CT图模型

目的采用改进循环生成对抗网络(UCycleGAN)基于颅脑MR图映射模型生成伪CT图。方法对50例鼻咽癌颅脑MR图与CT图进行配准及预处理;以U-net网络并添加L1距离函数替换原始循环GAN(CycleGAN)模型生成器的深度残差网络。随机选取40例图像作为训练数据对UCycleGAN模型进行训练,将剩余10例用于测试;比较生成伪CT图与原始图像质量的差异,并与以ResNet、U-net的CycleGAN以及Pix2Pix生成的图像进行对比。结果相比其他模型,以UCycleGAN模型生成的伪CT图与原始CT图更为接近,体素平均绝对误差(MAE)为(81.45±3.87)HU,峰值信噪比(PSNR)为(34.13±3.28)dB,结构相似性(SSIM)为0.87±0.03。采用UCycleGAN模型生成的伪CT图的MAE小于、而SSIM明显大于其他3种模型(P均<0.05);UCycleGAN伪CT图的PSNR大于CycleGAN_ResNet图像(P<0.05)。结论利用UCycleGAN可基于颅脑MR图生成伪CT图;改良后CycleGAN模型的准确性更高。

基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构(UNet)进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。