基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构(UNet)进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。

基于循环生成对抗网络的逆时偏移成像结果优化

在常规逆时偏移方法基础上,通过引入循环生成对抗网络(CycleGAN)发展一种基于循环生成对抗网络的逆时偏移成像结果优化方法。首先构建包含两个生成器和两个判别器的CycleGAN。在对抗损失、循环一致性损失函数的基础上,添加身份损失函数,以避免训练过度;然后,组建样本集来训练网络,使其学习常规逆时偏移成像结果和最小二乘逆时偏移成像结果之间的映射关系;最后,利用其他合成数据和实际资料测试网络效果。结果表明,提出的基于循环生成对抗网络的逆时偏移成像结果优化方法在获得高精度、高信噪比成像结果的同时有效地提高了计算效率。

基于循环卷积生成对抗网络的风机齿轮箱故障诊断

风机齿轮箱是风力涡轮传动系统中的关键部分,其故障发生随机、故障样本数量不足,严重影响故障诊断的准确性。针对此问题,提出一种基于循环卷积生成对抗网络的风机齿轮箱故障诊断方法。首先,构建基于循环卷积生成对抗网络的样本生成模型,利用卷积网络和循环网络作为生成器增强样本间的时间相关性;借助Wasserstein距离与梯度惩罚项改进目标函数,并通过博弈对抗机制优化生成器和判别器,提高模型的泛化能力。然后,结合真实样本和生成样本,设计基于堆叠去噪自编码器的故障诊断方法,实现齿轮箱的故障诊断。最后,利用风力涡轮传动系统数据集验证所提出的风机齿轮箱故障诊断方法的性能。结果显示,所提方法能够有效平衡故障样本数据集,进一步提高风机齿轮箱故障诊断的准确率。

联合学习透射图和去雾图的条件生成对抗网络

针对雾霾天气拍摄的图片质量大幅下降的问题,基于经典的大气散射模型提出了一种新的多任务学习方法,以端到端的方式联合学习透射图和去雾图像。该网络框架是基于一种新的双重条件生成对抗网络,由两个改进的条件生成对抗网络(CGAN:Conditional Generative Adversarial Network)堆叠组成,即将有雾图像输入第1阶段CGAN估计透射图,然后将预测的透射图和有雾图像输入第2阶段CGAN,通过第2个生成器恢复出对应的无雾图像。为改善输出图像的颜色失真和边缘模糊问题,设计了联合损失函数,提高图像转化的质量。在合成和真实数据集上与多种去雾方法进行定性和定量实验比较,结果表明,该方法输出的无雾图像具有更好的视觉效果,其结构相似性和峰值信噪比的值分别达到了0.985和32.880 dB。

基于循环生成对抗网络和Transformer的单幅图像去雾算法

针对传统去雾算法在配对数据集上训练时产生过拟合的问题,基于密度和深度分解的非配对图像去雾网络模型,改进了自增强缩放网络。引入Transformer机制,将其与深度卷积神经网络模块深度融合,提出了一种使用未配对数据集训练的基于循环生成对抗网络和Transformer的CT-Nets图像去雾算法;提取输入图像的深度信息和散射系数特征值,利用大气散射模型尽可能恢复不同场景下真实雾的浓度信息,以提高去雾图像主观视觉质量;基于Swin-Transformer设计自增强精化层,以获得精细的细粒度信息,提高模型泛化能力和最终预测图像真实性。实验结果表明,相较于基于密度和深度分解的非配对图像去雾网络模型,CT-Nets图像去雾算法的峰值信噪比和结构相似性分别提升4%和4.1%。

基于循环生成对抗网络的增强罗兰信号生成

在信号生成算法中,需要大量标记信号样本用于网络训练,但通常携带电文信息标记的信号难以批量获取。针对此问题本文提出一种基于循环生成对抗网络和迁移学习的方法,实现了无需大量信号及对应电文作为标记的增强罗兰信号生成,并使用迁移学习在少量实测信号情况下快速生成。循环生成对抗网络的结构包括两个生成器和两个判别器,利用无需一一对应的增强罗兰信号和电文数据集,使生成器学习到两个数据集之间的相互转换关系,实现输入电文数据可以生成与之相对应的增强罗兰信号,并且针对增强罗兰信号的特性,使用一维卷积、残差网络、自注意力机制对网络模型进行改进。实验证实,生成信号与实测数据的均方误差为0.0153,平均皮尔逊相关系数为0.9843,且所含电文信息准确率为99.02%。本文在PSK、ASK、FSK数据集上验证了算法,实验结果表明生成的信号满足预期,为未知参数的信号调制和解调提供一种新的思路。

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络模型的方法研究了非配对低照度图像增强的实现。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效地处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力。同时引入身份一致性损失函数,提高图像质量。结果表明,相较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高,可见本文改进模型的有效性。

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络(Cycle-GAN)在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制(SE-Net),利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习(CL),使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。

基于循环一致性生成对抗网络的盆腔伪CT生成方法

目的:基于循环一致性生成对抗网络(CycleGAN),利用非配对患者盆腔部位数据,实现MRI和CT图像之间的相互转换,并对基于该模型生成的盆腔伪CT(sCT)进行精度和剂量性能的评估。方法:该CycleGAN网络包含两个生成器和两个判别器。先基于全卷积网络(FCNs)构建两个生成器,一个将2D盆腔MRI转换为2D盆腔sCT图像,另一个将CT图像转换为伪MRI(sMRI)图像。再基于FCNs构建两个判别器,用于对真实图像和生成的伪图像进行判别,提升生成图像的质量。为保证sCT图像与MRI图像的一致性,引入归一化互信息作为相似性约束损失项,对模型进行改进。训练集包括35例患者盆腔部位的T1-MRI图像和另外36例患者盆腔部位的CT图像,测试集包括10例盆腔部位患者的MRI和CT图像,评估方法包括sCT与CT图像的误差和放疗剂量伽马通过率。结果:对于测试集中所有病例,生成的sCT与真实CT图像之间的平均绝对误差(MAE)为35.537(±4.537)HU;基于体素的平均剂量差异最大为0.49%;以3%/3 mm、2%/2 mm和1%/1 mm为标准的平均伽马通过率分别高于99%、98%和95%。结论:使用CycleGAN网络和非配对患者训练数据可以生成准确且符合临床剂量精度要求的盆腔部位sCT图像。

基于循环一致生成对抗网络的地物主轮廓提取方法

遥感图像的地物轮廓提取在实际生产生活中有重要的意义。论文采用以深度残差网络作为生成器,深度卷积神经网络作为判别器,采用循环一致生成对抗网络的训练方式,训练出一个可以用来提取地物轮廓的生成网络。该训练方法可以不使用严格对齐的训练图对。论文采用了灰度图和梯度强度图作为生成器的输入,对比分析了两种输入方法的效果和性能,验证了网络的泛化能力。

基于循环一致生成对抗网络的多模态影像刚性配准

目的:采用循环一致生成对抗网络(CycleGAN)方法在保证医学影像刚性配准精度的同时,降低图像配准的时间以及训练数据获取难度。方法:首先对训练数据进行标准化与归一化,同时对图像进行重采样与剪裁,去除多余的空气部分。其次采用阈值法与扫描线法获取图像的外轮廓信息,基于CycleGAN建立两个生成器与两个判别器,生成器输入配准图像对和输出配准结果,判别器输入配准图像对和输出配准程度。在原始CycleGAN损失函数基础上,增加轮廓损失项,以约束网络训练方向,提高收敛速度。结果:选取75例腹部病例,其中65例作为训练数据集,10例作为测试数据集,配准结果与配准软件Elastix对比。计算测试图像集外轮廓Dice系数,配准前图像对的平均Dice系数为0.858,Elastix配准后的平均Dice系数为0.926,本方法配准后的平均Dice系数为0.925。配准时间上Elastix的平均配准时间为12.1 s,本研究方法的平均配准时间为0.04 s,加速比达到302。结论:本方法在保证图像配准精度的同时极大降低了图像配准所需的时间,提高了配准流程工作效率。除此之外,与其他深度学习网络相比,本方法不需要真实配准结果以及传统相似性测度。

基于约束性循环一致生成对抗网络的人脸表情识别方法

深度神经网络在表情分类识别中会由于样本数量不均衡,样本相似度高出现过拟合,导致识别结果不理想,而通过旋转变换、添加噪声等数据增强方法不能解决相似度较高的问题。为此,对循环一致生成对抗网络(Cycle-GAN)进行改进,通过引入类别约束性条件,构建一种基于约束性循环一致生成对抗网络(CCycle-GAN),实现了一对多的数据类别映射,减少了模型训练开销;同时,为了提高人脸表情识别效率,对Cycle-GAN判别器进行改进,用一个辅助表情分类器替换循环一致生成对抗网络的判别器,不仅可以判断输入图像的真假,而且可以对表情进行分类。在CK+和FER2013数据集上的实验结果表明,该方法可以有效地解决神经网络中的过拟合和样本不均问题,提高了表情样本生成质量,进而提高了人脸表情识别率。

基于生成对抗网络的植物景观生成设计——以花境平面图生成为例

【目的】植物景观设计需要科学性和技术性兼备。探索人工智能,特别是生成对抗网络(generative adversarial network,GAN)在植物景观设计中的应用,能够帮助设计师提高设计过程的效率。【方法】以花境平面图生成设计为例,建立了基于细致筛选优化的植物平面数据集。数据集标注基于植物分类,考虑了植物的种类、搭配原则及空间布局规律。引入循环生成对抗网络(cycle generative adversarial network,CycleGAN)模型对数据集进行学习,实现花境平面设计的自动生成。【结果】CycleGAN模型在以花境为代表的植物景观设计中具有独特的优势,花境平面图生成模型能够准确识别条形场地边界,并在色彩再现方面表现出较高的精度和可识别性。生成平面图的空间布局中,色块大小、平面布局形态和位置展示了各种植物的空间分布特点,并能够复现部分潜在搭配组合,生成了符合美学和生态原则的设计方案。然而,模型在部分场地边框的准确识别和设计结果的多样性方面仍存在局限。【结论】证明了CycleGAN在植物景观设计领域的应用潜力,并为实践中的植物景观设计提供了创新和有效的解决方案。

基于时序生成对抗网络的居民用户非侵入式负荷分解

现有的非侵入式负荷分解算法往往需要大量电器设备级的负荷数据才能保证分解精度,但由于用户对隐私性的考虑以及安装成本过高等问题,很难获取这些数据。因此,构建一种能深度挖掘电力负荷数据时序特性和电器相关性的时序生成对抗网络。利用降维网络对所有电器有功功率序列组成的高维向量进行降维以降低计算的复杂度,通过复原网络将结果还原为高维向量。基于电器运行状态和深度学习的非侵入式分解方法,运用卷积神经网络-双向门控循环单元构建状态复杂电器的负荷分解回归模型,对状态简单电器利用深度神经网络构建负荷识别分类模型。通过对比其他数据生成方法,以及改变典型公开数据集中生成数据比例所得的负荷分解结果验证了所提方法的有效性。

基于生成对抗网络的多姿态人脸识别算法

头部姿态角转换会造成人脸成像多姿态变化,人脸离散数据的高斯分布混乱,无法准确地反映人脸多姿态的任意性和连续性,存在识别效果差的问题。引入生成对抗网络理论,设计多姿态人脸识别算法。对获取到的不同角度人脸图像,实施多姿态人脸校正与旋转残差注意力计算,解决当前头部姿态估计方法对不同人脸兴趣区域不稳健的问题。设计生成对抗网络进行双路循环优化,在生成的对抗网络中,参考CASIA-Net网络结构,使用深层次网络结构,每一层都有一个3*3的卷积核。所提出的设计可以降低网络参数,增强网络的非线性度,实现高效的面部特征提取,构建人脸多姿态识别模型,并完成人脸识别。通过实验结果表明,所提算法针对多姿态人脸识别效果好,在人脸不同姿态变化过程中,识别率始终在97%以上,更适用于多姿态人脸识别。

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。

基于生成对抗网络联合训练的语音分离方法

基于深度神经网络的语音分离方法大都在频域上进行训练,并且在训练过程中往往只关注目标语音特征,不考虑干扰语音特征。为此,提出了一种基于生成对抗网络联合训练的语音分离方法。该方法以时域波形作为网络输入,保留了信号时延导致的相位信息。同时,利用对抗机制,使生成模型和判别模型分别训练目标语音和干扰语音的特征,提高了语音分离的有效性。实验中,采用Aishell数据集进行对比测试。结果表明,本文所提方法在三种信噪比条件下都有良好的分离效果,能更好地恢复出目标语音中的高频频段信息。

基于循环生成对抗网络的人脸素描合成

针对当前卷积神经网络通常以降低感受野为条件获得多尺度图像特征,以及很难捕获各特征通道之间重要关系的问题,结合循环生成对抗网络结构的特点提出一种新的多尺度自注意力机制的循环生成对抗网络.首先,在生成器中使用VGG16模块组成U-Net结构网络,以增强对图像特征信息的提取,同时对网络中的下采样和上采样进行改进,以提高特征分辨率,获取更多的细节信息;其次,设计多尺度特征聚合模块,采用不同采样率的多个并行空洞卷积,整合了不同尺度上的空间信息,在保持图像较大感受野的同时,多比例地捕捉图像信息;最后,为捕获空间维度和通道维度中的特征依赖关系,设计像素自注意力模块对空间维度和通道维度上的语义依赖关系进行建模,以增强图像特征的表现能力,提高生成素描图像的质量.

基于循环生成对抗网络的超分辨率重建算法研究

为了提高图像超分辨率重建的效果,该文将注意力机制引入多级残差网络(Multi-level Residual Attention Network,MRAN)作为CycleGAN的重建网络,提出了基于循环生成对抗网络(CycleGAN)的超分辨率重建模型MRA-GAN。MRA-GAN模型中重建网络负责将低分辨率(LR)图像重建为高分辨率(HR)图像,退化网络负责将HR图像降采样为LR图像,LR判别器负责鉴别真实LR图像和通过退化网络降采样得到的LR图像,HR判别器负责鉴别真实HR图像和通过重建网络重建得到的HR图像,并且改进了CycleGAN原有的判别器判别方式和损失函数。实验结果验证了MRA-GAN模型与现有算法相比,在峰值信噪比(PSNR)和结构相似性(SSIM)等指标上都有所改进。

一种基于循环生成式对抗网络的去雾算法

针对现有基于学习的去雾算法在处理过程中需要成对的数据来训练网络参数的问题,提出了一种基于循环生成式对抗网络的去雾算法.该算法通过使用编码器-解码器(Encoder-Decoder,ED)体系结构来构建生成器网络,然后采用一种不成对的图像训练方法来训练网络参数,估计出传输图,最后根据估计的传输图和大气光值,利用光学模型恢复出无雾清晰图像.实验结果表明:对于室内、外有雾图像,本文提出的方法可以在不发生任何颜色失真的情况下恢复无雾场景,而且相对于其他方法,该方法在多个评价指标上都有明显的性能优势.