基于双通道循环生成对抗网络的无人车夜视红外视频彩色化

在无人车夜视红外视频彩色化问题中,考虑到可同时利用单帧图像的信息和视频的帧间信息,提出了一种双通道循环生成对抗网络(DcCCAN)对夜视红外视频进行彩色化。DcCCAN是在循环一致生成对抗网络(CCAN)的基础上提出的双通道生成网络。双通道生成网络具有良好的图像特征提取能力,能够自动提取视频中待处理图像的特征,同时提取先前模型所生成图像的特征,然后将特征信息整合后生成一幅目标图像。通过在生成对抗性训练中引入循环一致性训练机制,可无监督地学习得到红外域图像到彩色域图像的映射关系,从而实现红外视频的彩色化。实验表明该方法能够为视频中的红外图像赋予自然的色彩信息和纹理信息,且满足实时性要求。

基于循环生成对抗网络的逆时偏移成像结果优化

在常规逆时偏移方法基础上,通过引入循环生成对抗网络(CycleGAN)发展一种基于循环生成对抗网络的逆时偏移成像结果优化方法。首先构建包含两个生成器和两个判别器的CycleGAN。在对抗损失、循环一致性损失函数的基础上,添加身份损失函数,以避免训练过度;然后,组建样本集来训练网络,使其学习常规逆时偏移成像结果和最小二乘逆时偏移成像结果之间的映射关系;最后,利用其他合成数据和实际资料测试网络效果。结果表明,提出的基于循环生成对抗网络的逆时偏移成像结果优化方法在获得高精度、高信噪比成像结果的同时有效地提高了计算效率。

基于循环卷积生成对抗网络的风机齿轮箱故障诊断

风机齿轮箱是风力涡轮传动系统中的关键部分,其故障发生随机、故障样本数量不足,严重影响故障诊断的准确性。针对此问题,提出一种基于循环卷积生成对抗网络的风机齿轮箱故障诊断方法。首先,构建基于循环卷积生成对抗网络的样本生成模型,利用卷积网络和循环网络作为生成器增强样本间的时间相关性;借助Wasserstein距离与梯度惩罚项改进目标函数,并通过博弈对抗机制优化生成器和判别器,提高模型的泛化能力。然后,结合真实样本和生成样本,设计基于堆叠去噪自编码器的故障诊断方法,实现齿轮箱的故障诊断。最后,利用风力涡轮传动系统数据集验证所提出的风机齿轮箱故障诊断方法的性能。结果显示,所提方法能够有效平衡故障样本数据集,进一步提高风机齿轮箱故障诊断的准确率。

基于双阶段多尺度生成对抗网络的图像复原方法

针对人脸图像复原任务中对图像尺度信息利用不足和眼镜结构复原错误的问题,提出一种基于双阶段多尺度生成对抗网络复原模型。该模型第1阶段引入改进损失的U-Net粗重构网络,利用跳连接减少原始图像信息的丢失,融合3种不同的损失函数提高生成器的重构能力,采用双判别器考虑全局信息和局部信息,并提出一种混合域注意力机制用于关注图像的空间和通道信息。第2阶段的精修复网络构建了全新的特征增强模块,增强网络对细节信息的提取能力和对结构的表达能力,引入相对判别器,用于关注生成样本与真实样本之间的相对真实性,提高了生成质量和训练稳定性。实验结果表明,该方法能够复原各类图像缺失的情况,并能够有效复原佩戴眼镜的人脸图像,与其他方法相比,该方法的峰值信噪比、结构相似性和感知相似度评估等指标分别提升了3.81%、2.65%和0.45%。

结合混合注意力的双判别生成对抗网络

图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络(DDMA-GAN)。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。

基于空洞卷积和ECANet的双判别生成对抗网络图像修复模型

针对传统的生成对抗网络模型在修复过程中所产生的训练不稳定、结构不一致和内容纹理不够真实等一系列问题,提出一种基于空洞卷积和ECANet双判别生成对抗网络的图像修复模型,分别从生成网络、判别网络和损失函数三个方面进行改进。生成网络采用从粗糙到精细的两阶段网络模型,并在网络模型中加入高效通道注意力(ECA),结合L1重建损失以提高修复区域的细节精度;判别网络中采用全局判别和局部判别的双重判别式网络模型,以提高判别性能的准确性;最后损失函数选取WGAN-GP对抗损失和L1重建损失使得训练更加稳定。在Celeba数据集上进行实验对比,本文所提模型能够取得更好的效果。

基于循环生成对抗网络和Transformer的单幅图像去雾算法

针对传统去雾算法在配对数据集上训练时产生过拟合的问题,基于密度和深度分解的非配对图像去雾网络模型,改进了自增强缩放网络。引入Transformer机制,将其与深度卷积神经网络模块深度融合,提出了一种使用未配对数据集训练的基于循环生成对抗网络和Transformer的CT-Nets图像去雾算法;提取输入图像的深度信息和散射系数特征值,利用大气散射模型尽可能恢复不同场景下真实雾的浓度信息,以提高去雾图像主观视觉质量;基于Swin-Transformer设计自增强精化层,以获得精细的细粒度信息,提高模型泛化能力和最终预测图像真实性。实验结果表明,相较于基于密度和深度分解的非配对图像去雾网络模型,CT-Nets图像去雾算法的峰值信噪比和结构相似性分别提升4%和4.1%。

基于双维度注意力集成对抗网络的太阳能电池缺陷图像生成

针对太阳能电池缺陷图像稀缺问题,为了对太阳能电池缺陷检测模型进行训练,提出一种双维度注意力集成对抗网络的缺陷图像生成方法.首先构造双生成器与双判别器的集成对抗网络模型;然后将通道注意力与改进的空间注意力结合为双维度注意力,并将其融入生成器与判别器中;最后设计双生成器分时训练的方式解决模型训练不稳定的问题.在太阳能电池电致发光(EL)缺陷数据集上的实验结果表明,5种生成缺陷图像中的图像多样性指标和结构相似性指标比现有最优生成方法最高分别提升53.87和0.46;利用生成的缺陷图像进行yolov5检测模型的训练,5种缺陷的平均精度均值达到96.56%.

基于循环生成对抗网络的增强罗兰信号生成

在信号生成算法中,需要大量标记信号样本用于网络训练,但通常携带电文信息标记的信号难以批量获取。针对此问题本文提出一种基于循环生成对抗网络和迁移学习的方法,实现了无需大量信号及对应电文作为标记的增强罗兰信号生成,并使用迁移学习在少量实测信号情况下快速生成。循环生成对抗网络的结构包括两个生成器和两个判别器,利用无需一一对应的增强罗兰信号和电文数据集,使生成器学习到两个数据集之间的相互转换关系,实现输入电文数据可以生成与之相对应的增强罗兰信号,并且针对增强罗兰信号的特性,使用一维卷积、残差网络、自注意力机制对网络模型进行改进。实验证实,生成信号与实测数据的均方误差为0.0153,平均皮尔逊相关系数为0.9843,且所含电文信息准确率为99.02%。本文在PSK、ASK、FSK数据集上验证了算法,实验结果表明生成的信号满足预期,为未知参数的信号调制和解调提供一种新的思路。

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络模型的方法研究了非配对低照度图像增强的实现。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效地处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力。同时引入身份一致性损失函数,提高图像质量。结果表明,相较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高,可见本文改进模型的有效性。

基于双专用注意力机制引导的循环生成对抗网络

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块,在无匹配图像转换任务中取得了较好的效果,但同时也增加了模型复杂度与训练时间,而且难以关注到图中关键区域的所有细节,图像生成效果仍有提升的空间。针对上述问题,提出一种基于双专用注意力机制引导的循环生成对抗网络(Dual-SAG-CycleGAN),分别对生成器和判别器采用不同的注意力机制进行引导。首先,提出一种名为SAG(Special Attention-mechanism Guided)的专用注意力模块来引导生成器工作,在提升生成图像质量的同时降低网络的复杂度;然后,对判别器采用基于CAM(Class Activation Mapping)的专用注意力机制引导模块,抑制生成器生成无关的噪声;最后,提出背景掩码的循环一致性损失函数,引导生成器生成更加精准的掩码图,更好地辅助图像转换。实验证明,本文方法与现有同类模型相比,网络模型参数量降低近32.8%,训练速度快34.5%,KID与FID最低分别可达1.13和57.54,拥有更高的成像质量。

基于双循环生成对抗网络和Dense-Net的木材缺陷检测方法

木材缺陷智能检测技术可以有效降低人工误检带来的经济损失,对提高木材加工智能化水平具有重要意义。提出了一种木材缺陷智能检测算法,通过双循环生成对抗网络(double least generative adversarial networks,DLGAN)及密集卷积网络(Dense-Net)来检测色差、虫眼、裂纹、节子和伤疤等5种木材常见缺陷。首先,使用DLGAN技术扩充数据集,提高数据集的多样性和数量,缓解了因训练数据不足而导致的过拟合问题;其次,基于Dense-Net的特点,采用密集的卷积块序列提高对微弱特征的提取和学习能力,以便更好地检测木材缺陷。试验结果表明,相比VGG16、Inception-v2、ResNet 3种经典卷积神经网络,基于DLGAN增广数据集训练的Dense-Net模型有效提高了木材缺陷检测模型的性能,平均准确率达到92.7%,在只使用少量训练数据的情况下模型依然具有良好的图像生成能力和训练鲁棒性。

基于生成对抗网络的植物景观生成设计——以花境平面图生成为例

【目的】植物景观设计需要科学性和技术性兼备。探索人工智能,特别是生成对抗网络(generative adversarial network,GAN)在植物景观设计中的应用,能够帮助设计师提高设计过程的效率。【方法】以花境平面图生成设计为例,建立了基于细致筛选优化的植物平面数据集。数据集标注基于植物分类,考虑了植物的种类、搭配原则及空间布局规律。引入循环生成对抗网络(cycle generative adversarial network,CycleGAN)模型对数据集进行学习,实现花境平面设计的自动生成。【结果】CycleGAN模型在以花境为代表的植物景观设计中具有独特的优势,花境平面图生成模型能够准确识别条形场地边界,并在色彩再现方面表现出较高的精度和可识别性。生成平面图的空间布局中,色块大小、平面布局形态和位置展示了各种植物的空间分布特点,并能够复现部分潜在搭配组合,生成了符合美学和生态原则的设计方案。然而,模型在部分场地边框的准确识别和设计结果的多样性方面仍存在局限。【结论】证明了CycleGAN在植物景观设计领域的应用潜力,并为实践中的植物景观设计提供了创新和有效的解决方案。

基于时序生成对抗网络的居民用户非侵入式负荷分解

现有的非侵入式负荷分解算法往往需要大量电器设备级的负荷数据才能保证分解精度,但由于用户对隐私性的考虑以及安装成本过高等问题,很难获取这些数据。因此,构建一种能深度挖掘电力负荷数据时序特性和电器相关性的时序生成对抗网络。利用降维网络对所有电器有功功率序列组成的高维向量进行降维以降低计算的复杂度,通过复原网络将结果还原为高维向量。基于电器运行状态和深度学习的非侵入式分解方法,运用卷积神经网络-双向门控循环单元构建状态复杂电器的负荷分解回归模型,对状态简单电器利用深度神经网络构建负荷识别分类模型。通过对比其他数据生成方法,以及改变典型公开数据集中生成数据比例所得的负荷分解结果验证了所提方法的有效性。

多路径生成对抗网络的红外与可见光图像融合

生成对抗网络在红外与可见光图像融合领域受到广泛关注,但单路径进行融合容易丢失浅层信息、分支路特征提取融合能力有限。提出一种基于多路径生成对抗网络的红外与可见光图像融合方法。在生成器端,利用源图像与导向滤波结果构建3条输入路径提取更多源图像特征信息,以获得细节更丰富的融合图像;然后,卷积层加入掩码注意力机制模块,提升显著信息的提取效率,引入密集连接和残差连接,在提升特征传递效率的同时可获取更多源图像重要特征信息。在鉴别器端,采用双鉴别器估计红外与可见光图像的区域分布,避免单鉴别器网络丢失对比度信息的模态失衡问题。在TNO数据集上进行了实验,实验结果表明,所提算法在5个客观评估指标上4项取得了最好结果,优于多数主流算法,在主观评估方面,所提算法保留了更多的纹理细节信息,具有更好的视觉效果。

基于生成对抗网络的多姿态人脸识别算法

头部姿态角转换会造成人脸成像多姿态变化,人脸离散数据的高斯分布混乱,无法准确地反映人脸多姿态的任意性和连续性,存在识别效果差的问题。引入生成对抗网络理论,设计多姿态人脸识别算法。对获取到的不同角度人脸图像,实施多姿态人脸校正与旋转残差注意力计算,解决当前头部姿态估计方法对不同人脸兴趣区域不稳健的问题。设计生成对抗网络进行双路循环优化,在生成的对抗网络中,参考CASIA-Net网络结构,使用深层次网络结构,每一层都有一个3*3的卷积核。所提出的设计可以降低网络参数,增强网络的非线性度,实现高效的面部特征提取,构建人脸多姿态识别模型,并完成人脸识别。通过实验结果表明,所提算法针对多姿态人脸识别效果好,在人脸不同姿态变化过程中,识别率始终在97%以上,更适用于多姿态人脸识别。

级联式生成对抗网络的全景图像修复

为了解决全景图像视场宽、畸变显著等问题,提出了一种级联式生成对抗网络的全景图像修复算法。第一阶段提出了一种双判别器生成对抗网络,通过对等矩形格式的全景图像进行立方体投影转换,对立方体六面图像进行修复,引入PatchGAN作为全局判别器捕获细节信息,局部判别器网络可以保证局部修复结果与周围区域的一致性。第二阶段提出了一种失真感知生成对抗网络,通过矩形混合卷积缓解全景图像失真,判别器引入谱归一化,与第一阶段进行级联以缓解立方体图像边界不连续问题,设计联合损失函数以优化网络修复效果。实验结果表明,所提算法无论从主观视觉评价或是从客观评价指标上均取得了优秀的效果,实现全景图像的有效修复。

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。

基于循环生成对抗网络的人脸素描合成

针对当前卷积神经网络通常以降低感受野为条件获得多尺度图像特征,以及很难捕获各特征通道之间重要关系的问题,结合循环生成对抗网络结构的特点提出一种新的多尺度自注意力机制的循环生成对抗网络.首先,在生成器中使用VGG16模块组成U-Net结构网络,以增强对图像特征信息的提取,同时对网络中的下采样和上采样进行改进,以提高特征分辨率,获取更多的细节信息;其次,设计多尺度特征聚合模块,采用不同采样率的多个并行空洞卷积,整合了不同尺度上的空间信息,在保持图像较大感受野的同时,多比例地捕捉图像信息;最后,为捕获空间维度和通道维度中的特征依赖关系,设计像素自注意力模块对空间维度和通道维度上的语义依赖关系进行建模,以增强图像特征的表现能力,提高生成素描图像的质量.

基于循环生成对抗网络的超分辨率重建算法研究

为了提高图像超分辨率重建的效果,该文将注意力机制引入多级残差网络(Multi-level Residual Attention Network,MRAN)作为CycleGAN的重建网络,提出了基于循环生成对抗网络(CycleGAN)的超分辨率重建模型MRA-GAN。MRA-GAN模型中重建网络负责将低分辨率(LR)图像重建为高分辨率(HR)图像,退化网络负责将HR图像降采样为LR图像,LR判别器负责鉴别真实LR图像和通过退化网络降采样得到的LR图像,HR判别器负责鉴别真实HR图像和通过重建网络重建得到的HR图像,并且改进了CycleGAN原有的判别器判别方式和损失函数。实验结果验证了MRA-GAN模型与现有算法相比,在峰值信噪比(PSNR)和结构相似性(SSIM)等指标上都有所改进。