Cycle GAN-MF:A Cycle-consistent Generative Adversarial Network Based on Multifeature Fusion for Pedestrian Re-recognition

In pedestrian re-recognition,the traditional pedestrian re-recognition method will be affected by the changes of background,veil,clothing and so on,which will make the recognition effect decline.In order to reduce the impact of background,veil,clothing and other changes on the recognition effect,this paper proposes a pedestrian re-recognition method based on the cycle-consistent generative adversarial network and multifeature fusion.By comparing the measured distance between two pedestrians,pedestrian re-recognition is accomplished.Firstly,this paper uses Cycle GAN to transform and expand the data set,so as to reduce the influence of pedestrian posture changes as much as possible.The method consists of two branches:global feature extraction and local feature extraction.Then the global feature and local feature are fused.The fused features are used for comparison measurement learning,and the similarity scores are calculated to sort the samples.A large number of experimental results on large data sets CUHK03 and VIPER show that this new method reduces the influence of background,veil,clothing and other changes on the recognition effect.

基于CSLS-CycleGAN的侧扫声纳水下目标图像样本扩增法

针对侧扫声纳水下目标图像稀缺,获取难度大、成本高,导致基于深度学习的目标检测模型性能差的问题,结合光学域类目标数据集丰富的现状,提出一种基于通道和空间注意力(channel and spatial attention,CSA)模块、最小二乘生成对抗生成网络(least squares generative adversarial networks,LSGAN)及循环对抗生成网络(cycle generative adversarial networks,CycleGAN)的侧扫声纳水下目标图像样本扩增方法。首先,受CycleGAN的启发,设计基于循环一致性的单循环网络结构,保证模型的训练效率。然后,在生成器中融合CSA模块,减少信息弥散的同时增强跨纬度交互。最后,设计了基于LSGAN的损失函数,提高生成图像质量的同时提高训练稳定性。在船舶光学域数据集与侧扫声纳沉船数据集上进行实验,所提方法实现了光学-侧扫声纳样本间信息的高效、稳健转换以及大量侧扫声纳目标样本的扩增。同时,基于本文生成样本训练后的检测模型进行了水下目标检测,结果表明,使用本文样本扩增数据训练后的模型在少样本沉船目标检测的平均准确率达到了84.71%,证明了所提方法实现了零样本和小样本水下强代表性目标样本的高质量扩增,并为高性能水下目标检测模型构建提供了一种新的途径。

基于改进CycleGAN的水下图像颜色校正与增强

针对水下观测图像的颜色失真和散射模糊问题,提出一种基于改进循环一致性生成对抗网络(Cycle-consistent generative adversarial networks,CycleGAN)的水下图像颜色校正与增强算法.为了利用CycleGAN学习水下降质图像到空气中图像的映射关系,对传统CycleGAN的损失函数进行了改进,提出了基于图像强边缘结构相似度(Strong edge and structure similarity,SESS)损失函数的SESS-CycleGAN,SESS-CycleGAN可以在保留原水下图像的边缘结构信息的前提下实现水下降质图像的颜色校正和对比度增强.为了确保增强后图像和真实脱水图像颜色的一致性,建立了SESSCycleGAN和正向生成网络G相结合的网络结构;并提出了两阶段学习策略,即先利用非成对训练集以弱监督方式进行SESS-CycleGAN学习,然后再利用少量成对训练集以强监督方式进行正向生成网络G的监督式学习.实验结果表明:本文算法在校正水下图像颜色失真的同时还增强了图像对比度,且较好地实现了增强后图像和真实脱水图像视觉颜色的一致性.

基于CycleGAN的图像隐私保护

社交媒体和云平台为图像的传播和存储带来了便利,但同时也引起了人们对于图像隐私的担忧。因此,需要采取一定的措施去保护图像的隐私,以防止隐私被窃取和非法使用。基于上述目标,本文提出了基于循环对抗网络(cycle-consistent generative adversarial networks,CycleGAN)的图像隐私保护。为了在图像隐私保护中兼顾可用性,该方法先用图像分割和CycleGAN组合,选择出不同的分割系数来辅助生成不同程度的隐私保护图像。然后利用可逆信息隐藏对生成的隐私保护图像进行信息的嵌入,从而阻止非法使用者在图像重构中提取隐私信息,进而保证了整个过程图像隐私保护和可用性的平衡。本文用PIPA数据集对该方法进行训练和测试,采用峰值信噪比和结构相似性指数作为客观指标对隐私保护的图像进行评估。实验结果表明,本方案在图像隐私保护和可用性两方面都优于其他对比方案。

基于CycleGAN和CNN的GIS振动信号去噪与机械缺陷识别

针对现场气体绝缘开关设备(gas insulated switchgear,GIS)振动检测结果易受外界背景噪声干扰的不足,文中提出基于生成对抗网络和卷积神经网络的现场GIS接触缺陷抗干扰检测框架。首先,开展GIS通流试验,获取在触指缺失、螺栓松动、存在分解物和导体对接深度不足4种典型缺陷下的振动波形,并收集包含背景噪声干扰的现场GIS振动波形作为参考,通过对振动数据进行图谱转化,构建用于背景噪声干扰去除和缺陷分类的数据集;其次,将现场振动图谱作为输入,采用周期一致生成对抗网络(cycle-consistent generative adversarial network,CycleGAN)对GIS进行现场背景噪声干扰去除;然后,采用AlexNet和ResNet18卷积网络结构对振动图谱特征进行提取;最后,采用全连接层对图谱特征进行分类,并对比不同振动信号图谱算法对分类结果的影响。结果表明,对于现场数据,所提模型的最大均值差异(maximum mean discrepancy,MMD)可达0.9560,弗雷谢特起始距离(Fréchet inception distance,FID)可达62.09;Mel-ResNet18模型对GIS接触缺陷分类的准确率达99.43%。文中所提方法对于提高现场GIS振动检测和接触缺陷诊断结果的有效性具有重要应用价值。

基于改进CycleGAN的图像翻译方法

生成对抗网络在图像翻译领域有着非常出色的表现,它可以将源域风格的图像翻译成目标域风格的图像.针对图像翻译生成的图像受噪声干扰严重、轮廓模糊、图像质量较低等问题,提出了一种基于改进CycleGAN的图像翻译方法.以源域风格下的无人机图像举例,在CycleGAN网络结构的基础上,在其生成器中引入自注意力模块,提升网络对中心像素的特征提取能力;用带惩罚项的EM距离替代JS距离,缓解不易收敛的难题.实验结果证明,改进模型成功生成了更高质量的无人机图像.

基于CycleGAN的灰度图像彩色化方法

当前主流的图片彩色化方法包括传统算法和深度学习方法.随着深度学习模型的发展,基于深度学习的灰度图像彩色化方法能带来更好的着色效果,但仍然存在细节损失和着色枯燥问题.针对上述问题,本文将CycleGAN模型应用在非单一类别的灰度图像彩色化上,使其在动物、植物、风景等图片上有逼真的着色效果.模型结构上对CycleGAN模型的激活函数加以改进,在生成器使用PReLU激活函数,使模型更易于训练.在判别器使用PatchGAN提高图片高分辨率上的颜色细节.通过ImageNet数据集5个热门类别图像的训练后,模型对动植物与风景图彩色化的效果十分逼真.在图像评估指标中,该模型在PSNR中比GAN高了0.603 dB约有2.1%的提升,在SSIM中明显高于其他模型,在效果上有5.1%的提升.从视觉感受来看,通过CycleGAN彩色化的图片饱和度更高,在视觉真实性上高于VGG和GAN等模型,解决了着色枯燥问题,而且更容易还原图片中的颜色细节,避免细节损失.

一种改进的CycleGAN图像风格迁移算法

针对目前生成对抗网络的图像风格迁移效果存在细节丢失、图像真实性有待提高等问题,提出了一种改进的CycleGAN网络模型,使用U-Net代替原来的ResNet网络,以更好地保留图像细节和结构;在生成器和判别器中融入自注意力机制,进一步提升对重要细节的关注和重建能力,产生更逼真细腻的迁移效果。消融实验结果表明,该算法有效改善了风格迁移过程中细节丢失等问题,生成图像具有更好的视觉效果和真实感。

多尺度语义信息无监督山水画风格迁移网络

针对图像转换类的生成对抗网络在处理无监督风格迁移任务时存在的纹理杂乱、生成图像质量差的问题,基于循环一致性损失提出了循环矫正多尺度评估生成对抗网络。首先在网络架构的设计上,基于图像的三层语义信息提出了多尺度评估网络架构,以此强化源域到目标域的迁移效果;其次在损失函数的改进上,提出了多尺度对抗损失以及循环矫正损失,用于以更严苛的目标引导模型的迭代优化方向,生成视觉质量更好的图片;最后为了预防模式崩溃的问题,在风格特征的编码阶段添加了注意力机制以提取重要的特征信息,在网络的各阶段引入ACON激活函数以加强网络的非线性表达能力,避免神经元坏死。实验结果表明,相比于CycleGAN、ACL-GAN,所提出方法在山水画风格迁移数据集上的FID值分别降低了21.80%和34.33%;为了验证模型的泛化能力,在Vangogh2Photo和Monet2Photo两个公开数据集上进行了泛化实验对比,FID值相比于两个对照网络分别降低了7.58%、18.14%和4.65%、6.99%。

基于Style-CycleGAN-VC的非平行语料下的语音转换

非平行语料下的语音转换(Voice Conversion,VC)是指在非平行语音数据集的情况下改变源语音特征到目标语音特征的映射技术。由于非平行数据的缺陷,所以当前研究多集中于平行语料下的语音转换,而有关非平行语料的研究提出的模型架构存在局限性,在特定说话人下进行训练得到的模型无法适用于任意说话人下的语音转换,且转化效果有待提高。对此,借鉴两种生成式对抗网络(Generative Adversarial Network,GAN)的变体StyleGAN和CycleGAN的结构特点,对生成器网络的层重新设计,添加辅助特征提取神经网络,提出一种称为Style-CycleGAN-VC的新模型,实现了非平行语料下任意说话人之间的任意语音转换。实验表明,与CycleGAN-VC模型相比,该模型对训练的特定说话人的语音转换效果有所提高,对任意说话人的语音转换效果与其相近。

基于CycleGAN的人脸素描图像生成

CycleGAN是一种基于生成对抗网络的衍生模型,可以在缺少成对训练图像的条件下实现两个具有不同风格的图像域之间的相互转换。由于收集大量成对的人脸图像和素描图像存在较大的难度,并且针对人脸素描图像生成任务中存在的图像细节模糊和低清晰度的问题,提出一种改进的CycleGAN模型。通过引入基于注意力机制的残差模块,让CycleGAN的生成器模型可以更加有效地学习不同通道特征和人脸图像中不同区域的重要程度,降低人脸图像中无用信息对生成模型的影响,从而提升生成的人脸素描图像的质量。通过对比实验发现,使用基于注意力机制的CycleGAN模型生成的素描人脸图像质量较好,且更完整清晰地保留了较丰富的面部特征信息,优于CycleGAN和DualGAN模型,充分证明了基于注意力机制的改进CycleGAN模型的有效性。

基于注意力机制的CycleGAN服装局部风格迁移研究

针对复杂背景下服装图像局部区域风格迁移难以控制及迁移后容易产生边界伪影的问题,提出一种基于注意力机制的CycleGAN服装局部风格迁移方法。通过VGG16网络分别提取服装图像的内容特征与风格特征,将其输入基于注意力机制的CycleGAN生成器中,应用注意力机制在复杂背景下的各个服装区域分配概率分布信息,获得注意力分布更多的区域及相关度更高的区域,并采用改进的损失函数校正边界伪影,对该区域进行风格迁移得到所需的风格迁移服装图像。实验结果表明,与CNN、FCN、BeautyGAN图像局部风格迁移方法相比,该方法不仅可以突出服装图像局部风格迁移效果,而且增强了图像细节,有利于提高输出图像的真实性和艺术性。

基于循环生成对抗网络的人脸素描合成网络设计

针对目前人脸到素描合成存在生成的素描图轮廓模糊、细节纹理缺失等问题,提出一种采用循环生成对抗网络(CycleGAN:Cycle-Generative Adversarial Networks)解决方案。构建多尺度CycleGAN,生成器采用深度监督的U-Net++结构为基础,在其解码器端进行下采样密集跳跃连接;在其生成器的编码器端设计通道注意力和和空间注意力机制形成特征增强模块;最后在生成器中增加像素注意力模块。实验结果表明,与现有经典算法相比,从主观视觉评测和利用现有的4种图像质量评价算法进行质量评估,该方法较好地合成了素描图像的几何边缘和面部细节信息,提高了素描图像的质量。

基于CycleGAN的仿真PET/CT图像生成方法

目前,癌症仍然是人类身体健康的一个巨大威胁。癌症的诊断尤其是早期诊断,对于癌症的治愈来说至关重要。以正电子发射型计算机断层显像/计算机断层扫描显像(Positron Emission Computed Tomography/Computed Tomography,PET/CT)为代表的医疗影像学技术是癌症早期诊断的重要方法。随着计算机技术的发展,尤其是深度学习技术的出现,模型可以自动从PET/CT图像中提取有效的特征,使得对癌症进行早期诊断成为可能。然而,基于以卷积神经网络为代表的深度学习技术搭建的模型依赖大量数据的训练,同时PET/CT检查费用过于高昂且给病人带来的生理不适过强,目前PET/CT设备并未得到大范围推广,而可用的PET/CT数据数量不大。因此,可以使用生成对抗网络(Generative Adversarial Network,GAN)对已有的PET/CT数据进行数据扩充,即依据已有的真实PET/CT图像生成大量仿真PET/CT图像,再将扩充后的数据集用于癌症早期诊断模型的训练。通过搭建一个基于CycleGAN的模型证明:使用CycleGAN模型生成的PET/CT图像基本符合使用要求,可有效扩充数据集。

SealGAN:基于生成式对抗网络的印章消除研究

发票是财务系统的重要组成部分.随着计算机视觉和人工智能技术的发展,出现了各种发票自动识别系统,但是发票上的印章严重影响了识别准确率.本文提出了一种用于自动消除发票印章的SealGAN网络. SealGAN网络是基于生成式对抗网络CycleGAN的改进,采用两个独立的分类器来取代原本的判别网络,从而降低单个分类器的分类要求,提高分类器的学习性能,并且结合ResNet和Unet两种结构构建下采样-精炼-上采样的生成网络,生成更加清晰的发票图像.同时提出了基于风格评价和内容评价的综合评价指标对SealGAN网络进行性能评价.实验结果表明,与CycleGAN-ResNet和CycleGAN-Unet网络相比较, SealGAN网络不仅能实现自动消除印章,而且还能更加清晰地保留印章下的发票内容,网络性能评价指标较高.

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。

梯度控制与鉴别特征引导的写实类人物肖像插画转换方法

现有的无监督图像转换方法由于未考虑人脸辨别特征保持这一问题,转换后得到的写实类人物肖像插画常会出现人脸变形和面部结构坍塌的现象,难以辨认人物信息.针对该问题,文中提出梯度控制与鉴别特征引导的写实类人物肖像插画转换方法.在循环生成对抗网络(CycleGAN)的基础上引入避免冗余特征复用的掩码残差长连接,将图像梯度信息一致性作为约束条件,较好地保持人脸辨别特征.设计鉴别特征引导的信息共享训练机制,使生成器具有和鉴别器相同的提取目标风格图像鉴别特征的能力.同时拓展图像块鉴别器为多感知鉴别器,获得丰富的鉴别信息.实验表明,文中方法转换得到的写实类人物肖像插画不仅较好地保持显著的人脸辨别特征,而且在插画视觉效果上较优.

一种高倍数细胞显微图像生成式对抗网络

在医疗领域,许多疾病的诊断依赖高倍数显微镜对细胞等微观物体的观测,但由于高倍数显微镜价格昂贵,操作复杂,且高倍数细胞显微图像重建工作存在低、高倍数显微图像之间图片风格不统一、细胞图像清晰度不一致和训练数据不匹配等问题。为此,提出高倍数细胞显微图像生成式对抗网络。将全新激活函数引入CycleGAN网络,在生成器中添加新的残差密集块并去掉BN层。同时为确保生成图像真实可信,在生成器训练过程中考虑细节感知损失。实验结果表明,该方法在保留低倍数显微图像基本信息的基础上,能够对高倍数显微图像细节进行有效的还原。

基于优化循环生成对抗网络的医学图像合成方法

放射治疗计划系统需要CT图像准确计算剂量分布,但有时临床只能获得MR图像。图像合成能有效利用现有图像合成新模态图像,从而增强图像信息。针对MR图像生成CT图像问题,综合循环一致生成对抗网络不成对数据可训练合成新模态图像的特点,以及密集连接网络的特征复用和优化信息流传播的优点,提出融合密集连接的循环生成对抗网络模型,改善输入信息的消失和梯度信息稀释,合成更可信的CT图像。在18个病人的数据集上训练和验证模型,优化后的循环生成对抗网络与原方法相比,平均绝对误差降低了3.91%,结构相似性提高了1.1%,峰值信噪比提高了4.4%;与深度卷积神经网络模型和基于图谱方法比较,相对误差分别降低了0.065%和0.55%。本文利用深度学习模型优点,能根据MR图像合成更接近真实的CT图像,更好地满足放射治疗计划系统剂量计算的需求。

基于生成对抗网络的手写汉字生成方法研究

在计算机机械学习领域,相对于数字和英文字母,手写汉字的自动生成研究是个重点难点问题,且具有重要研究意义。随着深度学习的不断发展,生成对抗网络在图像生成领域取得了很大进展。本文提出了一种基于循环生成对抗网络(Cycle Generative Adversarial Networks,CycleGAN)的无监督手写汉字生成方法。利用标准仿宋字体图像和手写字体图像进行训练,生成的手写汉字图像具有比较高的识别度。