基于循环一致对抗网络的玉米灰斑病图像迁移方法研究

针对玉米病害图像采集困难,特别是灰斑病表现差异性较多问题,提出一种基于循环一致对抗网络(CycleGAN)的玉米灰斑病图像生成算法,通过病害图像迁移,使得健康的作物图像可以生成患病作物图像。此方法首先通过特征提取分别提取出健康玉米图像特征和灰斑病图像特征;然后把两种特征图像输入到CycleGAN的生成器Gs中,结合生成器中的残差网络提高图像传输时的准确性,利用两个判断器判断生成的图像是否一致;最后通过对健康玉米图像进行病害迁移得到所需的玉米灰斑病图像。试验结果表明:与VAE、GAN的图像进行迁移比较,结构相似SSIM值整体分别提升50.434%、18.762%,均方误差MSE值整体减少12.891%、9.558%;直观效果上CycleGAN迁移后的不同病害程度的玉米灰斑病效果更好,因此使用CycleGAN网络生成的玉米灰斑病图像更准确。

基于循环一致性对抗网络的油画风格迁移技术的研究

图像到图像的风格迁移工作在现实生活中有着广泛应用,而手工创意油画风格作品耗时耗力,同时这种传统方法最大的缺陷就是容错率低、创新性不强。主要通过优化循环一致性对抗网络(CycleGAN)来实现针对风景图片对油画风格的迁移,该网络加入了双向生成的结构解决了图像单向迁移的弊端。在传统GAN(Generative Adversarial Network)的基础上对超参进行优化,生成器和判别器两大模块互相博弈学习训练风格领域图片,提取关键特征对原始风景图片进行油画风格迁移处理,经在油画数据集测试,优化的生成对抗网络模型和实验方法在传统方法上能明显提高拟合度和迁移效果,生成创新性更高的图片。

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络(Cycle-GAN)在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制(SE-Net),利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习(CL),使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。

基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构(UNet)进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。

基于循环一致性生成对抗网络的盆腔伪CT生成方法

目的:基于循环一致性生成对抗网络(CycleGAN),利用非配对患者盆腔部位数据,实现MRI和CT图像之间的相互转换,并对基于该模型生成的盆腔伪CT(sCT)进行精度和剂量性能的评估。方法:该CycleGAN网络包含两个生成器和两个判别器。先基于全卷积网络(FCNs)构建两个生成器,一个将2D盆腔MRI转换为2D盆腔sCT图像,另一个将CT图像转换为伪MRI(sMRI)图像。再基于FCNs构建两个判别器,用于对真实图像和生成的伪图像进行判别,提升生成图像的质量。为保证sCT图像与MRI图像的一致性,引入归一化互信息作为相似性约束损失项,对模型进行改进。训练集包括35例患者盆腔部位的T1-MRI图像和另外36例患者盆腔部位的CT图像,测试集包括10例盆腔部位患者的MRI和CT图像,评估方法包括sCT与CT图像的误差和放疗剂量伽马通过率。结果:对于测试集中所有病例,生成的sCT与真实CT图像之间的平均绝对误差(MAE)为35.537(±4.537)HU;基于体素的平均剂量差异最大为0.49%;以3%/3 mm、2%/2 mm和1%/1 mm为标准的平均伽马通过率分别高于99%、98%和95%。结论:使用CycleGAN网络和非配对患者训练数据可以生成准确且符合临床剂量精度要求的盆腔部位sCT图像。

基于约束性循环一致生成对抗网络的人脸表情识别方法

深度神经网络在表情分类识别中会由于样本数量不均衡,样本相似度高出现过拟合,导致识别结果不理想,而通过旋转变换、添加噪声等数据增强方法不能解决相似度较高的问题。为此,对循环一致生成对抗网络(Cycle-GAN)进行改进,通过引入类别约束性条件,构建一种基于约束性循环一致生成对抗网络(CCycle-GAN),实现了一对多的数据类别映射,减少了模型训练开销;同时,为了提高人脸表情识别效率,对Cycle-GAN判别器进行改进,用一个辅助表情分类器替换循环一致生成对抗网络的判别器,不仅可以判断输入图像的真假,而且可以对表情进行分类。在CK+和FER2013数据集上的实验结果表明,该方法可以有效地解决神经网络中的过拟合和样本不均问题,提高了表情样本生成质量,进而提高了人脸表情识别率。

基于改进生成对抗网络的图像风格迁移方法研究

为了解决传统GAN(Generative Adversarial Network)进行图像风格迁移受到成对数据集的限制,以及CycleGAN学习高级特征时表现不佳和训练过慢的问题,本文采用ModileNetV2-CycleGAN模型进行图像风格迁移,并引入多尺度结构相似性指数(multi-scale structural similarity,MS-SSIM)作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。采用客观结构相似性SSIM与峰值信噪比PSNR和主观投票作为评估指标,对迁移后的效果进行评估,实验结果表明了本文改进算法的有效性。

基于物理信息神经网络的牵引变流器直流支撑电容参数辨识方法

为了解决车载牵引变流系统直流支撑电容器故障预测问题,该文提出一种基于物理信息神经网络的直流支撑电容器参数辨识方法。该方法只需要利用直流环节预充电过程的直流支撑电容器两端电压及采样频率,无需拟合曲线,无需严格对齐时间轴就可以获得较为准确的电容参数辨识结果。与此同时,为了克服在采集数据时因条件所限造成的数据量稀疏与分布不均问题,该文利用循环一致性生成对抗网络算法增强数据,使该方法可以适用于同一拓扑下宽范围电容区间的电容容值预测,降低了模型训练要求。实验结果表明:在正常条件下,该方法的辨识相对误差约在1%以下,并且降低采样频率能够缓解信噪比对该方法的影响。该方法为解决直流支撑电容参数辨识问题提供了新思路。

基于改进型循环一致性生成对抗网络的低剂量CT去噪算法

针对低剂量医学CT图像噪声大且配对数据集难以获得的问题,提出一种基于改进型循环一致性生成对抗网络的低剂量CT去噪算法。该算法使用循环一致性生成对抗网络,由未配对的数据集实现了从低剂量CT图像到标准剂量CT图像的端到端映射;同时将密集型残差学习网络模型引入到该网络生成器中,利用残差网络的特征复用性来恢复图像细节,使生成器输出图像更接近目标图像。实验研究表明,本文算法提升了去噪效果,并准确地恢复了图像细节及边缘结构,修复后的图像质量显著提升,有助于病灶的检测与分析。

一种基于CycleGAN改进的低剂量CT图像增强网络

低剂量CT是一种有效且相对安全的胸腹部疾病筛查手段,但图像中的伪影和噪声会严重影响医生的诊断。基于深度学习的图像增强方法中网络训练大多依赖于难以获取的配对数据,即同一患者相同部位像素级匹配的低剂量和常规剂量CT图像。针对非配对数据,提出了一种基于循环一致性生成对抗网络(CycleGAN)改进的低剂量CT图像增强网络,在生成器前添加浅层特征预提取模块,增强对CT图像特征的提取能力;并利用深度可分离卷积替换生成器中的部分普通卷积,减少网络参数和显存占用。该网络使用3275张低剂量CT图像和2790张非配对常规剂量CT图像进行训练,另外1716张低剂量CT图像进行测试。结果表明,该网络生成的CT图像的平均感知图像质量评价指标(PIQE)为45.53,比CycleGAN的结果降低了8.3%,更远低于三维块匹配滤波(BM3D)31.9%、无监督图像转换网络(UNIT)20.9%,且在结构细节保持、噪声和伪影抑制方面均获得了更好的主观视觉效果,是一种具有潜在临床应用前景的低剂量CT图像增强方法。

两类遥感图像深度神经网络预测方法及比较

遥感影像预测是一种利用不同影像之间的时空及光谱特征进行影像变换的应用方法,能够弥补卫星影像数据的缺失,对于遥感应用领域的发展具有重要的意义。影像的色彩迁移及时序预测就是遥感影像预测包含的研究角度。基于影像色彩迁移的循环一致性生成对抗网络(CycleGAN)是一种不需要其他额外信息就能将一张影像从源域映射到目标域的方法,基于影像时序预测的卷积长短时记忆网络(ConvLSTM)是一种利用多时序影像的状态信息进行不同影像之间映射的方法。通过对比CycleGAN及ConvLSTM网络在影像预测中的结果,进一步分析色彩迁移网络及时序预测网络在影像预测中的适用性。实验使用无人机影像(UAV)数据、均方根误差(RMSE)及结构相似度(SSIM)等影像质量评价指标,得出如下结论:①使用CycleGAN及ConvLSTM网络的预测结果都能与参考影像保持一致的光谱特征,ConvLSTM网络在遥感影像预测方面的性能优于CycleGAN网络;②根据时序影像的缺失情况,选择不同的网络进行时序影像预测可以提高预测结果的精度和质量。当然,对于影响CycleGAN和ConvLSTM网络适用性的其他因素,将在未来的工作中进一步研究和分析。

一种基于对抗学习的仿真遥感图像生成方法

遥感图像数据标注耗时、成本高且需要专家知识,使得有标签的遥感数据难于获得,因此亟需生成有标签遥感数据的有效方法。由计算机视觉领域用于风格迁移的循环一致生成对抗网络出发,提出了一种基于深度学习,利用循环一致生成对抗网络生成新数据集的仿真遥感图像转换方法。将源数据与生成数据视为源域与目标域,遥感图像转换可视为仿真遥感数据集的风格迁移。生成的数据集可进一步用于分类、语义分割和域适应等适用于遥感图像的常见任务。实验结果表明该方法可有效生成风格迁移的仿真遥感数据。

基于自适应VMD和DD-cCycleGAN的滚动轴承剩余寿命预测

为准确预测强噪声干扰小样本情况下的滚动轴承剩余寿命(remaining useful life, RUL),提出一种基于自适应变分模态分解(variational mode decomposition, VMD)和双判别器条件循环一致对抗网络(double-discriminator conditional CycleGAN, DD-cCycleGAN)的滚动轴承RUL预测方法。将黑猩猩优化算法(chimp optimization algorithm, ChOA)与VMD相结合,给出一种基于ChOA的自适应VMD算法,选取有效模态分量进行重构,降低强背景噪声的干扰;开发一种DD-cCycleGAN生成新样本,这些生成的新样本不但保留了源域的样本信息,还与目标域的样本相似;将训练样本的重构样本和生成的新样本作为输入,训练长短时记忆(long short-term memory, LSTM)网络,用训练后的LSTM网络预测测试样本中滚动轴承的RUL。通过采用XJTU-SY滚动轴承加速寿命试验数据集验证该方法的有效性,试验结果表明该方法具有较强的抗噪能力和较高的轴承RUL预测精度。

基于A-CGAN的深反射地震数据随机噪声压制方法研究

基于深度学习的地震数据噪声压制方法是当前地震数据去噪处理的重要方向。深度学习方法突破了传统滤波处理的局限,在对常规地震数据的噪声压制中表现出效率高、信噪分离效果好的特点。但针对深部弱有效反射数据,当前的深度学习方法特征提取能力有限,难以取得较好的去噪效果。笔者等结合深反射地震数据特点,针对当前深度学习噪声压制方法在特征提取及对数据集依赖上的局限,提出了基于注意力循环生成对抗网络(Attention Cycle-Consistent Generative Adversarial Networks,A-CGAN)的深反射地震数据随机噪声压制方法。借助循环一致生成对抗网络(Cycle-Consistent Generative Adversarial Networks,Cycle-GAN)的域映射思想,降低对数据集的要求。为了构建适用于深反射地震数据的去噪网络,从3个方面对Cycle-GAN进行改进:在Cycle-GAN的生成器(去噪器)中加入残差结构和注意力机制,用于加深网络深度和提高其特征提取能力;在Cycle-GAN的鉴别器中使用块判决,提高鉴别精度和准确度;在损失函数部分加入感知一致性损失函数,提升网络模型恢复纹理细节信息的能力。通过合成地震数据和实际深反射地震数据测试,验证了优化算法的有效性,体现了良好的应用价值。

CG-DRR:数字重建放射影像循环一致性生成对抗算法

目的当前数字重建放射影像(digitally reconstructed radiograph,DRR)生成算法难以同时保证影像生成效率和质量。为此,提出一种基于循环一致性生成对抗网络(generative adversarial network,GAN)的新型DRR生成算法(cycle-GAN-DRR,CG-DRR),在保证生成效率的同时,兼顾生成影像与真实X射线影像的灰度和结构一致性。方法CG-DRR算法包含数据预处理、网络训练和网络应用3个阶段。数据预处理阶段准备后续网络训练需要的图像数据;网络训练阶段使用预处理后的数据训练循环一致性生成对抗网络;在应用阶段,训练后网络输入光线跟踪法生成的DRR图像实现DRR图像灰度校正。结果使用4个常用图像相似性指标和2个梯度相似性指标分别评估原始DRR图像与灰度校正后的DRR图像的灰度和几何结构一致性。与传统光线跟踪法相比,盆腔和胸腔数据平均峰值信噪比分别提高18.22 dB和8.82 dB,平均绝对误差分别减少0.18和0.07,归一化均方根误差分别减少0.23和0.10,结构相似度指数分别提高23.5%和13.5%,与当前最新RealDRR算法结果指标相差无几。与RealDRR算法结果相比,CG-DRR算法在DRR图像灰度校正前后人体组织结构保持更好的一致性,盆腔和胸腔数据图像特征相似性指数分别提高0.02和0.03,梯度相似性偏差分别减少0.18和0.03。CG-DRR算法生成一幅DRR图像平均耗时0.31 s。结论本文创新性地将循环一致性生成对抗机制应用于DRR生成,所提算法可以很好地应对实际临床中DRR图像与X光影像存在结构偏差的问题,可在保证生成效率的前提下兼顾灰度相似性及结构一致性,相比于现有算法更具优势。

基于改进DeepLabv3+与CycleGAN的图像风格迁移研究

CycleGAN的优势就是在没有成对训练集的情况下将图像从原目标区域迁移到目标区域,但其泛化能力较弱,针对CycleGAN无法在图像风格迁移时仅对所需目标进行迁移和DeepLabv3+模型和参数量过大的问题,本文提出了一种结合改进DeepLabv3+网络和CycleGAN的局部图像迁移方法。先使用DeepLabv3+网络对图像进行语义分割,再将分割出来的目标与迁移图像进行匹配,将得到的迁移图像转回到原图像中,实现对局部图像的迁移。在DeepLabv3+模型中使用MobileNetV2代替主干网络,使用WASP网络代替ASPP网络降低了模型体积,减少了参数量,提高检测速度。采用相似性SSIM与峰值信噪比PSNR作为迁移图像评估指标,对迁移后的效果进行评估。实验表明,使用改进DeepLabv3+网络和CycleGAN的局部图像迁移方法能够提高风格迁移质量,拥有更好的视觉效果。

谱归一化CycleGAN的轴承故障迁移诊断研究

深度学习无需先验特征提取的优点使其受到了工业设备的智能故障诊断领域研究的青睐,但深度学习的低鲁棒性和较高的数据要求阻碍其实际应用。为适应在工业现场复杂多变的工况,该文提出了一种基于谱归一化(spectral normalization, SN)和循环一致对抗网络(cycle-consistent adversarial networks, CycleGAN)的SN-1DCycleGAN网络用于变工况条件下的故障数据迁移生成和诊断。首先,搭建一种适应振动数据生成的1DCycleGAN网络,用于获得同种工况下正常信号与故障信号的映射关系。使用谱归一化对网络进行改进,有效的防止CycleGAN网络训练过程中训练不稳定情况。其次,通过不同工况的正常数据生成自适应的故障数据,实现变工况迁移生成的目的。最后,3种评价指标以及分类器准确率对数据生成质量进行定量评估,并使用仿真与试验信号进行验证。试验结果表明,SN-1DCycleGAN在一维振动信号上具备一定迁移效果,可对变工况数据进行增强,提升分类器的准确率。

基于改进CycleGAN的水下图像颜色校正与增强

针对水下观测图像的颜色失真和散射模糊问题,提出一种基于改进循环一致性生成对抗网络(Cycle-consistent generative adversarial networks,CycleGAN)的水下图像颜色校正与增强算法.为了利用CycleGAN学习水下降质图像到空气中图像的映射关系,对传统CycleGAN的损失函数进行了改进,提出了基于图像强边缘结构相似度(Strong edge and structure similarity,SESS)损失函数的SESS-CycleGAN,SESS-CycleGAN可以在保留原水下图像的边缘结构信息的前提下实现水下降质图像的颜色校正和对比度增强.为了确保增强后图像和真实脱水图像颜色的一致性,建立了SESSCycleGAN和正向生成网络G相结合的网络结构;并提出了两阶段学习策略,即先利用非成对训练集以弱监督方式进行SESS-CycleGAN学习,然后再利用少量成对训练集以强监督方式进行正向生成网络G的监督式学习.实验结果表明:本文算法在校正水下图像颜色失真的同时还增强了图像对比度,且较好地实现了增强后图像和真实脱水图像视觉颜色的一致性.

基于DDR-CycleGAN的红外图像数据增强

提出了一种基于双鉴别器相对循环一致性生成对抗网络(DDR-CycleGAN)的红外图像数据生成方法。针对双鉴别器监督机制易出现的过度优化造成的性能下降问题,该方法在双鉴别器循环一致性生成对抗网络(DD-CycleGAN)中加入了相对概率的思想,采用鉴别器鉴别图像的相对真实概率替代绝对真实概率,使得生成图片更加接近真实图片。本文方法采用FLIR数据集进行训练和测试,实验结果表明本文方法相比DD-CycleGAN在可见光图像生成红外图像的图像质量上,峰值信噪比提高了3.91%,FID(Frechet Inception Distance score)降低了3.81%。