面向医学图像层间插值的循环生成网络研究

由于受成像设备性能及辐射剂量等因素的限制,CT以及MRI图像序列的层间分辨率远低于层内分辨率,这极大地限制了医学图像的应用,如何有效提高医学图像序列的层间分辨率是一个亟待解决的问题。针对此问题,将医学图像转换成对应的二值图像,实现对连续医学图像序列简单且流畅的层间插值处理,提出一种医学图像层间插值循环生成网络。该网络由2个模块构成:图像转换模块设计包含9个残差块和2个双线性上采样模块的生成器子网络实现有效的图像转换,然后通过该模块学习到的双向非线性映射能力实现医学图像和其对应二值图像之间的循环映射;插值模块将运动估计和图像生成合并到单个卷积步骤中,并构造一个适于医学图像特征的二值图Charbonnier差损失函数进一步提高图像清晰度,完成对二值图像序列的插值处理。在5个多类型数据集上的实验结果表明,生成图像的平均峰值信噪比(PSNR)和结构相似性(SSIM)均优于先进对比方法,在图像边缘、轮廓等细节信息的处理上更加出色。

基于循环生成对抗网络的逆时偏移成像结果优化

在常规逆时偏移方法基础上,通过引入循环生成对抗网络(CycleGAN)发展一种基于循环生成对抗网络的逆时偏移成像结果优化方法。首先构建包含两个生成器和两个判别器的CycleGAN。在对抗损失、循环一致性损失函数的基础上,添加身份损失函数,以避免训练过度;然后,组建样本集来训练网络,使其学习常规逆时偏移成像结果和最小二乘逆时偏移成像结果之间的映射关系;最后,利用其他合成数据和实际资料测试网络效果。结果表明,提出的基于循环生成对抗网络的逆时偏移成像结果优化方法在获得高精度、高信噪比成像结果的同时有效地提高了计算效率。

基于循环生成对抗网络和Transformer的单幅图像去雾算法

针对传统去雾算法在配对数据集上训练时产生过拟合的问题,基于密度和深度分解的非配对图像去雾网络模型,改进了自增强缩放网络。引入Transformer机制,将其与深度卷积神经网络模块深度融合,提出了一种使用未配对数据集训练的基于循环生成对抗网络和Transformer的CT-Nets图像去雾算法;提取输入图像的深度信息和散射系数特征值,利用大气散射模型尽可能恢复不同场景下真实雾的浓度信息,以提高去雾图像主观视觉质量;基于Swin-Transformer设计自增强精化层,以获得精细的细粒度信息,提高模型泛化能力和最终预测图像真实性。实验结果表明,相较于基于密度和深度分解的非配对图像去雾网络模型,CT-Nets图像去雾算法的峰值信噪比和结构相似性分别提升4%和4.1%。

基于循环生成对抗网络的增强罗兰信号生成

在信号生成算法中,需要大量标记信号样本用于网络训练,但通常携带电文信息标记的信号难以批量获取。针对此问题本文提出一种基于循环生成对抗网络和迁移学习的方法,实现了无需大量信号及对应电文作为标记的增强罗兰信号生成,并使用迁移学习在少量实测信号情况下快速生成。循环生成对抗网络的结构包括两个生成器和两个判别器,利用无需一一对应的增强罗兰信号和电文数据集,使生成器学习到两个数据集之间的相互转换关系,实现输入电文数据可以生成与之相对应的增强罗兰信号,并且针对增强罗兰信号的特性,使用一维卷积、残差网络、自注意力机制对网络模型进行改进。实验证实,生成信号与实测数据的均方误差为0.0153,平均皮尔逊相关系数为0.9843,且所含电文信息准确率为99.02%。本文在PSK、ASK、FSK数据集上验证了算法,实验结果表明生成的信号满足预期,为未知参数的信号调制和解调提供一种新的思路。

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络模型的方法研究了非配对低照度图像增强的实现。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效地处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力。同时引入身份一致性损失函数,提高图像质量。结果表明,相较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高,可见本文改进模型的有效性。

基于生成对抗网络的植物景观生成设计——以花境平面图生成为例

【目的】植物景观设计需要科学性和技术性兼备。探索人工智能,特别是生成对抗网络(generative adversarial network,GAN)在植物景观设计中的应用,能够帮助设计师提高设计过程的效率。【方法】以花境平面图生成设计为例,建立了基于细致筛选优化的植物平面数据集。数据集标注基于植物分类,考虑了植物的种类、搭配原则及空间布局规律。引入循环生成对抗网络(cycle generative adversarial network,CycleGAN)模型对数据集进行学习,实现花境平面设计的自动生成。【结果】CycleGAN模型在以花境为代表的植物景观设计中具有独特的优势,花境平面图生成模型能够准确识别条形场地边界,并在色彩再现方面表现出较高的精度和可识别性。生成平面图的空间布局中,色块大小、平面布局形态和位置展示了各种植物的空间分布特点,并能够复现部分潜在搭配组合,生成了符合美学和生态原则的设计方案。然而,模型在部分场地边框的准确识别和设计结果的多样性方面仍存在局限。【结论】证明了CycleGAN在植物景观设计领域的应用潜力,并为实践中的植物景观设计提供了创新和有效的解决方案。

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。

基于循环生成对抗网络的人脸素描合成

针对当前卷积神经网络通常以降低感受野为条件获得多尺度图像特征,以及很难捕获各特征通道之间重要关系的问题,结合循环生成对抗网络结构的特点提出一种新的多尺度自注意力机制的循环生成对抗网络.首先,在生成器中使用VGG16模块组成U-Net结构网络,以增强对图像特征信息的提取,同时对网络中的下采样和上采样进行改进,以提高特征分辨率,获取更多的细节信息;其次,设计多尺度特征聚合模块,采用不同采样率的多个并行空洞卷积,整合了不同尺度上的空间信息,在保持图像较大感受野的同时,多比例地捕捉图像信息;最后,为捕获空间维度和通道维度中的特征依赖关系,设计像素自注意力模块对空间维度和通道维度上的语义依赖关系进行建模,以增强图像特征的表现能力,提高生成素描图像的质量.

基于循环生成对抗网络的超分辨率重建算法研究

为了提高图像超分辨率重建的效果,该文将注意力机制引入多级残差网络(Multi-level Residual Attention Network,MRAN)作为CycleGAN的重建网络,提出了基于循环生成对抗网络(CycleGAN)的超分辨率重建模型MRA-GAN。MRA-GAN模型中重建网络负责将低分辨率(LR)图像重建为高分辨率(HR)图像,退化网络负责将HR图像降采样为LR图像,LR判别器负责鉴别真实LR图像和通过退化网络降采样得到的LR图像,HR判别器负责鉴别真实HR图像和通过重建网络重建得到的HR图像,并且改进了CycleGAN原有的判别器判别方式和损失函数。实验结果验证了MRA-GAN模型与现有算法相比,在峰值信噪比(PSNR)和结构相似性(SSIM)等指标上都有所改进。

一种基于循环生成式对抗网络的去雾算法

针对现有基于学习的去雾算法在处理过程中需要成对的数据来训练网络参数的问题,提出了一种基于循环生成式对抗网络的去雾算法.该算法通过使用编码器-解码器(Encoder-Decoder,ED)体系结构来构建生成器网络,然后采用一种不成对的图像训练方法来训练网络参数,估计出传输图,最后根据估计的传输图和大气光值,利用光学模型恢复出无雾清晰图像.实验结果表明:对于室内、外有雾图像,本文提出的方法可以在不发生任何颜色失真的情况下恢复无雾场景,而且相对于其他方法,该方法在多个评价指标上都有明显的性能优势.

基于改进循环生成式对抗网络的图像去雾方法

针对现有图像去雾方法存在的颜色失真、细节丢失以及去雾效果不自然等问题,提出一种改进的循环生成式对抗网络用于图像去雾。通过添加多尺度鉴别器作为判别器来改进原始网络结构,增强判别能力,引导网络产生更精细自然的无雾图像。同时重新设计损失函数,使用最小二乘代替交叉熵作为对抗损失,引入循环感知损失,结合原始循环一致性损失组成新的复合损失函数,提高图像颜色与细节恢复的质量。在D-HAZY和SOTS数据集上的实验结果表明:该方法能够生成较为自然的无雾图像,其主观效果和客观指标均优于对比方法,具有更好的去雾能力;与原始循环生成式对抗网络相比,峰值信噪比从19.052 dB提高至23.128 dB,结构相似性指数从0.787提高至0.867。与DehazeNet、AOD-Net与GCANet等主流去雾方法相比,峰值信噪比和结构相似性指数比排名第二的方法分别提升7.1%和4.3%。

基于循环生成对抗网络的鼻咽癌CBCT图像修正

目的:利用循环生成对抗网络模型(CycleGAN)进行锥形束CT(CBCT)图像迁移,生成伪CT(sCT)图像,从而实现CBCT图像的HU值矫正。方法:回顾性分析在福建省肿瘤医院行放射治疗的鼻咽癌患者39例,所有患者均接受临床CT与CBCT扫描。以CBCT图像为基准,采用刚性配准算法对临床CT和CBCT进行配准,获得重采样计划CT(pCT)。经阈值分割及形态学处理获取配对影像的外轮廓内部区域作为掩膜,对配对影像进行掩膜操作及归一化预处理。建立CycleGAN神经网络,训练sCT生成模型。基于体素点计算平均绝对误差(MAE)和平均误差(ME),用于比较测试集sCT与pCT之间的差异。结果:测试集的sCT图像与pCT图像相比较,在体外轮廓内的MAE和ME分别为(99.00±15.37)HU和(-24.00±12.64)HU;软组织区域的MAE和ME分别为(48.00±7.45)HU和(-7.00±8.96)HU。结论:CycleGAN能修正CBCT图像的HU值,迁移生成的sCT图像具有与pCT图像近似的HU值及平滑性,可用于放射治疗剂量计算。

基于循环对抗生成网络的胸部锥形束CT校正及剂量计算准确性

目的:采用循环对抗生成网络算法建立胸部锥形束CT(CBCT)校正模型,探讨该模型用于提升CBCT质量的可行性,评估校正的CBCT(CCBCT)用于剂量计算的准确性。方法:选择食管癌或肺癌患者已配准的CBCT和定位CT70例,随机选取其中60例作为训练集,用来训练循环对抗生成网络,生成CBCT的校正模型。剩余10例作为测试集,对CBCT、CCBCT和定位CT之间的CT值平均绝对误差、峰值信噪比、归一化互相关进行统计学分析。将原调强计划(CTPlan)移植到CCBCT上,生成CCBCTPlan,以CTPlan剂量分布为参考,对CCBCTPlan进行三维剂量γ分析。结果:CBCT经校正后散射伪影显著减少,CT值平均绝对误差降低了52.74%±6.47%,峰值信噪比和归一化互相关分别提高了7.95%±3.56%和1.68%±3.38%,差异均有统计学意义(t=18.47、-7.31、-6.77,P<0.05)。在2mm/2%、2mm/1%和1mm/1%条件下,CCBCTPlan三维剂量平均γ通过率分别为99.16%±0.34%、98.01%±0.72%、93.95%±1.62%。结论:基于循环对抗生成网络构建的CBCT影像校正模型用于提升CBCT影像质量是可行的,经校正的胸部CBCT可用于放疗剂量计算,为CBCT用于自适应放疗剂量计算奠定基础。

基于循环生成对抗网络的壁画色彩修复算法

针对敦煌唐代壁画修复所面临的褪、变色以及修复后的壁画图像色彩存在假色和伪影的问题,提出基于循环生成对抗网络和多尺度融合协调注意力机制的壁画色彩修复算法。首先在循环一致性损失中添加同一映射损失,然后改进协调注意力机制,提出多尺度融合的协调注意力机制,最后在生成器中引入多尺度融合的协调注意力机制,对图像进行卷积核大小为1×1、3×3、5×5、7×7的多尺度卷积运算,提高生成图像的协调性。实验结果表明,与CycleGAN、WGAN等经典算法相比,本文算法在构造的壁画数据集上精度更高,可以在不依赖专家知识的情况下修复褪色壁画图像的颜色。

循环生成对抗网络基于颅脑MR图生成伪CT图模型

目的采用改进循环生成对抗网络(UCycleGAN)基于颅脑MR图映射模型生成伪CT图。方法对50例鼻咽癌颅脑MR图与CT图进行配准及预处理;以U-net网络并添加L1距离函数替换原始循环GAN(CycleGAN)模型生成器的深度残差网络。随机选取40例图像作为训练数据对UCycleGAN模型进行训练,将剩余10例用于测试;比较生成伪CT图与原始图像质量的差异,并与以ResNet、U-net的CycleGAN以及Pix2Pix生成的图像进行对比。结果相比其他模型,以UCycleGAN模型生成的伪CT图与原始CT图更为接近,体素平均绝对误差(MAE)为(81.45±3.87)HU,峰值信噪比(PSNR)为(34.13±3.28)dB,结构相似性(SSIM)为0.87±0.03。采用UCycleGAN模型生成的伪CT图的MAE小于、而SSIM明显大于其他3种模型(P均<0.05);UCycleGAN伪CT图的PSNR大于CycleGAN_ResNet图像(P<0.05)。结论利用UCycleGAN可基于颅脑MR图生成伪CT图;改良后CycleGAN模型的准确性更高。

基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构(UNet)进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。

基于改进循环生成对抗网络实现红外图像生成

针对目前已有的可见光图像生成红外图像的算法不能感知图像的弱纹理区域而导致生成的图像细节信息不突出、图像质量低的问题,本文提出了一种适用于图像生成任务的改进循环生成对抗网络(CycleGAN)结构。首先,利用特征提取能力更强的残差网络构建CycleGAN的生成器网络结构,使图像特征可以充分被提取,解决图像因特征提取不充分导致图像质量低下的问题;其次,在生成器的网络结构中引入了通道注意力机制和空间注意力机制,利用注意力机制对图像感知能力较差的区域进行权重处理,解决图像纹理细节丢失的问题。在OSU数据集上,本文所提出的方法相较于CycleGAN方法在峰值信噪比(PSNR)以及结构相似性(SSIM)指标上分别提高了7.1%和10.9%,在Flir数据集上的PSNR和SSIM分别提高了4.0%和6.7%。经过多个数据集上的实验结果证明,本文改进的方法能够突出图像生成任务中的细节特征信息,并且能有效地提升图像生成的质量。

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络(Cycle-GAN)在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制(SE-Net),利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习(CL),使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。

基于循环生成式对抗网络实现停车场时空数据的修复

停车诱导技术在一定程度上缓解了高峰时段无序停车问题,并减少了司机寻找车位的时间,但停车诱导系统对实时数据和历史数据有较高的依赖。如果缺少相应数据,那么诱导系统的准确性将大打折扣。针对这一问题,该文通过挖掘停车场周围的空间数据,提出了一种停车场空间相似度度量,并计算出停车场空间相似情况下其数据的相似条件概率。当条件概率足够大时,以已知数据为学习样本,使用循环生成式对抗网络获得修复数据。实验结果表明,当停车场空间具有较高空间相似度时,其数据同样有大概率的相似性,使用循环生成式对抗网络生成的数据与真实数据具有相同的分布。该文提出的方法可在短时间内生成大量的合理数据,实现停车场数据的修复,提高诱导系统的可靠性。

基于循环生成对抗网络的低质量眼底图像增强效果评估

目的构建循环生成对抗网络(CycleGAN)对模糊、曝光不足、曝光过度等低质量眼底图像进行质量提升,并对其效果进行评估。方法从EyePACS数据集中分别选取700张高质量和700张低质量眼底图像作为本研究的数据集。对数据集图像进行裁剪并统一缩放至512×512分辨率。采用2个生成模型和2个判别模型构建CycleGAN,生成模型根据输入的低/高质量眼底图像生成匹配的高/低质量图像,判别模型判别原始图像和生成图像。将本研究提出的算法与限制对比度自适应直方图均衡化(CLAHE)、动态直方图均衡化(DHE)、带色彩恢复的多尺度Retinex(MSRCR)3种图像增强算法的结果进行视觉定性评估,并采用清晰度、BRISQUE、色度、饱和度作为定量指标进行评估。应用糖尿病视网膜病变(DR)诊断网络对原图及不同算法增强图像进行诊断;并比较其准确度和特异度。结果CycleGAN算法对模糊、曝光不足、曝光过度3类低质量眼底图像的增强均取得最优效果,增强后的眼底图像对比度高、色彩丰富,视盘、血管结构清晰。CycleGAN算法增强的图像清晰度仅次于CLAHE算法;BRISQUE质量分数为0.571,比CLAHE、DHE和MSRCR算法分别高出10.2%、7.3%和10.0%;色度和饱和度分别为103.03、123.24,均高于其他算法;该算法增强100张图像仅需35 s,仅次于CLAHE算法,在速度上具有明显优势。CycleGAN算法增强的图像在DR诊断中的准确率和特异度分别为96.75%和99.60%,均较原图有所提高。结论CycleGAN可有效提升模糊、曝光不足、曝光过度眼底图像的质量,并有效提高计算机辅助DR诊断系统的准确率,可能在眼科临床诊断中有很大的应用价值。