基于残差密集融合对抗生成网络的PET-MRI图像融合

为了增强核磁共振与正电子发射断层扫描图像融合的纹理细节,摆脱人工设计融合规则对先验知识的依赖.提出了自适应的残差密集生成对抗网络(adaptive dense residual generative adversarial network,ADRGAN)来融合两种模态的医学图像.ADRGAN设计了区域残差学习模块与输出级联生成器,在加深网络结构的同时避免特征丢失;然后,设计了基于自适应模块的内容损失函数,强化输出融合图像的内容信息;最后,通过源图像的联合梯度图与融合图像的梯度图构建对抗性博弈来高效训练生成器与鉴别器.实验结果表明,ADRGAN在哈佛医学院MRI/PET数据集的测试中峰值信噪比和结构相似度分别达到55.2124和0.4697,均优于目前最先进的算法;所构建的模型具有端对端和无监督两特性,无需人工干预,也不需要真实数据作为标签.

基于生成对抗网络的多尺度密集残差雨滴去除网络

现有的图像去雨算法存在雨滴去除不彻底和除雨后的图片因过度平滑导致图像模糊等现象。针对上述问题,提出一种基于生成对抗网络(GAN)的多尺度密集残差去雨网络(MDRGAN)。首先,将卷积门控循环单元(CGRU)引入生成网络,构建雨滴检测网络框架,实现对不同大小的雨滴位置、透明度等空间信息的学习;其次,利用CGRU的门控机制,使构建的框架更关注雨滴特征,确保检测目标信息的完整性和准确性;再次,设计多尺度密集残差网络(MDRN),在密集网络中引入残差模块用于传递和去除雨滴的特征信息;进一步,在密集残差网络的最后一层、倒数第3层和倒数第5层分别设置3个尺度的输出,使网络能够同时学习不同尺度的特征信息,彻底去除检测的雨滴;最后,引入Lipschitz约束改进判别网络架构中的损失函数,以生成更清晰的无雨图像,提高GAN的训练稳定性。在公开数据集Raindrop、RainDS上进行实验与测试,并与现有的6种主流网络对比。在Raindrop的测试集的Test A上,MDRGAN的结构相似度(SSIM)比ATT(ATTention raindrop network)高1.20%;在Raindrop的测试集的Test B上,MDRGAN的SSIM比DURN(DUal Residual Network)高4.74%,峰值信噪比(PSNR)比A2Net(Adjacent Aggregation Networks)高1.80%。在RainDS的测试集上,MDRGAN的SSIM和PSNR分别比A2Net高0.95%和1.82%。MDRGAN可以有效去除检测的雨滴信息,获得更清晰稳定的去雨图像。

基于密集残差生成对抗网络的红外图像去模糊

红外图像拍摄过程中,由于摄像设备抖动或目标快速移动会导致图像出现运动模糊,极大影响了有效信息的提取和识别。针对上述问题,本文在DeblurGAN基础上提出一种基于密集残差生成对抗网络的红外图像去模糊方法。该方法首先采用多尺度卷积核,提取红外图像不同尺度和层次的特征。其次,采用密集残差块(residual-in-residual dense block,RRDB)代替原生成网络中的残差单元,改善恢复红外图像的细节信息。通过本课题组自制的红外图像数据集进行实验,结果表明所提出的方法与DeblurGAN相比PSNR提高3.60 dB,SSIM提高0.09,主观视觉去模糊效果较好,恢复后的红外图像边缘轮廓清晰且细节信息明显。

基于深度残差生成对抗网络的超分辨率重建算法研究

图像超分辨重建是计算机视觉领域中的重要研究方向之一。本文主要针对图像超分辨率在重建过程中信息恢复不充分、特征提取不全面、高频细节不明显等问题,在SRGAN的基础上提出一种基于深度残差生成对抗网络的图像超分辨率算法。该算法实现了一种深度残差的结构(Depth-ResNet),即残差中的残差,来形成非常深的网络。该结构由几个具有长跳跃连接的残差组组成,每个残差组中也包含一些具有短跳跃连接的残差块。除此之外,Depth-ResNet允许通过多个跳跃连接绕过丰富的低频信息,使主网络专注于学习高频信息,并且随着Depth-ResNet的数量与深度的调整变化,图像重建效果将取得更好的准确性与视觉改进。此外,为了平衡Depth-ResNet在生成器上的卓越性能,本文在生成器的损失函数上采用了Charbonnier损失函数与对抗损失函数,并优化了判别器的结构。根据大量实验表明,重建的图像在清晰度、高频细节等方面都有一定的提高。

基于格拉姆角场与深度卷积生成对抗网络的行星齿轮箱故障诊断

针对行星齿轮箱故障诊断中样本分布不均衡所引起的模型泛化能力差及诊断精度低等问题,采用格拉姆角场图像编码技术和深度卷积生成对抗网络相结合进行数据增强,融合AlexNet卷积神经网络进行故障诊断。将采集到的一维振动信号转化为格拉姆角场图,按比例划分训练集与测试集,将训练集样本与随机向量输入到深度卷积生成对抗网络模型中,交替训练生成器与判别器,达到纳什平衡,生成与原始样本类似的生成样本,从而实现故障样本的增广。用原始样本与生成的增广样本训练卷积神经网络分类模型,完成行星齿轮箱的故障识别。实验结果表明,所提方法能够有效提升样本不均衡条件下的行星齿轮箱故障诊断精度,使之达到99.15%,且能使收敛速度更快。

基于变分深度嵌入-带有梯度惩罚的生成对抗网络的锂离子电池老化特性建模

锂离子电池老化实验是研究电池老化性能的基本手段,但针对大量电池的老化实验一般很耗时。为了节约时间和测试成本,获得更多电池数据,该文将变分深度嵌入(VaDE)模型与带有梯度惩罚的生成对抗网络(WGANGP)相结合,组成VaDE-WGANGP架构,进而基于该生成模型设计了一种电池老化特性建模与数据生成的方法。该文以一套开放的电池全寿命周期测试数据集为依据展开研究,首先,将电池放电过程中的电压、电流和放电容量这三个外特性作为模型的输入,通过VaDE的编码器将原始数据映射到隐空间,再通过优化获得符合特定规则的分布;然后,通过一定方式对该分布空间进行采样,并将采样所得的隐变量输入解码器中进行数据生成;后续数据测试表明,VaDE-WGANGP在电池外特性数据生成上具有较好的性能,可以实现对电池老化过程中基础外特性的模拟,在数据量不足时也可以为某些数据驱动算法提供有效的扩展数据资源。

基于生成对抗网络和深度森林结合的粮食加工过程污染物小样本数据扩充及预测

粮食加工过程污染物的准确预测对粮食安全具有重要意义,但由于粮食加工工艺复杂,污染物检测困难导致数据量较小,难以满足建模预测所需,需要研究小样本的污染物数据扩充方法。同时,较小样本量的粮食加工过程污染物数据往往缺乏足够的先验知识,传统监督学习的方法对其预测精度较低,且现有连续型深度学习模型不适于粮食加工过程这一间歇过程,需研究基于无监督学习和离散深度学习的粮食加工过程污染物预测方法。为此,本文针对粮食加工过程污染物提出基于时间生成对抗网络(time generative adversarial networks,TimeGAN)的数据扩充及基于生成对抗网络(generative adversarial networks,GAN)和深度森林(deep forest,DF)结合的预测方法。首先构建TimeGAN模型,对小样本数据学习后得到多组样本数据,实现数据扩充;将无监督学习的GAN模型与适用于离散过程的DF模型结合,构建GAN-DF模型,实现污染物预测;再分别将DF与长短时记忆(long short-term memory,LSTM)-DF模型作为生成器嵌入到GAN,构建DFGAN与LSTM-DFGAN模型,进一步提高污染物预测的准确度。通过稻谷加工过程的金属污染物Pb数据(Pb含量)进行仿真验证,结果表明TimeGAN方法扩充数据可行,LSTM-DFGAN模型的综合预测效果最好,其扩充数据后的预测平均绝对误差和均方根误差低至7.50×10^(-5)mg/kg和1.60×10^(-8)mg/kg。

基于生成对抗网络的深度伪造跨模型防御方法

为了降低深度伪造技术滥用带来的社会风险,提出一种基于生成对抗网络的主动防御深度伪造方法,通过在原始图像上增加微弱扰动制作对抗样本,使多个伪造模型输出产生明显失真。提出模型由对抗样本生成模块和对抗样本优化模块组成。对抗样本生成模块包括生成器和鉴别器,生成器在接收原始图像生成扰动后,通过对抗训练约束扰动的空间分布,降低扰动的视觉感知,提高对抗样本的真实性;对抗样本优化模块由基础对抗水印、深度伪造模型和鉴别器等组成,通过模拟黑盒场景攻击多个深度伪造模型,提高对抗样本的攻击性和迁移性。在常用深度伪造数据集CelebA和LFW上进行训练和测试,实验结果表明,相比现有主动防御方法,提出方法在实现跨模型主动防御的基础上,防御成功率达到85%以上,并且对抗样本生成效率比传统算法提高20~30倍。

基于深度卷积生成式对抗网络的船型特征认知与条件生成方法

船体型值与图片一样也是序列相关型数据,所以用于生成图片的神经网络模型也能生成船型数据。由于船舶种类繁多、需求复杂,本文研究重点从船舶水线上下、船艏、舯、艉等区域位置特征,和船舶设计中普遍存在球艏、尾轴、艏部外板升高等全局几何特征的条件生成需求出发,训练条件深度卷积生成式对抗网络模型(Con⁃ditional Deep Convolutional Generative Adversarial Networks)来实现两种特征的条件认知与生成。首先,将实现船型区域位置特征与全局几何特征的条件生成作为目标,分别建立条件深度卷积生成式对抗网络模型;然后,针对两类特征设置若干从易到难的不同分割方案和特征种类,使神经网络能够循序渐进地完成条件生成任务;最后,通过对训练过程和生成结果进行对比,初步证明所研究方法用于解决船型特征条件生成问题的可行性。本研究延续了作者之前的研究成果,属于基于计算机视觉技术的船型智能设计方法领域,旨在进一步探索引入人工智能实现船型智能设计的可行性方法。

基于组残差块生成对抗网络的面部表情生成

面部表情生成是通过某种表情计算方法生成带有表情的人脸图像,在人脸编辑、影视制作和数据扩增等方面应用广泛。随着生成对抗网络的出现,面部表情生成取得了显著的进步,但是生成的面部表情图像会出现重叠、模糊等现象,缺乏真实感。为了解决上述问题,提出了一种带有混合注意力机制组残差块的生成对抗网络(group residuals with attention mechanism-generative adversarial network,GRA-GAN)用于生成高质量的面部表情图像。在生成网络进行下采样前和上采样后,分别嵌入混合注意力机制来自适应地学习关键区域特征,增强对图像关键区域的学习。将分组的思想融入到残差网络中,提出了带有混合注意力机制的组残差块来实现更好的生成效果。在公开数据集RaFD进行了实验验证。实验结果表明,GRA-GAN模型在定性评估和定量分析指标上均优于相关方法。

基于增强型多尺度残差生成对抗网络的图像压缩

为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。

基于深度传播融合生成对抗网络的文本生成图像算法

基于深度融合生成对抗网络(DF-GAN)多个融合模块相互独立,以致网络融合深度较浅并难以得到最优融合结果的问题,本文提出了一种基于深度传播融合生成对抗网络(DPF-GAN)的文本生成图像算法。该算法通过拼接相邻的仿射模块和融合模块,让前面的融合信息传播至后面的融合模块中,从而促进文本和图像更深层次地融合。实验表明,在CUB-200-2011和COCO数据集上,DPF-GAN生成的图像质量要优于DF-GAN,特别是CUB-200-2011数据集的FID指标减少了11.34%。与递归仿射变换生成对抗网络(RAT-GAN)相比,DPF-GAN的空间复杂度更低且推理速度更快。

基于对抗生成的轻量化红外图像增强网络

目前,红外成像技术在医学、安保、环境监测、军事探测等方面获得了广泛应用。然而,由于低成本红外成像设备的固有缺陷及大气环境对热辐射传导的影响,导致其采集的图像亮度较暗、细节模糊、对比度低,影响后续图像语义分析及目标检测识别等任务。传统基于模型的红外图像增强方法常需利用图像先验信息,模型参数与场景相关,模型泛化能力不强;基于深度学习的红外图像增强算法有助于增强红外图像质量,但结构冗余,不利于边缘端部署。生成对抗网络(GAN)可以通过判别器和生成器两个网络的轮流对抗训练显著提升红外图像增强效果,但网络训练参数量大,边缘端部署占用资源多,运算复杂度高。本文设计了一种基于对抗生成的轻量化红外图像增强网络,通过在GAN模型的基础上增加多层次特征融合结构并设计多尺度损失函数,提升了特征提取效率并减少了网络层数,在提升图像质量的同时提高了增强效率,利于算法的边缘端部署。实验表明,本文方法在同等参数量下,通过添加多层次特征融合结构和多尺度损失函数,兼顾了图像的全局和局部特征,保证了细节信息不丢失,在提高网络性能的前提下未明显增加计算复杂度;在红外图像增强效果相当的情况下,模型参数量降低75.0%,边缘端设备推断时间降低32.07%。

基于UNet3+生成对抗网络的视频异常检测

为解决传统视频异常检测方法在不同场景下多尺度特征提取不完全的问题,提出两种方法:一种是用于简单场景的基于UNet3+的生成对抗网络方法(简称U3P^(2)),另一种是用于复杂场景的基于UNet++的生成对抗网络方法(简称UP^(3))。两种方法分别对连续输入的视频帧生成预测,引入多种损失函数和光流模型学习其外观与运动信息,通过计算AUC进行性能评估。U3P^(2)方法以6.3 M参数量在Ped2数据集的AUC提升约0.6%,而UP^(3)方法在Avenue数据集的AUC提升约0.8%,验证其能够有效应对不同场景下的异常检测任务。

基于生成式对抗网络和多模态注意力机制的扩频与常规调制信号识别方法

针对低信噪比条件下的扩频与常规调制信号分类精度低的问题,该文提出一种基于生成式对抗网络(GAN)、卷积神经网络(CNN)和长短期记忆(LSTM)网络的多模态注意力机制信号调制识别方法。首先生成待识别信号的时频图像(TFIs),并利用GAN实现TFIs降噪处理;然后将信号的同相正交数据(I/Q data)与TFIs作为模型输入,并搭建基于CNN的TFIs识别支路和基于LSTM的I/Q数据识别支路;最后,在模型中添加注意力机制,增强I/Q数据和TFIs中重要特征对分类结果的决定作用。实验结果表明,该文所提方法相较于单模态识别模型以及其它基线模型,整体分类精度有效提升2%~7%,并在低信噪比条件下具备更强的特征表达能力和鲁棒性。

基于循环生成对抗网络的逆时偏移成像结果优化

在常规逆时偏移方法基础上,通过引入循环生成对抗网络(CycleGAN)发展一种基于循环生成对抗网络的逆时偏移成像结果优化方法。首先构建包含两个生成器和两个判别器的CycleGAN。在对抗损失、循环一致性损失函数的基础上,添加身份损失函数,以避免训练过度;然后,组建样本集来训练网络,使其学习常规逆时偏移成像结果和最小二乘逆时偏移成像结果之间的映射关系;最后,利用其他合成数据和实际资料测试网络效果。结果表明,提出的基于循环生成对抗网络的逆时偏移成像结果优化方法在获得高精度、高信噪比成像结果的同时有效地提高了计算效率。

应用生成对抗网络的地震数据重建和去噪一体化方法

在实际采集过程中,受地形条件和人为因素的影响,地震数据不仅在空间上会出现采样不足或不规则的情况,而且会混入噪声,不利于后续地震数据的处理和解释。通常将重建与去噪分为两个阶段处理,这样往往会引入额外的误差。为此,文中提出了一种基于条件韦氏生成对抗网络(cWGAN)的地震数据重建去噪一体化方法,该方法研究的重点是在缺失道和噪声的混合干扰下,准确提取地震数据的有效特征。首先,以U-Net模型为基本网络结构来构建生成器模型,分级提取地震数据同相轴特征;在判别器模型中引入条件约束,引导生成器优化梯度方向。其次,建立重建和去噪误差描述模型,该模型设计了一体化损失函数,可以兼顾重建与去噪两方面的处理任务。最后,经过合成数据和实际数据测试,证明文中所提的网络模型恢复的地震数据信噪比更高且具有较强鲁棒性。

基于时序生成对抗网络的居民用户非侵入式负荷分解

现有的非侵入式负荷分解算法往往需要大量电器设备级的负荷数据才能保证分解精度,但由于用户对隐私性的考虑以及安装成本过高等问题,很难获取这些数据。因此,构建一种能深度挖掘电力负荷数据时序特性和电器相关性的时序生成对抗网络。利用降维网络对所有电器有功功率序列组成的高维向量进行降维以降低计算的复杂度,通过复原网络将结果还原为高维向量。基于电器运行状态和深度学习的非侵入式分解方法,运用卷积神经网络-双向门控循环单元构建状态复杂电器的负荷分解回归模型,对状态简单电器利用深度神经网络构建负荷识别分类模型。通过对比其他数据生成方法,以及改变典型公开数据集中生成数据比例所得的负荷分解结果验证了所提方法的有效性。

基于生成对抗网络的文本转图像研究

近几年,生成对抗网络(Generative Adversarial Network, GAN)在文本转图像中已经取得了显著成果,但是当生成复杂图像时,一些重要的细粒度信息常常会丢失,包括图像边缘模糊、局部纹理不清晰等问题。为了解决上述问题,在堆叠式生成对抗网络(Stack GAN)基础上,该文提出一种基于深度注意力的堆叠式生成对抗网络模型(Deep Attention Stack GAN, DAS-GAN),模型第一个阶段生成图像的基本轮廓和颜色,第二个阶段部分外观和颜色的补充和校正,最后一个阶段细化图像的纹理细节。通过在CUB数据集上实验的初始得分发现,DAS-GAN相比StackGAN++和AttnGAN分别提高了0.296和0.078,从而证明了该模型的有效性。

基于注意力机制的生成对抗网络图像超分辨重建

针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块,进一步捕获更多的信息特征,提高网络对图像细节的还原能力,用于最终重建.判别网络中使用非对称卷积替代传统卷积,减少参数计算量;并引入自注意力机制更精确地获取图像全局信息,提高网络重建性能.实验结果表明,重建后图像和原始图像相比具有更多的高频纹理细节,与7种常见的图像超分辨方法相比,PSNR(Picture Signal to Noise Ratio)平均提升约2.43 dB,SSIM(Structural Similarity Image Measurement)平均提升约0.1.