基于改进型生成式对抗网络的EEG-fNIRS多模态信号数据增广研究

目的基于深度学习的脑电图-功能性近红外光谱技术(electroencephalogram-functional near-infrared spectroscopy,EEG-fNIRS)多模态脑机接口在康复工程中具有广泛的应用前景,但存在数据量不足的问题。为此,本文提出一种基于改进条件生成式对抗网络(conditional generative adversarial network,CGAN)的EEG-fNIRS多模态信号数据增广方法,以解决EEG-fNIRS多模态脑机接口与深度学习结合时面临的数据量匮乏的问题。方法首先,对EEG和fNIRS数据进行滤波、归一化和下采样等预处理。然后,针对EEG的非平稳特点,在CGAN生成器和判别器中增加自注意力机制,获得EEG数据增广模型CGAN_(E),加强捕捉和学习时变关键信息的能力。同时,针对fNIRS采样率低、信息量不充分问题,在CGAN生成器和判别器中增加上采样卷积层,获得fNIRS数据增广模型CGAN_(f),加强模型的信息挖掘能力,并将CGAN_(E)和CGAN_(f)的条件信息设置为类标签;进而,利用CGAN_(E)和CGAN_(f)对每导EEG和fNIRS分别进行增广,并将多导EEG扩增数据和多导fNIRS[包括氧合血红蛋白浓度(oxyhemoglobin concentration,HbO)和脱氧血红蛋白浓度(deoxyhemoglobin concentration,HbR)两种]扩增数据串接融合,获得EEG-fNIRS多模态增广数据。最后,对公开的EEG-fNIRS多模态信号数据集TU-Berlin-A前6名受试者数据进行增广实验,并设计一维卷积神经网络分类器评估增广数据的质量。结果基于EEG-fNIRS多模态信号公开数据集TU-Berlin-A前6名受试者的左右手运动想象数据进行实验研究表明,当数据扩增5倍时,本文方法取得94.81%的平均分类准确率。结论CGAN_(E)和CGAN_(f)能够生成接近真实数据分布的EEG和fNIRS信号,验证了对CGAN改进和本文所提EEG-fNIRS多模态数据增广方法的有效性。

基于条件生成式对抗网络和AlexNet-BiLSTM模型的变电设备缺陷检测

针对巡检机器人拍摄变电设备图像含噪严重、图像模糊和分辨率低影响设备缺陷检测的问题,提出一种基于条件生成式对抗网络和AlexNet-BiLSTM的变电设备缺陷检测方法,实现变电设备缺陷定位与辨识。首先,通过条件生成式对抗网络将模糊图像转换成清晰图像;其次,为了避免大量超参数的设置,提高网络的训练速度,引入迁移学习思想,采用变电设备图像训练预训练的AlexNet网络,通过AlexNet网络提取图像的高维特征向量,利用双向长短时记忆网络(bi-directional long short-term memory, BiLSTM)对提取的特征向量进行分类;最后,在R-CNN框架下完成变电设备缺陷的标注和辨识。试验结果表明,所提方法复原的图像主观视觉效果良好,客观评价指标高,提高了变电设备缺陷检测准确率。

改进深度卷积生成式对抗网络的文本生成图像

针对深度卷积生成式对抗网络(DCGAN)模型高维文本输入表示的稀疏性导致以文本为条件生成的图像结构缺失和图像不真实的问题,提出了一种改进深度卷积生成式对抗网络模型CA-DCGAN。采用深度卷积网络和循环文本编码器对输入的文本进行编码,得到文本的特征向量表示。引入条件增强(CA)模型,通过文本特征向量的均值和协方差矩阵产生附加的条件变量,代替原来的高维文本特征向量。将条件变量与随机噪声结合作为生成器的输入,并在生成器的损失中额外加入KL损失正则化项,避免模型训练过拟合,使模型可以更好的收敛,在判别器中使用谱约束(SN)层,防止其梯度下降太快造成生成器与判别器不平衡训练而发生模式崩溃的问题。实验验证结果表明:所提模型在Oxford-102-flowers和CUB-200数据集上生成的图像质量较alignDRAW、GAN-CLS、GAN-INT-CLS、StackGAN(64×64)、StackGAN-v1(64×64)模型更好且接近于真实样本,初始得分值最低分别提高了10.9%和5.6%,最高分别提高了41.4%和37.5%,FID值最低分别降低了11.4%和8.4%,最高分别降低了43.9%和42.5%,进一步表明了所提模型的有效性。

一种基于条件生成式对抗网络的文本类验证码识别方法

验证码被广泛应用于网站登录、注册等环节,用来增强身份验证和防止来自计算机程序的自动攻击.其中文本类验证码由于密码空间大、交互方式简单等特点被大多数主流网站使用.目前,为了增加计算机程序对文本类验证码自动识别的难度,设计时普遍将复杂干扰信息、字符扭曲、旋转和粘连、不同类型字体等安全性特征随机组合使用.由于组合了多种安全特征,传统的验证码识别方法对该种验证码的识别率非常低甚至失效.针对此类文本类验证码,本文提出了一种基于条件生成式对抗网络(CGAN)的通用识别方法.该方法利用CGAN去除验证码中的背景干扰信息并拉伸验证码中的字符间距,以生成无干扰且无字符粘连的验证码.然后使用本文优化组合的分割算法对验证码进行有效分割,再通过GoogleNet对分割后的单个字符进行识别.并且在难以以低成本大量获取真实验证码的情况下,本文设计了程序模拟验证码对网络进行训练,训练成本远低于现有其他方法且训练效果良好.最终的实验结果表明,本文提出的方法能够成功的识别Microsoft、Wikipedia、百度、支付宝、新浪等国际主流网站的验证码,识别率相较于传统方法最大提升度可达到70.2%.

基于条件生成式对抗网络的AFM图像盲重构方法

针对原子力显微镜(AFM)成像过程中针尖展宽效应引起的误差,提出一种基于条件生成式对抗网络(CGAN)的AFM图像盲重构方法。首先,以pix2pixHD模型为基础,通过全局生成网络对仿真样本数据进行对抗训练,引入AFM测量数据采用局部提升网络联合训练;最后,特征匹配损失函数以用于提升栅格边缘横向分辨力。实验结果表明:对于线宽8μm一维矩形栅格在AFM下的测量图像进行盲重构,重构图像标准差为0.33μm×0.45μm,具有较高的成像分辨力,有利于提升AFM图像一维栅格测量的准确度。

采用条件生成式对抗网络的缺损牙全冠修复技术

针对传统手工修复缺损牙治疗周期长,牙科CAD系统修复缺乏个性化的问题,提出一种结合条件生成式对抗网络和高维特征损失约束的全冠咬合面个性化设计方法.首先,通过计算三维牙齿曲面深度信息,获取患牙预备体及其他条件模型的二维深度图并构建数据集;其次,以对颌牙条件数据作为咬合关系约束,同名对称牙冠数据作为形态辅助信息,利用构建的网络模型实现预备体数据向目标牙冠数据的空间映射;然后,将生成的牙冠深度图重建为三维网格模型,完成缺损牙的形态重建;最后,选取部分患牙模型进行实验测试,分析了不同约束条件对生成的牙冠咬合面形态的影响,对比了不同修复方法重建牙冠的质量.结果表明,该方法能够高效、个性化地重建全冠咬合面的解剖特征,满足缺损牙功能性修复的设计要求.

有条件生成对抗网络的IVUS图像内膜与中-外膜边界检测

针对血管内超声(IVUS)图像中各类斑块、超声阴影和血管分支等造成内膜(LU)与中-外膜(MA)边界难以准确检测的问题,提出一种结合堆叠沙漏网络(SHGN)和有条件生成对抗网络(C-GAN)的IVUS内膜与中-外膜检测的改进方法。首先根据血管形态特点,使用旋转、缩放和Gamma变换等方法将图像训练集扩充57倍,降低网络训练过拟合风险;然后利用对抗训练思想,构建基于L1、L2重建损失的联合损失函数,学习超声图像与其对应分割图像的映射关系,将IVUS图像分割为3种不同区域:血管外周组织、斑块区域和内腔区域;最后在图像分割结果上,采用阈值处理方法,检测最终的内膜与中-外膜边界。采用国际标准IVUS图像数据集(10位病人435幅)评价所提出的算法。实验量化评价结果为:内膜计算面积交并比(JM) 93%,面积差异百分比(PAD) 3%,Hausdorff距离(HD) 0.19 mm;中-外膜JM 95%,PAD 3%,HD 0.16 mm。这些指标满足临床诊断要求,性能优于现有的、近年较好的9种算法,以及Pix2Pix模型。在临床实践应用分析中,利用南部战区总医院心血管内科所收集的100幅IVUS图像进行检验,取得较好的分割结果。这表明该方法具有较好的跨数据集泛化性能。

基于条件生成式对抗网络的面部表情迁移模型

面部表情迁移是计算机视觉角色动画领域的关键技术,但现有面部表情迁移方法存在生成表情不自然、缺乏真实感、迁移模型复杂以及训练难度大等问题.为此,构建一种基于条件生成式对抗网络的面部表情迁移模型.通过设计域分类损失函数指定表情域条件,使单个生成器学习多个表情域之间的映射,同时利用模型生成器和判别器之间的条件约束与零和博弈,在仅训练一个生成器的情况下同时实现7种面部表情迁移.实验结果表明,该模型能够有效进行面部表情迁移并且鲁棒性较强,其生成的面部表情较StarGAN模型更自然、逼真.

基于一种条件熵距离惩罚的生成式对抗网络

生成高质量的样本一直是生成式对抗网络(generative adversarial networks,简称GANs)领域的主要挑战之一.鉴于此,利用条件熵构建一种距离,并将此直接惩罚于GANs生成器目标函数,在尽可能保持熵不变的条件下,迫使生成分布逼近目标分布,从而大幅度地提高网络生成样本的质量.除此之外,还通过优化GANs的网络结构以及改变两个网络的初始化策略,以进一步提高GANs的训练效率.在多个数据集上的实验结果显示,所提出的算法显著提高了GANs生成样本的质量;尤其是在CIFAR10、STL10和Celeb A数据集上,将最佳的FID值从20.70、16.15、4.65分别降低到14.02、12.83、3.22.

基于条件的边界平衡生成对抗网络

目前没有能够使用简单网络结构生成高质量特定图像的生成模型,针对这一项任务,结合边界平衡生成对抗网络(boundary equilibrium generative adversarial network,BEGAN)的优点,添加附加条件特征以及均方误差损失,建立了条件边界平衡生成对抗网络(conditional-BEGAN,C-BEGAN),使用这种方法提取其中的生成模型用于特定图像的生成,实验结果表明,该方法相比于其他监督类生成模型可以使用更简单的网络达到更快的收敛速度,并且能够生成具有更好质量以及多样性的图片。

基于条件生成式对抗网络的情感语音生成模型

提出了一种基于条件生成对抗网络的情感语音生成技术,在引入情感条件的基础上,通过学习语音库中的情感信息,能够自主生成全新的富有指定情感的语音.生成式对抗网络是由一个判别网络和一个生成器组成.使用TensorFlow作为学习框架,利用条件GAN模型对大量情感语音进行训练,利用语音生成网络G和生成网络D构成动态"博弈过程",更好地学习观测语音情感数据的条件分布.其生成样本接近原始学习内容的自然语音信号,具有多样性,而且能够逼近符合真实情感的语音数据.所提出的解决方案在交互式情绪二进制动作捕捉IEMOCAP语料库和自建情感语料库上进行评估,并且与现有情感语音生成算法相比显示出提供更准确的结果.

基于条件生成式对抗网络的CT金属伪影校正研究

医用CT成像时,若病人体内存在金属植入物如牙齿种植体、心脏起搏器和金属钉等,重建图像中会出现严重的金属伪影。金属伪影会损坏重建图像的断层结构,降低图像质量并影响临床诊断结果。针对金属伪影校正研究中不同组织交界处存在残留伪影的问题,本文研究了基于条件生成式对抗网络的金属伪影校正算法。生成器模型使用残差编解码网络框架,鉴别器模型采用PatchGAN网络;并加入无金属伪影CT图像作为参考条件,在监督训练条件下得到最终校正图像。实验分析表明,该方法可以消除不同组织过渡区域的微弱伪影,恢复出大部分精细的结构细节。

生成式对抗网络的应用综述

生成式对抗网络(GAN)是一种优秀的生成式模型,能够不依赖任何先验假设,学习到高维复杂的数据分布。这一强大的性能使得它成为近年来研究的热点,并在诸多应用领域取得了显著的研究成果。首先介绍了生成式对抗网络的基本原理,各种目标函数以及常用的模型结构。然后,详细分析了生成式对抗网络在条件限制下生成图片的各种演进方法。此外,介绍了生成式对抗网络在不同领域的应用,包括高分辨率图像生成、小目标检测、非图像数据生成、医学图像分割等方面的最新研究进展。最后,总结了生成式对抗网络训练过程中的优化技巧。旨在通俗地阐明GAN的基础理论以及发展历程,并从应用角度对未来工作进行了展望。

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.

基于生成对抗网络的叠合板拆分

为了解决叠合板拆分受设计师与预制厂的差异容易出现难以设计的问题,提出了基于pix2pix算法构建叠合板拆分预测模型,通过输入支座图进而生成对应的叠合板拆分图,从而实现对叠合板快速拆分设计。探讨利用规则约束下机器学习的方法和理念,优化叠合板拆分方案,为预制厂提供了模型训练方法。为评估模型,建立基于拆分尺寸、方向与顺序掌握的评价体系。结果表明,训练后的模型可在2 s内快速绘制叠合板拆分图,且模型生成思维与人工设计思维基本吻合。

基于条件生成对抗网络的图像去雾算法

本文改进了一种基于条件生成对抗网络的图像去雾算法。在生成器网络模型中使用32层Tiramisu代替U-Net可以减少训练参数,提高参数利用率。判别器网络的最后一层使用Sigmoid函数完成归一化。使用损失函数加权和的方式训练网络模型,使用一种评价去雾能力的分数,保存训练过程中分数较高的模型及参数,最后使用分数最高的网络模型及参数对室外真实图像进行去雾测试。训练集使用了室内和室外的真实无雾图像以及合成有雾图像,测试结果显示本文提出的模型和传统去雾方法相比,主观视觉效果、图像细节、色彩方面都有提高改善。

基于生成式对抗网络的小样本图像生成

研究基于小规模数据集(即图像尺寸维度远大于样本集的数据规模)的图像生成问题,数据集规模过小会影响深度学习中生成式模型(Generative Models)生成图像的效果。针对小规模数据集图像生成问题,对已有深度卷积生成式对抗网络DCGAN进行了改进,提出了改进的MDCGAN(Modified DCGAN)。MDCGAN模型采用卷积层取代全链接层,采用带步长的卷积运算取代上采样运算。同时将条件信息y引入判别器和生成器中,条件信息y能够为生成式对抗网络增加条件,对生成数据起到监督作用。通过手写数字生成实验和建筑物轮廓生成实验证明,提出的MDCGAN能够基于小规模数据集生成高清晰度高逼真度的图像。

基于条件梯度Wasserstein生成对抗网络的图像识别

生成式对抗网络GAN功能强大,但是具有收敛速度慢、训练不稳定、生成样本多样性不足等缺点;该文结合条件深度卷积对抗网络CDCGAN和带有梯度惩罚的Wasserstein生成对抗网络WGAN-GP的优点,提出了一个混合模型-条件梯度Wasserstein生成对抗网络CDCWGAN-GP,用带有梯度惩罚的Wasserstein距离训练对抗网络保证了训练稳定性且收敛速度更快,同时加入条件c来指导数据生成;另外为了增强判别器提取特征的能力,该文设计了全局判别器和局部判别器一起打分,最后提取判别器进行图像识别;实验结果证明,该方法有效的提高了图像识别的准确率。

生成式对抗网络在抑郁症分类中的应用

深度学习领域中的条件深度卷积生成式对抗网络(CDCGAN)是一种能够生成与训练数据同分布样本的生成模型。针对抑郁症f MRI(functional Magnetic Resonance Imaging)数据难采集、用于研究的被试数远小于数据特征维数的问题,首次将CDCGAN应用于生成抑郁症f MRI数据并提出一种混合特征选择方法用于分析f MRI数据。采用组独立成分分析提取41名被试的独立成分并构建全脑动态功能连接网络;通过肯德尔排序相关系数法选出具有较强辨别能力的特征并使用CDCGAN扩充数据;采用所提出的混合特征选择法进行特征选择;对41名被试的数据进行分类。实验结果表明,采用CDCGAN的分类正确率为92.68%,明显优于不应用CDCGAN的分类结果 68.29%,同时说明了抑郁症f MRI数据采用CDCGAN方法扩充数据的可行性以及混合特征选择方法能选出更有效的特征。

基于生成式对抗网络的风场生成研究

生成式对抗网络(Generative Adversarial Network,GAN)是人工智能领域较为重要的思想与方法。该文提出基于GAN生成风场,其中,由于GAN需要训练数据,考虑到实测风场数据的困难与匮乏,该文通过改进循环预前模拟法生成训练数据,并利用GANθ与GAN_(Δθ)生成风场,前者用于生成单点相位谱,后者用于生成单位距离相位谱差值,以克服传统模拟方法湍流度略低、频谱特性失真等不足;进而基于中心递进法利用GANθ、GAN_(Δθ)的结果生成相位谱;利用相位谱、幅值谱生成风场。从数据分布角度定性评估了GAN结果质量;利用1-NN算法定量评估了GAN结果质量;从风场特性角度将GAN生成的风场与目标风场进行了对比验证。通过定性、定量及对比验证可得:基于GAN生成的数据分布与目标分布相接近,生成的风场特性与目标风场相接近,说明基于GAN生成风场方法通过学习数据分布特性生成数据,具有良好的适应能力与生成数据能力。