基于条件变分推断与内省对抗学习的多样化图像描述生成

现有多样化图像描述生成方法受到隐空间表示能力和评价指标制约,很难同时兼顾描述生成的多样性和准确性.为此,本文提出了一种新的多样化图像描述生成模型,该模型由一个条件变分推断编码器和一个生成器组成.编码器利用全局注意力学习每个单词的隐向量空间,以提升模型对描述多样化的建模能力.生成器根据给定图像和序列隐向量生成多样化的描述语句.同时,引入内省对抗学习的思想,条件变分推断编码器同时作为鉴别器来区分真实描述和生成的描述,赋予模型自我评价生成的描述语句的能力,克服预定义评价指标的局限性.在MSCOCO数据集上的实验表明,与传统方法相比,在随机生成100个描述语句时,多样性指标mBLEU(mutual overlap-BiLingual Evaluation Understudy)提升了1.9%,同时准确性指标CIDEr(Consensus-based Image Description Evaluation)显著提升了7.5%.与典型多模态大模型相比,所提出方法在较小参数量的条件下更适用于生成多样化的陈述性描述语句.

基于对抗学习的查新检索式自动生成

科技查新是科研人员获取前沿信息的重要途径,但伴随着信息量的剧增,传统查新检索式的构建方法存在效率低、关键词提取不全面、一词多义等问题,因此提出了融合基于Transformer的双向编码器表达与SequenceGAN的查新检索式自动构建模型BSGAN。通过BiLSTM-CRF构建领域词表及概念同义词词表,解决了查新检索式构建过程中关键词不够全面的问题;采用基于Transformer的双向编码器表达模型中多头注意力机制,解决了检索式中一词多义问题;使用BSGAN检索式自动构建模型,实现了查新检索式的自动生成与逻辑构建,解决了传统方法中专家手工构建检索式效率低的问题。最后,通过万方中文数据库中的检索结果来评价检索式,实验结果表明,自动构建模型BSGAN生成的查新检索式在医药、化工、计算机等领域均达到了较高的查准率与查全率。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于注意力机制与特征对抗学习的毫米波与激光雷达融合检测方法

自动驾驶的感知系统在目标遮挡、目标拥挤、远距离目标探测等困难场景下检测性能与可靠性有待提升。为此,提出基于Radar和Lidar数据的深度融合网络模型及对抗训练方法。首先,基于Radar回波缺乏高度和含有较大噪声的特点,设计基于鸟瞰图的联合体素划分和点云增强方法,通过空间和通道注意力的计算建立不同模态特征之间的深度信息融合结构,提升单帧目标检测性能;然后,提出基于对抗学习的多模态数据融合学习算法,提高对两种数据优势特征的利用效率。实验结果表明,所提方法在实际大型驾驶场景数据集nuScenes上达到了领先水平。

反事实增强的对抗学习序列推荐

最近,强化学习技术在序列推荐系统取得成功,它能从用户长期反馈信号中学习有效的推荐策略.然而,模型的激励函数设计面临区分度过低的难题.这限制了模型学习不同用户反馈信号间的价值差异的能力,并导致推荐策略总是次优的.现有工作主要通过调节衰减因子来保证激励函数区分度,但它依赖专家先验知识缺乏理论基础.为了更合理地设计激励函数和提高其区分度,本文依据因果论来分析推荐系统,并提出一种基于反事实区分度增强的序列推荐算法CAL4Rec.首先,所提出方法用结构因果图描述序列推荐过程,并创造性地用因果图定义了因果可鉴别的价值激励区分度.其次,该方法用反事实生成对抗的自监督学习过程优化推荐策略网络,以学习用户的真实倾向.在一系列序列推荐基准数据集上,对CAL4Rec开展了广泛对比和消融实验,实验结果表明CAL4Rec的提升对多种网络实现结构有效(平均2.34%).

基于聚类和生成对抗学习模型的滤波器剪枝

深度神经网络过深的网络架构和冗余的参数会导致昂贵的计算成本,近年来深度神经网络的压缩与加速已成为研究热点。针对现有方法的范数准则局限性以及标签依赖问题,提出一种基于聚类中心和生成对抗学习的结构化滤波器剪枝方法(FPCC-GAN):使用K-means聚类算法按卷积层将滤波器逐层聚类;比例化修剪各簇内离聚类中心较近的提取冗余特征的滤波器;使用生成对抗学习迭代训练。实验结果分析表明,与当前主流方法相比,该方法具有更高的准确率。

基于对抗学习的指针仪表自适应读数识别算法

针对指针仪表采用人工读数方式存在的成本较高、读数不准确、时效性较差的问题,提出一种基于对抗学习的指针仪表位姿自适应读数识别算法。该算法通过目标检测模型识别图像中的指针仪表的位置和姿态,将指针仪表进行校准后并利用数字图像处理技术进行读数识别。为了提升目标检测模型对位姿不同的指针仪表图像的识别效果,本文提出了基于对抗学习的数据增强技术,通过优化搜索模型识别不准的图像旋转角度、平移距离以及缩放比例构造训练数据,提高目标检测模型在指针仪表位姿发生变化时的准确率。以工矿企业中常用的SF6压力仪表为实验对象,实验结果表明读数识别的误差在1%以内,证明了所提算法的有效性。

对抗学习辅助增强的增量式入侵检测系统

为解决增量式入侵检测系统(intrusion detection system,IDS)在检测新类攻击过程中存在的新类过拟合、旧类泛化能力弱、灾难性遗忘问题,提出了对抗辅助增强的增量式IDS。在增量训练过程中,利用对抗样本的正则化能力约束检测模型在新类攻击上的过拟合,设计同时存储旧类攻击的原样本及对抗样本的双分布模拟缓存器以增强检测模型对旧类的泛化能力,引入加权交叉熵损失缓解灾难性遗忘问题。在CSE-CIC-IDS2018数据集和UNSW-NB15数据集上的实验结果表明:对抗样本直接参与训练会导致模型的识别性能恶化,而对抗样本以数据分布分离的形式参与训练则增强了模型的识别性能;对抗样本在缓存器中的存储有效抑制了模型对旧类泛化能力的丢失;加权交叉熵损失对学习权重的调整缓解了新类及缓存器内数据间的不平衡所导致的灾难性遗忘。所提方法为识别动态复杂网络环境中的真实攻击提供了可行方案,具有潜在的应用价值。

运动想象脑电信号的跨被试动态多域对抗学习方法

解码运动想象脑电(EEG)信号是构造脑机接口(BCI)的关键技术之一。然而,脑电样本采集成本高、个体差异大,且信号具有时变性强、低信噪比等特点,构建跨被试模式识别方法成为了研究的关键。为此,提出一种跨被试动态多域对抗学习方法。首先采用样本协方差对齐和全局域鉴别器适应样本集边缘分布,随后采用多个类别子域鉴别器适应样本集条件分布,并自适应学习多域鉴别器的对抗系数。基于动态多域对抗学习策略,所提出的动态多域对抗网络(DMDAN)模型可学习到被试域间有泛化能力的深度特征。在BCI Competition IV 2A和2B公开数据集上的实验结果表明,DMDAN模型提高了跨被试域不变特征的学习能力,与现有对抗学习方法DRDA(Deep Representation Domain Adaptation)相比,在数据集2A和数据集2B上的平均分类准确率分别提高了1.80和2.52个百分点。可见,所提出的DMDAN模型提升了跨被试运动想象脑电信号解码性能,在不同数据集上具有不错的泛化性。

基于对偶对抗学习的多维时间序列异常检测

时间序列中异常点的无监督检测是一个具有挑战性的问题,要求模型能够快速准确地发现异常数据。VAE类深度神经网络模型能在数据压缩和恢复中学习数据的特征,但由于训练过程中缺乏对抗性,无法更好地区分正常数据和异常数据特征,导致模型训练困难。针对该问题,本文提出一种基于对偶对抗思想的改进多维时间序列异常检测方法。首先利用滑动窗口将数据集划分为合适的长度的序列,使用正常序列数据训练模型。继而利用对偶结构加强两组编码器解码器之间的对抗性,以更好地学习正常数据特征,减少训练难度。最后,将含有异常数据的待测数据放入训练好的模型,根据待测序列在模型中的异常得分,结合阈值技术进行异常判定,并从待测数据中获得异常序列片段,计算评价指标。实验表明,本文方法Dual-AE具有模型容易训练且稳定性强的特点,并且相对于USAD方法,在水文数据集SWaT上F1分数提升了0.01,召回率提升了0.01,在WADI数据集上F1分数提升了0.09,召回率提升了0.02。异常检测性能指标上,比现有的生成式异常检测模型有明显提升。

基于对抗学习的食管OCT图像生成方法

针对食管OCT(Optical Coherence Tomography,光学相干层析)图像分析中数据量不足、传统扩增方法生成样本相关性强等问题,提出了一种基于对抗学习的图像生成方法。首先利用VAE(variational autoencoder,变分自编码器)对图像进行编码,随后利用VAE解码器构建GAN(generative adversarial networks,生成对抗网络)结构,完成图像生成任务。在小鼠食管OCT图像上进行实验,结果表明,所提方法获得了较好的WD(WassersteinDistance,沃瑟斯坦距离)、MMD(Maximum Mean Discrepancy,最大均值差异)及MS(Mode Score,模型分数)指标,相比现有方法生成了更真实的食管OCT图像。

基于对抗学习邻域注意网络的链路预测

针对传统链路预测模型无法充分挖掘邻域特征信息,且模型的泛化能力不强等缺点,提出一种基于对抗学习邻域注意网络的链路预测。设计一种新的多空间邻域注意机制,通过捕捉邻域的潜在重要性来提取单个邻域特征。进一步提出自邻域注意网络和扩展跨邻域注意网络,前者通过编码和匹配各自的邻域信息来预测两个节点之间的链接,后者设计一个跨邻域注意来实现两个节点之间的直接捕获结构交互作用。另外提出一个对抗性学习框架,设计了一个负样本生成器在对抗性博弈中持续提供高信息量的负样本。在包含多种网络类型的12个基准数据集上评估所提出方法的性能,实验结果证明了提出方法的优越性。

基于对抗学习的自适应加权方面级情感分类算法

方面级情感分类是自然语言处理研究领域的一个热点问题,旨在分类出文本中不同方面的情感.目前,大多数深度神经网络情感分类模型都采用均值注意力机制,这导致情感词不能有效获得相应权重的问题.为此,提出一种基于对抗学习的自适应加权方面级情感分类模型AWSCM(Adaptive Weighted aspect-level Sentiment Classification Model based on adversarial learning),旨在自适应地学习文本权重.首先,将训练文本预处理成方面词、句子、句子对形式的输入,通过BERT对输入编码.然后,通过对抗学习算法和训练文本计算扰动生成对抗样本.最后,通过注意力机制提取训练文本和对抗样本编码后的深层文本特征和自适应权重,再进行联合学习.实验结果表明,和大多数深度神经网络情感分类模型相比,AWSCM能提升情感分类的准确性.同时,通过消融实验,证明了AWSCM结构设计的合理性.

用于多模态MRI脑肿瘤图像分割的融合双重对抗学习CNN-Transformer模型

针对CNN(convolutional neural network)-Transformer分割模型在训练数据中提取特征信息不充分和鲁棒性差的问题,提出融合双重对抗学习的CNN-Transformer(CNN-Transformer model fusing dual adversarial learning,TransFDA)分割模型。首先,引入判别器模块,此模块不同于常用的对抗学习方法,先将原始数据与预测出的结果进行判别,然后将原始数据中未分割区域的信息传入分割模型,加强分割模型对此区域信息的学习。其次,为提升分割模型的鲁棒性,引入虚拟对抗训练,使用模型正常预测结果和添加扰动后得到的预测结果进行对抗学习,提升分割模型对不确定数据信息的学习能力。在Brats2020验证集中,肿瘤整体区域(whole tumor,WT)、肿瘤核心区域(tumor core,TC)和增强肿瘤区域(enhancing tumor,ET)的戴斯相似系数(Dice similarity coefficient,DSC)分别为0.8922、0.7909、0.7530。相较于同等实验条件下的TransBTS(brain tumor segmentation using Transformer)模型性能有所提升。定量和定性实验结果表明,所提TransFDA在不需要额外添加数据的情况下学习到了更多的特征信息,增强了模型的鲁棒性,显著提升了模型分割精度。

5G电力虚拟专网中基于联邦对抗学习的分布式异常检测算法

针对5G电力虚拟专网中高维、不均衡和分布式的数据特征,提出了一种基于联邦对抗学习的分布式异常检测算法。首先,鉴于生成对抗网络在获取高维复杂数据分布方面的优势,采用具有梯度惩罚的Wasserstien生成对抗网络(WGAN-GP)模型对网元中的多维运行数据进行分析和监控并获取其分布情况。其次,基于5G电力虚拟专网的管理架构,设计了一种基于联邦对抗学习的分布式异常检测框架,使分布式电力切片管理器能够协同训练全局异常检测模型,增强模型泛化能力。最后,通过数值仿真验证了基于联邦对抗学习的分布式异常检测算法的训练效率和检测性能。

基于视觉特征与对抗学习的大五人格评估方法

由于传统的依托于人格量表的大五人格评估方法效率极低,而现有的基于多模态的人格评估方法在实用中很难满足多通道的高质量输入需求。针对这种情况,提出了一种基于纯粹的视觉特征的人格评估方法,并与对抗学习相结合,通过一个人日常生活中的视频,获取其大五人格的定量评估。首先,通过对视频图片帧进行建模,并结合对抗学习的思想,使特征提取器尽力提取与性别无关,而与人格有关的特征。其次,利用多粗细粒度损失结构的注视估计模型,获取人物注视分布及其视线序列特征,最后对提取的所有视觉特征进行融合,并对其大五人格进行预测。实验结果表明,该方法的平均预测精度为91.96%,在ECCV 2016年人格挑战数据集中名列前茅,并且超过了此前所有的基于视觉特征的大五人格评估方法。

基于自注意和对抗学习的道路场景水体检测方法

无人驾驶车辆近年来一直是研究的热点.无人车运行环境复杂、不确定因素多,尤其当其意外驶入水坑、泥潭等地形时可能直接导致抛锚,造成不可估量的损失,因此水体检测对无人车的运行有着重要意义.借助深度网络的强大学习能力,本文首先将反射注意力单元和自注意力机制相结合,并在(U shape Network,U-Net)模型基础上添加残差卷积块和上采样卷积模块,得到了新的道路场景水体区域检测模型(U shape Network with Attention for Road,URA-Net),该模型能够更好地捕捉特征依赖关系,提高水体语义特征的表示能力.进一步,本文提出了一种基于双生成器对抗学习的训练模型(Redundant With Dual Generative Adversarial Network,RWD-GAN),它对URA-Net稍做修改,拓展成两个生成器,通过在对抗网络框架下让生成器与鉴别器、生成器与生成器之间实现对抗学习,促进不同网络模型之间的信息传递.在公开数据集上的大量实验表明URA-Net达到了87.18%的F1指标,而RWD-GAN模型能够进一步提高水体检测的精度,使提升到了88.54%,URA-Net和RWD-GAN均超出现有深度网络水体检测方法的性能表现.

融合对抗学习的因果关系抽取

因果关系抽取在事件预测、情景生成、问答以及文本蕴涵等任务上都有重要的应用价值.但多数现有的因果关系抽取方法都需要人工定义模式和约束,且严重依赖知识库.为此,本文利用生成式对抗网络(Generative adversarial networks,GAN)的对抗学习特性,将带注意力机制的双向门控循环单元神经网络(Bidirectional gated recurrent units networks,BGRU)与对抗学习相融合,通过重定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果表明,与当前用于因果关系抽取的方法相比较,该方法表现出更优的抽取效果.

基于跨域对抗学习的零样本分类

零样本学习旨在识别具有少量、甚至没有训练样本的未见类,这些类与可见类遵循不同的数据分布.最近,随着深度神经网络在跨模态生成方面的成功,使用合成的样本对未见数据进行分类取得了巨大突破.现有方法通过共享生成器和解码器,联合传统生成对抗网络和变分自编码器来实现样本的合成.然而,由于这2种生成网络产生的数据分布不同,联合模型合成的数据遵循复杂的多域分布.针对这个问题,提出跨域对抗生成网络(CrossD-AGN),将传统生成对抗网络和变分自编码器有机结合起来,基于类级语义信息为未见类合成样本,从而实现零样本分类.提出跨域对抗学习机制,引入2个对称的跨域判别器,通过判断合成样本属于生成器域分布还是解码器域分布,促使联合模型中的生成器解码器不断优化,提高样本合成能力.在多个真实数据集上进行了广泛的实验,结果表明了所提出方法在零样本学习上的有效性和优越性.

使用词对齐半监督对抗学习的汉越跨语言摘要生成方法

是将输入的源语言文本生成目标语言摘要的过程.目前跨语言摘要任务大多是借助于机器翻译,而针对越南语这类低资源语言,机器翻译效果不佳是汉越跨语言摘要面临的挑战.针对该问题,提出了一种基于词对齐的半监督对抗学习汉越跨语言摘要生成方法,其思想是将汉越双语对齐到同一空间,得到对齐的双语特征,然后同时利用双语特征生成跨语言摘要.具体来讲,基于编解码框架,首先利用Bert编码器分别对输入的汉越文本进行向量表征;然后基于汉越双语词典的半监督对抗学习方法,实现双语词向量在同一语义空间对齐;最后基于注意力机制同时关注双语上下文向量,解码得到目标语言摘要.在收集的汉越摘要数据集上的实验结果表明,该方法可以有效提升汉越跨语言摘要模型的性能.