基于条件变分推断与内省对抗学习的多样化图像描述生成

现有多样化图像描述生成方法受到隐空间表示能力和评价指标制约,很难同时兼顾描述生成的多样性和准确性.为此,本文提出了一种新的多样化图像描述生成模型,该模型由一个条件变分推断编码器和一个生成器组成.编码器利用全局注意力学习每个单词的隐向量空间,以提升模型对描述多样化的建模能力.生成器根据给定图像和序列隐向量生成多样化的描述语句.同时,引入内省对抗学习的思想,条件变分推断编码器同时作为鉴别器来区分真实描述和生成的描述,赋予模型自我评价生成的描述语句的能力,克服预定义评价指标的局限性.在MSCOCO数据集上的实验表明,与传统方法相比,在随机生成100个描述语句时,多样性指标mBLEU(mutual overlap-BiLingual Evaluation Understudy)提升了1.9%,同时准确性指标CIDEr(Consensus-based Image Description Evaluation)显著提升了7.5%.与典型多模态大模型相比,所提出方法在较小参数量的条件下更适用于生成多样化的陈述性描述语句.

基于对抗学习的查新检索式自动生成

科技查新是科研人员获取前沿信息的重要途径,但伴随着信息量的剧增,传统查新检索式的构建方法存在效率低、关键词提取不全面、一词多义等问题,因此提出了融合基于Transformer的双向编码器表达与SequenceGAN的查新检索式自动构建模型BSGAN。通过BiLSTM-CRF构建领域词表及概念同义词词表,解决了查新检索式构建过程中关键词不够全面的问题;采用基于Transformer的双向编码器表达模型中多头注意力机制,解决了检索式中一词多义问题;使用BSGAN检索式自动构建模型,实现了查新检索式的自动生成与逻辑构建,解决了传统方法中专家手工构建检索式效率低的问题。最后,通过万方中文数据库中的检索结果来评价检索式,实验结果表明,自动构建模型BSGAN生成的查新检索式在医药、化工、计算机等领域均达到了较高的查准率与查全率。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

基于注意力机制与特征对抗学习的毫米波与激光雷达融合检测方法

自动驾驶的感知系统在目标遮挡、目标拥挤、远距离目标探测等困难场景下检测性能与可靠性有待提升。为此,提出基于Radar和Lidar数据的深度融合网络模型及对抗训练方法。首先,基于Radar回波缺乏高度和含有较大噪声的特点,设计基于鸟瞰图的联合体素划分和点云增强方法,通过空间和通道注意力的计算建立不同模态特征之间的深度信息融合结构,提升单帧目标检测性能;然后,提出基于对抗学习的多模态数据融合学习算法,提高对两种数据优势特征的利用效率。实验结果表明,所提方法在实际大型驾驶场景数据集nuScenes上达到了领先水平。

基于对抗学习的指针仪表自适应读数识别算法

针对指针仪表采用人工读数方式存在的成本较高、读数不准确、时效性较差的问题,提出一种基于对抗学习的指针仪表位姿自适应读数识别算法。该算法通过目标检测模型识别图像中的指针仪表的位置和姿态,将指针仪表进行校准后并利用数字图像处理技术进行读数识别。为了提升目标检测模型对位姿不同的指针仪表图像的识别效果,本文提出了基于对抗学习的数据增强技术,通过优化搜索模型识别不准的图像旋转角度、平移距离以及缩放比例构造训练数据,提高目标检测模型在指针仪表位姿发生变化时的准确率。以工矿企业中常用的SF6压力仪表为实验对象,实验结果表明读数识别的误差在1%以内,证明了所提算法的有效性。

反事实增强的对抗学习序列推荐

最近,强化学习技术在序列推荐系统取得成功,它能从用户长期反馈信号中学习有效的推荐策略.然而,模型的激励函数设计面临区分度过低的难题.这限制了模型学习不同用户反馈信号间的价值差异的能力,并导致推荐策略总是次优的.现有工作主要通过调节衰减因子来保证激励函数区分度,但它依赖专家先验知识缺乏理论基础.为了更合理地设计激励函数和提高其区分度,本文依据因果论来分析推荐系统,并提出一种基于反事实区分度增强的序列推荐算法CAL4Rec.首先,所提出方法用结构因果图描述序列推荐过程,并创造性地用因果图定义了因果可鉴别的价值激励区分度.其次,该方法用反事实生成对抗的自监督学习过程优化推荐策略网络,以学习用户的真实倾向.在一系列序列推荐基准数据集上,对CAL4Rec开展了广泛对比和消融实验,实验结果表明CAL4Rec的提升对多种网络实现结构有效(平均2.34%).

基于聚类和生成对抗学习模型的滤波器剪枝

深度神经网络过深的网络架构和冗余的参数会导致昂贵的计算成本,近年来深度神经网络的压缩与加速已成为研究热点。针对现有方法的范数准则局限性以及标签依赖问题,提出一种基于聚类中心和生成对抗学习的结构化滤波器剪枝方法(FPCC-GAN):使用K-means聚类算法按卷积层将滤波器逐层聚类;比例化修剪各簇内离聚类中心较近的提取冗余特征的滤波器;使用生成对抗学习迭代训练。实验结果分析表明,与当前主流方法相比,该方法具有更高的准确率。

对抗学习辅助增强的增量式入侵检测系统

为解决增量式入侵检测系统(intrusion detection system,IDS)在检测新类攻击过程中存在的新类过拟合、旧类泛化能力弱、灾难性遗忘问题,提出了对抗辅助增强的增量式IDS。在增量训练过程中,利用对抗样本的正则化能力约束检测模型在新类攻击上的过拟合,设计同时存储旧类攻击的原样本及对抗样本的双分布模拟缓存器以增强检测模型对旧类的泛化能力,引入加权交叉熵损失缓解灾难性遗忘问题。在CSE-CIC-IDS2018数据集和UNSW-NB15数据集上的实验结果表明:对抗样本直接参与训练会导致模型的识别性能恶化,而对抗样本以数据分布分离的形式参与训练则增强了模型的识别性能;对抗样本在缓存器中的存储有效抑制了模型对旧类泛化能力的丢失;加权交叉熵损失对学习权重的调整缓解了新类及缓存器内数据间的不平衡所导致的灾难性遗忘。所提方法为识别动态复杂网络环境中的真实攻击提供了可行方案,具有潜在的应用价值。

基于对抗学习和引导机制的视盘和视杯联合分割

准确的视盘(OD)和视杯(OC)分割能够有效地辅助青光眼的诊断和监测,从而进一步提高治疗效果。然而,现有方法没有考虑到眼底图像不同通道之间的差异,并且难以实现对OC边界的精确分割。针对这个问题,提出一种基于对抗学习和引导机制的网络框架ALG-Net,旨在提高OD和OC的分割性能。ALG-Net由分割网络和鉴别器两部分组成。在分割网络中,构建引导融合模块(GFM),该模块将单通道特征信息与RGB图像特征融合,使网络充分学习眼底图像不同通道之间的差异信息,引导分割网络聚焦于关键区域。ALG-Net网络框架还采用了鉴别器,通过对抗学习的方式促进分割网络生成更真实的分割结果。在REFUGE和Drishti-GS数据集上进行广泛的实验评估,实验结果表明,ALG-Net在RUFUGE数据集上OD和OC分割的平衡精度分别达到了98.6%和95.9%,在Drishti-GS数据集上也表现出优异的性能。此外,ALG-Net的分割结果应用于青光眼分类任务,在RUFUGE数据集上ROC曲线下面积(AUC)为0.983,相较于经典UNet算法提高了0.015,为青光眼的早期诊断和监测提供了有力的支持。

运动想象脑电信号的跨被试动态多域对抗学习方法

解码运动想象脑电(EEG)信号是构造脑机接口(BCI)的关键技术之一。然而,脑电样本采集成本高、个体差异大,且信号具有时变性强、低信噪比等特点,构建跨被试模式识别方法成为了研究的关键。为此,提出一种跨被试动态多域对抗学习方法。首先采用样本协方差对齐和全局域鉴别器适应样本集边缘分布,随后采用多个类别子域鉴别器适应样本集条件分布,并自适应学习多域鉴别器的对抗系数。基于动态多域对抗学习策略,所提出的动态多域对抗网络(DMDAN)模型可学习到被试域间有泛化能力的深度特征。在BCI Competition IV 2A和2B公开数据集上的实验结果表明,DMDAN模型提高了跨被试域不变特征的学习能力,与现有对抗学习方法DRDA(Deep Representation Domain Adaptation)相比,在数据集2A和数据集2B上的平均分类准确率分别提高了1.80和2.52个百分点。可见,所提出的DMDAN模型提升了跨被试运动想象脑电信号解码性能,在不同数据集上具有不错的泛化性。

一种基于对抗学习的高分辨率遥感影像语义分割无监督域自适应方法

语义分割模型在高分辨率遥感影像中表现良好的关键是训练集和测试集之间域的高度一致。然而,不同数据集之间存在域偏差,包括地理位置、传感器成像方式和天气条件的差异,导致在一个数据集上训练的模型在另一个数据集上预测时准确性会显著下降。域自适应是解决上述问题的有效策略,该文从域自适应模型的角度,基于对抗学习方法提出了一种用于高分辨率遥感图像语义分割任务的无监督域自适应框架。该框架对全局域对齐模块和局部域对齐模块分别融入熵值加权注意力和逐类别域特征聚合机制,缓解源域和目标域之间的域偏差;此外,引入了对象上下文表征(object context representation,OCR)模块和空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块,以充分利用影像中的空间级和对象级上下文信息,并提出了OCR/ASPP双分类器组合策略,以提高分割精度和准确性。实验结果表明,该方法在公开的2个数据集中实现了优越的跨域分割性能,并超过了同类型的其他方法。

基于对偶对抗学习的多维时间序列异常检测

时间序列中异常点的无监督检测是一个具有挑战性的问题,要求模型能够快速准确地发现异常数据。VAE类深度神经网络模型能在数据压缩和恢复中学习数据的特征,但由于训练过程中缺乏对抗性,无法更好地区分正常数据和异常数据特征,导致模型训练困难。针对该问题,本文提出一种基于对偶对抗思想的改进多维时间序列异常检测方法。首先利用滑动窗口将数据集划分为合适的长度的序列,使用正常序列数据训练模型。继而利用对偶结构加强两组编码器解码器之间的对抗性,以更好地学习正常数据特征,减少训练难度。最后,将含有异常数据的待测数据放入训练好的模型,根据待测序列在模型中的异常得分,结合阈值技术进行异常判定,并从待测数据中获得异常序列片段,计算评价指标。实验表明,本文方法Dual-AE具有模型容易训练且稳定性强的特点,并且相对于USAD方法,在水文数据集SWaT上F1分数提升了0.01,召回率提升了0.01,在WADI数据集上F1分数提升了0.09,召回率提升了0.02。异常检测性能指标上,比现有的生成式异常检测模型有明显提升。

基于对抗学习的食管OCT图像生成方法

针对食管OCT(Optical Coherence Tomography,光学相干层析)图像分析中数据量不足、传统扩增方法生成样本相关性强等问题,提出了一种基于对抗学习的图像生成方法。首先利用VAE(variational autoencoder,变分自编码器)对图像进行编码,随后利用VAE解码器构建GAN(generative adversarial networks,生成对抗网络)结构,完成图像生成任务。在小鼠食管OCT图像上进行实验,结果表明,所提方法获得了较好的WD(WassersteinDistance,沃瑟斯坦距离)、MMD(Maximum Mean Discrepancy,最大均值差异)及MS(Mode Score,模型分数)指标,相比现有方法生成了更真实的食管OCT图像。

融合对抗学习的因果关系抽取

因果关系抽取在事件预测、情景生成、问答以及文本蕴涵等任务上都有重要的应用价值.但多数现有的因果关系抽取方法都需要人工定义模式和约束,且严重依赖知识库.为此,本文利用生成式对抗网络(Generative adversarial networks,GAN)的对抗学习特性,将带注意力机制的双向门控循环单元神经网络(Bidirectional gated recurrent units networks,BGRU)与对抗学习相融合,通过重定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果表明,与当前用于因果关系抽取的方法相比较,该方法表现出更优的抽取效果.

基于跨域对抗学习的零样本分类

零样本学习旨在识别具有少量、甚至没有训练样本的未见类,这些类与可见类遵循不同的数据分布.最近,随着深度神经网络在跨模态生成方面的成功,使用合成的样本对未见数据进行分类取得了巨大突破.现有方法通过共享生成器和解码器,联合传统生成对抗网络和变分自编码器来实现样本的合成.然而,由于这2种生成网络产生的数据分布不同,联合模型合成的数据遵循复杂的多域分布.针对这个问题,提出跨域对抗生成网络(CrossD-AGN),将传统生成对抗网络和变分自编码器有机结合起来,基于类级语义信息为未见类合成样本,从而实现零样本分类.提出跨域对抗学习机制,引入2个对称的跨域判别器,通过判断合成样本属于生成器域分布还是解码器域分布,促使联合模型中的生成器解码器不断优化,提高样本合成能力.在多个真实数据集上进行了广泛的实验,结果表明了所提出方法在零样本学习上的有效性和优越性.

使用词对齐半监督对抗学习的汉越跨语言摘要生成方法

是将输入的源语言文本生成目标语言摘要的过程.目前跨语言摘要任务大多是借助于机器翻译,而针对越南语这类低资源语言,机器翻译效果不佳是汉越跨语言摘要面临的挑战.针对该问题,提出了一种基于词对齐的半监督对抗学习汉越跨语言摘要生成方法,其思想是将汉越双语对齐到同一空间,得到对齐的双语特征,然后同时利用双语特征生成跨语言摘要.具体来讲,基于编解码框架,首先利用Bert编码器分别对输入的汉越文本进行向量表征;然后基于汉越双语词典的半监督对抗学习方法,实现双语词向量在同一语义空间对齐;最后基于注意力机制同时关注双语上下文向量,解码得到目标语言摘要.在收集的汉越摘要数据集上的实验结果表明,该方法可以有效提升汉越跨语言摘要模型的性能.

基于双语对抗学习的半监督情感分类

提出了充分利用未标注样本的样本信息的双语对抗学习方法。具体而言,中文的标注样本和未标注样本分别通过不同的LSTM进行编码,再经过分类器和判别器进行对抗学习。其中,分类器的作用是使标注样本和未标注样本处于同一分布,而判别器用来区分输入样本是标注样本还是未标注样本。最后,构建一个相同的英文语料的对抗神经网络,通过联合学习中英文对抗神经网络提升半监督情感分类的性能。实验结果表明,所提出的基于双语对抗学习的半监督情感分类方法在不同标注样本数量的训练集上都取得了较好的准确率,与其他基准方法相比有明显提升。

基于对抗学习的蒙汉神经机器翻译

在机器翻译模型的构建和训练阶段,为了缓解因端到端机器翻译框架在训练时采用最大似然估计原理导致的翻译模型的质量不高的问题,本文使用对抗学习策略训练生成对抗网络,通过鉴别器协助生成器的方式来提高生成器的翻译质量,通过实验选择出了更适合生成器的机器翻译框架Transformer,更适合鉴别器的卷积神经网络,并且验证了对抗式训练对提高译文的自然度、流利度以及准确性都具有一定的作用.在模型的优化阶段,为了缓解因蒙汉平行数据集匮乏导致的蒙汉机器翻译质量仍然不理想的问题,本文将Dual-GAN (dual-generative adversarial networks,对偶生成对抗网络)算法引入了蒙汉机器翻译中,通过有效的利用大量蒙汉单语数据使用对偶学习策略的方式来进一步提高基于对抗学习的蒙汉机器翻译模型的质量.

结合自集成和对抗学习的域自适应城市场景语义分割

针对城市场景标签获取的高额成本问题,文中提出结合自集成和对抗学习的域自适应城市场景语义分割方法.对于源域和目标域的较大域间差异问题,采用风格转换的方法将源域数据集合成具有目标域风格的新数据集,作为新的源域数据集,从而有效减少源域与目标域的域间差异.对于目标域的域内差异问题,引入自集成方法,构造教师网络,利用教师网络在目标域分割图上通过一致性约束监督与指导学生网络,从而减小目标域的域内差异,提高分割精度.采用自训练的方法获得目标域的伪标签,将伪标签加入对抗学习方法中,重新训练网络模型,进一步提高模型的分割能力.在数据集上的分割实验表明文中方法的有效性.

基于对抗学习的电子鼻传感器漂移补偿算法

电子鼻是一种生物嗅觉系统,主要由气体传感器阵列和模式识别组成,并已应用在生活的许多领域。但是在电子鼻实际应用中传感器易发生漂移,致使电子鼻性能下降。本文提出一种基于对抗学习估计域不变原型方法用于补偿传感器漂移。该算法包含一个由神经网络构成的特征提取器和分类器,并利用条件熵度量无标记目标域特征和估计原型(每一类的表示)的相似度。为使目标域特征更具有区分性,训练分类器最大化熵,训练特征提取器最小化熵。最后,实验结果表明:该算法能够有效减少电子鼻传感器漂移。