数据库中文查询对偶学习式生成SQL语句研究

针对当前中文NL2SQL(Natural language to SQL)监督学习中需要大量标注数据问题,该文提出基于对偶学习的方式在少量训练数据集上进行弱监督学习,将中文查询生成SQL语句。该文同时使用两个任务来训练自然语言转化到SQL,再从SQL转化到自然语言,让模型学习到任务之间的对偶约束性,获取更多相关的语义信息。同时在训练时使用不同比例带有无标签的数据进行训练,验证对偶学习在NL2SQL解析任务上的有效性。实验表明,在不同中英文数据集ATIS、GEO以及TableQA中,本文模型与基准模型Seq2Seq、Seq2Tree、Seq2SQL、以及-dual等相比,百分比准确率至少增加2.1%,其中在中文TableQA数据集上采用对偶学习执行准确率(Execution Accuracy)至少提升5.3%,只使用60%的标签数据就能取得和监督学习使用90%的标签数据相似的效果。

基于对偶学习的西里尔蒙古语-汉语机器翻译研究

目前,基于端到端的神经机器翻译(NMT)在大语种上取得了显著的效果,已经成为学术界非常流行的方法,然而该模型的训练严重依赖平行语料库的大小,通常需要上百万句,而西里尔蒙古语和汉语之间的平行语料库严重匮乏,并且人工构建代价昂贵。因此,提出基于对偶学习的西里尔蒙汉互译方法。为了缓解因未登录词导致的译文质量不高的问题,采用BPE(Byte Pair Encoding)技术对语料进行预处理。将通过单语数据预训练的语言模型和20%的平行双语数据预训练的翻译模型作为该模型训练的初始状态。以NMT为基线系统,实验结果表明,该方法达到了与NMT使用西里尔蒙汉全部双语数据相当的效果,有效缓解了因未登录词较多和平行语料库匮乏导致的译文质量不高的问题。

基于迭代知识精炼的对偶学习蒙汉机器翻译

深度学习方法凭借对语义的深度理解能力在机器翻译领域取得长足的进步.然而,对于低资源语言,大规模双语语料的缺乏易导致模型过拟合.针对低资源神经机器翻译数据稀疏的问题,提出了一种迭代知识精炼的对偶学习训练方法,利用回译扩充双语平行语料,通过迭代调整伪语料和真实语料比例,在学习语言表征的同时降低噪声风险,最后结合译文质量及流利度奖励,在源语-目标语和目标语-源语两个方向上优化模型参数,从而达到提升译文质量的目的.在第15届全国机器翻译大会(CCMT 2019)蒙古语-汉语翻译任务上进行了多项实验,结果表明本文方法相比基线提高显著,充分证明该方法的有效性.

基于对偶学习的图像翻译技术研究

许多图像处理、计算机视觉的问题可以构成图像到图像的转换(即图像翻译)问题,但想要获得匹配的训练数据代价高昂且十分困难。本文采用无监督学习方法,可以在缺少匹配的训练数据的情况下抽取对象在某一域的共享特征,然后将其转换成另一种形式的共享特征进而转换到另一个域中去。文章还基于对偶学习(Dual Learning)和对抗生成网络(Generative Adversarial Networks,GAN)的相关技术提出了一种无监督的双学习框架模型,不仅能够用于从一个图像域到另一个图像域的翻译,同时此图像还能够转换为原来的域。实验结果表明,基于对偶学习的生成对抗网络机制(Dual GAN)能够显著提高各种生成对抗网络GAN的输出结果。和有标签数据训练的方式相比,如果只有未标记的数据,Dual GAN有时候可以产生类似甚至更好的输出。

基于对偶学习策略的单图像超分辨率重建网络

针对单图像低分辨率到高分辨率映射具有不适定性、特征图空间信息利用率低下以及网络参数量过大的问题,提出了一种基于渐进上采样的对偶学习算法用于图像的超分辨率重建。首先采用深度可分离卷积使得模型参数量显著减少;再基于亚像素卷积构建渐进上采样网络来高效利用特征图上下文信息;最后利用对偶学习策略构建闭环反馈网络,通过对偶关系相互约束映射空间以获取最佳重建函数。在Set5、Set14、BSDS100、Urban100、Manga109基准数据集上与其他主流的超分辨率方法相比,该算法表现出更优越的性能:有效减少了网络9%的参数量,在×4、×8放大因子下能重建出更清晰的图像,同时能有效缓解图像边缘失真和伪影现象,并且×8放大时的平均峰值信噪比和结构相似度(PSNR/SSIM)分别为26.90/0.751、24.84/0.645、24.74/0.619、22.30/0.560、24.38/0.706。

基于双注意力对偶学习的图像超分辨率重建算法

针对单幅图像低分辨率到高分辨率映射的不适定性,以及特征图通道域和空间域信息利用率低的问题,本文引入基于双注意力机制的对偶学习算法,用于单幅图像超分辨率的重建。算法先对输入图像进行特征提取,较大程度保留特征信息;之后采用双注意力机制计算图像的通道域和空间域的显著性,以提取到更准确有效的深层特征;最后利用对偶学习构建闭环反馈网络,通过对偶关系约束映射空间,以获取最优重建函数。在基准数据集Set5、Set14、BSDS100、Urban100上进行放大2倍和4倍的重建测试实验表明,与其他超分辨率算法相比,本文算法的峰值信噪比和结构相似度都高于其他算法,其视觉效果也比其他算法的图像更清晰。

基于对偶学习的密集连接超分辨率网络

深度学习的方法大大提升了超分辨率技术的性能,但是由于超分辨率重建本身是一个不适定的工作,导致生成的效果不稳定,且对于不同通道的平均化处理也会导致图像的特征难以凸显。本文使用了对偶学习的策略,通过引入SR图像下采样的子任务,减小解空间,进一步约束超分图像的生成过程;同时使用了密集连接的残差通道注意力模块,使图像的特征有所侧重的同时,又能较好地传递。最后通过与经典算法的对比和消融实验,验证了本方法具有较好的生成效果,且我们的改进也切实有效。

面向动态场景去模糊的对偶学习生成对抗网络

针对动态场景下的图像去模糊问题,提出一种对偶学习生成对抗网络(dual learning generative adversarial network,DLGAN),该网络可以在对偶学习的训练模式下使用非成对的模糊图像和清晰图像进行图像去模糊计算,不再要求训练图像集合必须由模糊图像与其对应的清晰图像成对组合而成.DLGAN利用去模糊任务与重模糊任务之间的对偶性建立反馈信号,并使用这个信号约束去模糊任务和重模糊任务从两个不同的方向互相学习和更新,直到收敛.实验结果表明,在结构相似度和可视化评估方面,DLGAN与9种使用成对数据集训练的图像去模糊方法相比具有更好的性能.

基于对偶对抗学习的多维时间序列异常检测

时间序列中异常点的无监督检测是一个具有挑战性的问题,要求模型能够快速准确地发现异常数据。VAE类深度神经网络模型能在数据压缩和恢复中学习数据的特征,但由于训练过程中缺乏对抗性,无法更好地区分正常数据和异常数据特征,导致模型训练困难。针对该问题,本文提出一种基于对偶对抗思想的改进多维时间序列异常检测方法。首先利用滑动窗口将数据集划分为合适的长度的序列,使用正常序列数据训练模型。继而利用对偶结构加强两组编码器解码器之间的对抗性,以更好地学习正常数据特征,减少训练难度。最后,将含有异常数据的待测数据放入训练好的模型,根据待测序列在模型中的异常得分,结合阈值技术进行异常判定,并从待测数据中获得异常序列片段,计算评价指标。实验表明,本文方法Dual-AE具有模型容易训练且稳定性强的特点,并且相对于USAD方法,在水文数据集SWaT上F1分数提升了0.01,召回率提升了0.01,在WADI数据集上F1分数提升了0.09,召回率提升了0.02。异常检测性能指标上,比现有的生成式异常检测模型有明显提升。

Stiefel流形上沿测地线搜索的自适应主(子)分量分析对偶学习算法

神经网络在线提取子分量并不成功。基于Oja-Brockett-Xu并行神经网络拓扑结构,通过紧致Stiefel流形上加权Rayleigh商目标函数的优化框架,提出一个通过改变搜索方向并行提取主分量和子分量的自适应对偶学习算法。在正交矩阵群上采用基于右平移不变的Killing度量,通过在单位元处基于指数映射的测地线搜索,得到Stiefel流形上主(子)分量分析的对偶学习算法,提出的算法通过简单的变换步长参数符号,从主分量分析切换至子分量分析,权值矩阵在任意迭代时刻保持正交归一性。数值仿真验证了该算法的有效性。

基于原始对偶字典学习的磁共振复数图像去噪

针对磁共振(magnetic resonance,MR)幅度图像中带有不易去除的与信号相关的莱斯(Rician)噪声问题,利用其复数图像中的实部与虚部所含噪声为不相关的加性高斯白噪声这一特性,代替对幅度图像直接去噪,提出将原始对偶字典学习(predual dictionary learning,PDL)算法用于对MR复数图像的实部与虚部分别进行去噪,然后组合得到幅度图像的方法.经仿真实验和在HT-MRSI50-50(50 mm)1.2 T小动物核磁共振系统中的实际应用,证明所提方法较直接对幅度图像去噪取得更好的效果,在有效去除MR图像噪声的同时能较好地保持图像中的细节.与经典的字典学习算法核奇异值分解(kernel singular value decomposition,K-SVD)相比,PDL算法去噪效果优于K-SVD算法,而运算速度提高约5倍.与经典的基于非局部相似块的三维块匹配滤波(block-matching and 3D filtering,BM3D)算法相比,在噪声水平较低时PDL算法略优于BM3D算法,噪声水平较高时BM3D算法略优于PDL算法,两者总体比较接近.

基于小样本学习的图像分类技术综述

图像分类的应用场景非常广泛,很多场景下难以收集到足够多的数据来训练模型,利用小样本学习进行图像分类可解决训练数据量小的问题.本文对近年来的小样本图像分类算法进行了详细综述,根据不同的建模方式,将现有算法分为卷积神经网络模型和图神经网络模型两大类,其中基于卷积神经网络模型的算法包括四种学习范式:迁移学习、元学习、对偶学习和贝叶斯学习;基于图神经网络模型的算法原本适用于非欧几里得结构数据,但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务,有关的研究成果目前相对较少.此外,本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较.最后,讨论了小样本图像分类技术的难点及未来研究趋势.

基于对抗学习的蒙汉神经机器翻译

在机器翻译模型的构建和训练阶段,为了缓解因端到端机器翻译框架在训练时采用最大似然估计原理导致的翻译模型的质量不高的问题,本文使用对抗学习策略训练生成对抗网络,通过鉴别器协助生成器的方式来提高生成器的翻译质量,通过实验选择出了更适合生成器的机器翻译框架Transformer,更适合鉴别器的卷积神经网络,并且验证了对抗式训练对提高译文的自然度、流利度以及准确性都具有一定的作用.在模型的优化阶段,为了缓解因蒙汉平行数据集匮乏导致的蒙汉机器翻译质量仍然不理想的问题,本文将Dual-GAN (dual-generative adversarial networks,对偶生成对抗网络)算法引入了蒙汉机器翻译中,通过有效的利用大量蒙汉单语数据使用对偶学习策略的方式来进一步提高基于对抗学习的蒙汉机器翻译模型的质量.

基于混合凸迁移和趋优柯西变异的对偶生物地理学优化算法

通过分析生物地理学优化算法(BBO)性能的不足,提出了一种基于混合凸迁移和趋优柯西变异的对偶生物地理学优化算法(DuBBO)。在迁移算子中,采用动态的混合凸迁移算子,使算法能够快速地向最优解方向收敛;在变异机制中,采用趋优变异策略,并加入了柯西分布随机数帮助算法跳出局部最优解;最后将对偶学习策略集成到算法中,加快了算法收敛速度并提升了搜索能力。在23个benchmark函数上的实验结果证明了提出的三种改进策略的有效性和必要性。最后将DuBBO与BBO以及另外六种优秀的改进算法进行对比。实验结果表明,DuBBO在整体性能上最好、收敛速度更快、收敛精度更高。

融合自注意力机制和相对鉴别的无监督图像翻译

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network,GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题,本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先,生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系,在低、高卷积层间增加跳跃连接,降低无关图像域特征信息损失.其次,判别器使用谱规范化防止因鉴别能力突变造成的梯度消失,增强训练过程中整体模型的稳定性.最后,在损失函数中基于循环重构增加自我重构一致性约束条件,专注目标域的转变,设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈,完成无监督的图像翻译.在Horse&Zebra、Summer&Winter以及AerialPhoto&Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法,本文能够建立更真实的图像域映射关系,提高了生成图像的翻译质量.

基于CNN和DLTL的步态虚拟样本生成方法

针对步态识别在反恐、安防领域亟待解决的小样本问题,提出了一种基于深度卷积神经网络(convolutional and neural network,CNN)和DLTL(dual learning and transfer learning)的步态虚拟样本生成方法。首先用基于VGG19的深度卷积神经网络模型低层响应提取步态风格特征图,然后利用基于对抗网络的对偶学习(dual learning,DL)对风格特征图进行风格训练,得到风格特征模型;其次利用VGG19模型的高层响应提取步态内容特征图,然后让步态内容特征图对风格特征模型中的风格特征进行学习;最后使用迁移学习(transfer learning,TL)获得步态虚拟偏移样本。实验结果表明,经过DLTL风格学习生成的步态虚拟样本虽然整体风格发生改变,但人体步态特征没有改变,可有效扩充小样本容量;当虚拟样本增加到一定数量时,步态识别率有所提升。该方法与现有步态虚拟样本生成方法进行对比实验,结果表明该算法优于现有方法,能够大量生成虚拟样本且稳定提高步态识别的识别率。

基于对偶生成式领域自适应网络的问答系统

针对生成式对抗网络在半监督问答系统领域的局限性:1.生成式对抗网络中的判别器与生成器存在结构对偶属性,在现有研究中被忽略。2.直接使用生成器生成的问答句对与人工标注的问答句对训练判别器易产生过拟合与偏差判别器。为了解决以上局限性,提出一种新型的对偶生成式域自适应网络。首先,设计判别器与生成器作为对偶闭环,提出概率对偶正则化项监督生成器与判别器训练过程,同时训练判别器与生成器,使得反馈信号在两者之间共享。然后,提出领域标签作为判别器的额外输入,区分生成器生成的问答句对与人工标注的问答句对,防止判别器过拟合与生存偏差判别器。基于问答数据集SQUAD数据集进行实验,实验结果表明,提出的对偶生成式域自适应网络相对于全监督问答模型具有好的性能,节省超过一半的标签成本;相对于传统生成式对抗网络具有更优的F1值与EM值。