基于动作建模的中文依存句法分析

决策式依存句法分析,也就是基于分析动作的句法分析方法,常常被认为是一种高效的分析算法,但是它的性能稍低于一些更复杂的句法分析模型。本文将决策式句法分析同产生式、判别式句法分析这些复杂模型做了比较,试验数据采用宾州中文树库。结果显示,对于中文依存句法分析,决策式句法分析在性能上好于产生式和判别式句法分析。更进一步,我们观察到决策式句法分析是一种贪婪的算法,它在每个分析步骤只挑选最有可能的分析动作而丢失了对整句话依存分析的全局视角。基于此,我们提出了两种模型用来对句法分析动作进行建模以避免原决策式依存分析方法的贪婪性。试验结果显示,基于动作建模的依存分析模型在性能上好于原决策式依存分析方法,同时保持了较低的时间复杂度。

问答式检索技术及评测研究综述

问答式检索系统(简称问答系统)是集自然语言处理技术和信息检索技术于一身的新一代搜索引擎。它的出现旨在提供更有力的信息获取工具,以应对信息爆炸带来的严重挑战。经过这几年的发展,问答系统已经成为自然语言处理领域和信息检索领域的一个重要分支和新兴的研究热点,其“通过系统化、大规模地定量评测推动研究向前发展”的发展轨迹,以及某些成功的启示,如基于字符表层的文本分析技术(模板技术)的有效性,快速、浅层自然语言处理技术的必要性,都极大地推动了自然语言处理研究的发展,促进了NLP研究与应用的紧密结合。回顾问答系统研究的历史,总结问答技术的研究现状,将有助于这方面工作向前发展。

英汉机器音译系统对比研究

针对机器音译的两种主要方法——传统的基于统计的方法和目前流行的基于深度神经网络的方法,分别使用两种典型系统进行研究。实验结果显示,基于统计的方法和基于深度神经网络的方法取得的音译质量在评测指标上相当,但在具体音译结果上各系统间呈现不一致的输出。使用系统融合的方法来实现各系统间的优势互补。实验结果显示,系统融合的方法显著优于单系统的音译质量。

翻译规则剪枝与基于半强制解码和变分贝叶斯推理的模型训练

统计机器翻译一般采用启发式方法训练翻译模型。但启发式方法的理论基础不够完善,因此,会导致翻译模型规模庞大以及模型参数精确率不高。针对以上两个问题,该文提出一种基于变分贝叶斯推理的模型训练方法,形成更精确的精简翻译模型。该方法首先通过强制解码对齐语料,然后利用变分贝叶斯EM算法获得模型参数。该文的实验语料为NIST汉英翻译任务数据,实验结果显示,基于句法(基于短语)的统计机器翻译中,超过95%(76%)的规则被剪枝,且BLEU值显著提高。

低资源维汉神经机器翻译研究

该文介绍了在第15届全国机器翻译大会的机器翻译评测项目中苏州大学的参赛情况,主要介绍参评系统使用的神经机器翻译模型基准结构以及采用的策略、方法,并介绍该系统在评测数据上的实验性能.

多层信息融合的神经机器翻译

现有最先进的神经机器翻译模型大都依赖于多层神经网络结构,针对多层网络结构易导致信息退化的问题,提出通过融合层与层之间的输出信息来改善各个层之间的残差连接关系的方法,从而使得层与层之间联系更紧密.相比于原来的残差网络连接,进一步优化了深层网络的信息流动结构,使得整个结构有效信息流动更充分.在Transformer模型和序列到序列的卷积(convolutional sequence to sequence,Conv S2S)模型上进行相关实验,大规模中-英翻译任务的实验结果表明,该方法提高了Transformer和Conv S2S的翻译性能.

基于领域特征的神经机器翻译领域适应方法

神经机器翻译在资源丰富领域上训练的翻译模型往往在其他资源稀缺领域中表现较差,领域适应是利用资源丰富的领域帮助资源稀少的领域提升翻译质量的一种方法。该文提出基于领域特征的领域适应方法以提升资源稀缺领域的神经机器翻译质量。具体而言,该文尝试构建领域敏感网络以获得领域特有特征,构建领域不敏感网络以获得领域间的共有特征。一个领域判别器被用于区分领域。该文通过训练领域敏感网络使得该领域判别器更易做出准确判断,同时引入对抗机制,使得领域不敏感网络欺骗该领域判别器。最后,提出一种系统集成机制,融合基准神经翻译网络、领域敏感网络、领域不敏感网络以完成神经机器翻译的领域适应。实验结果显示,该方法在中英广播对话领域上和英德口语领域上的翻译效果均有显著提升。

神经机器翻译的系统融合方法

为了提高机器翻译模型的泛化能力,基于神经机器翻译系统,将系统融合技术应用于模型训练过程.在神经机器翻译系统的基本结构——编码器-解码器结构的基础上,提出5种融合方法(平均融合、权重融合、拼接融合、门机制融合和注意力机制融合)分别应用于多个编码器-一个解码器的融合、多个编码器-多个解码器的融合和一个编码器-多个解码器的融合.在中英翻译任务上进行实验,相对于基准系统,系统融合方法改进的机器翻译模型的机器双语互译评估(BLEU)值最终提升了0.59~3.01个百分点.实验结果表明,系统融合能有效地提升译文质量.

基于掩码机制的非自回归神经机器翻译

当前基于自注意力机制的神经机器翻译模型取得了长足的进展,但是采用自回归的神经机器翻译在解码过程中无法并行计算,耗费时间过长.为此,提出了一个采用非自回归的神经机器翻译模型,可以实现并行解码,并且只使用一个Transformer的编码器模块进行训练,简化了传统的编码器-解码器结构.同时在训练过程中引入了掩码机制,减小了与自回归的神经机器翻译的翻译效果差距.相比于其他非自回归翻译模型,该模型在WMT 2016罗马尼亚语-英语翻译任务上取得了更好的效果,并且在使用跨语言预训练语言模型初始化后,取得了和自回归神经机器翻译模型相当的结果.

基于递进式半知识蒸馏的神经机器翻译

神经机器翻译(NMT)模型通常具有庞大的参数量,例如,Transformer在词表设为3万时有将近1亿的神经元,模型的参数量越大,模型越难优化,且存储模型的资源需求也越高。该文提出了一种压缩方法,用于将复杂且参数量大的NMT模型压缩为精简参数量小的NMT模型。该文同时提出半知识蒸馏方法和递进式半知识蒸馏方法,其中半知识蒸馏是从参数多、性能好的教师模型中获取半部分的权重作为精简、参数少的学生模型训练的起点;递进式半知识蒸馏方法指运用过一次半知识蒸馏方法压缩以后,再把当前的半知识蒸馏压缩的模型作为新的教师模型,再次运用半知识蒸馏方法得到全压缩模型。在广泛使用的中英和日英数据集上进行实验,结果表明,该方法对NMT系统有积极影响。在日英数据集上,该文方法的最佳性能比基准模型高2.16个BLEU值,比词级别知识蒸馏方法高1.15个BLEU值,并且高于句子级别的知识蒸馏方法0.28个BLEU值。

融入依存关联指导的神经机器翻译方法

现有的神经机器翻译模型的注意力机制仅考虑目标端对应源端的关联信息,未考虑源端单词之间的关联信息.通过在源端进行关联性建模,融入依存关联指导,以此加强源端单词之间的关联性,提高机器翻译的性能.首先构建源端隐藏层之间的关联性,其次构建依存关联损失函数,从而将依存关联指导融入基准的神经机器翻译系统.利用循环神经网络基准模型和Transformer基准模型分别在大规模的中-英测试数据集上进行实验,结果表明,相较于基准神经机器翻译系统,融入依存关联指导可以有效提升机器翻译质量.

区域灰度分布耦合相似判定策略的图像匹配算法

目的为了解决当前因图像匹配算法主要依靠提取图像的特征属性矢量进行度量,从而利用其对应的相关系数最大的点进行匹配时导致匹配结果中存在较多的错误匹配点以及匹配误差变大的问题。方法提出区域灰度分布耦合相似判定策略的图像匹配算法,首先利用Forstner算子来提取图像的特征点,以特征点为中心,采取建立极坐标系的方法来确定特征点的主方向,通过特征点邻域的灰度特征来生成低维度的特征描述子;然后引入归一化互相(NCC)函数对特征点之间的相似度进行评估,建立矩形窗口特征点双向匹配规则,完成特征点的匹配,以提高特征点之间的匹配准确度和算法鲁棒性;最后,根据正确匹配特征点组成的三角形具有相似性的特征,设计相似判定策略,对错误匹配点进行剔除,以改善匹配精度。结果实验结果表明,与当前图像匹配技术相比,文中匹配算法具有更高的匹配精度与效率,有效降低了特征点的误匹配率。结论所提图像匹配技术具有较高的配准精度,在图像伪造、包装条码识别等领域具有一定的应用价值。

基于注意力卷积的神经机器翻译

现有神经机器翻译模型普遍采用的注意力机制是基于单词级别的,文中通过在注意力机制上执行多层卷积,从而将注意力机制从基于单词的级别提高到基于短语的级别。经过卷积操作后的注意力信息将愈加明显地体现出短语结构性,并被用于生成新的上下文向量,从而将新生成的上下文向量融入到神经机器翻译框架中。在大规模的中-英测试数据集上的实验结果表明,基于注意力卷积的神经机翻译模型能够很好地捕获语句中的短语结构信息,增强翻译词前后的上下文依赖关系,优化上下文向量,提高机器翻译的性能。

倾向近邻关联的神经机器翻译

现有神经机器翻译模型在对序列建模时,仅考虑目标端对应源端的关联性,未对源端关联性及目标端关联性建模。文中分别对源端以及目标端关联性建模,并设计合理的损失函数,使得源端隐藏层与其近邻K个单词隐藏层更相关,目标端隐藏层与其历史M个单词隐藏层更相关。在大规模中英数据集上的实验结果表明,相比于神经机器翻译中仅考虑目标端对应源端的关联性,所提方法可以构建更好的近邻关联表示,提升机器翻译系统的译文质量。

区分冗余序列的抽象文本摘要

序列到序列模型已经被广泛用于抽象文本摘要中,主要将源端语句的词序列通过神经网络生成摘要的词序列.在生成过程中,源端语句所携带的信息被编码,继而由解码器生成摘要.源端句子中包含有两种类型的信息,一类是与摘要有关联的信息,另一类是与摘要无关的冗余信息.为了区分这两类信息,提出了一种新的模型架构,在序列到序列模型的目标端加入冗余序列信息,通过解码器分别生成摘要文本以及冗余文本.将该模型应用于Gigaword英文测试集和LCSTS中文测试集,测试结果表明:相对于基准系统Transformer模型,加入冗余序列的Transformer模型在评估指标ROUGE-1(recall-oriented understudy for gisting evaluation-1)下的得分提高了0.7个百分点,证明该模型能够生成更高质量的抽象文本摘要.

基于适应性训练与丢弃机制的神经机器翻译

在机器翻译领域中,提升翻译质量的一个重要方法是提高短语的翻译准确率。统计机器翻译模型通过对短语而非单词进行建模,大幅提升了短语翻译准确率。然而,对于神经机器翻译模型,传统的训练目标最小化每个词的损失,而无显式的约束记忆短语存在短语的翻译准确率较低的缺陷,另外基于自回归解码的神经机器翻译模型导致误译的短语会影响后续短语的准确翻译。为了解决上述问题,提出短语感知适应性训练和短语丢弃机制的方法。短语感知适应性训练将句子分割为多个短语片段,借助适应性训练目标为每个词分配合适的权重,以鼓励模型记忆短语,提高模型对短语的翻译准确率,短语丢弃机制通过在训练中随机丢弃目标端短语来增强模型对误译短语的鲁棒性,避免对后续短语的翻译造成影响。在WMT2014英德和NIST中英两个翻译任务上的实验结果表明,与Transformer基线模型相比,提出方法可以使译文的BLEU值分别提高1.64和0.96分。此外还证明了短语知识作为一种通用的知识,可以从教师模型迁移到学生模型,进一步提升翻译质量。

文化风格区分的无监督领域适应的电商产品翻译

电商产品翻译系统的训练存在两个主要的问题:电商领域训练数据稀缺和电商产品描述文化风格差异较大.为此,通过获取大量的电商产品数据信息作为训练语料,并利用基于无监督领域适应的混合训练和文化风格区分的方法改善电商产品翻译系统的性能.具体地:一方面将基于外领域数据训练得到的翻译系统应用于电商领域单语数据得到伪平行语料,使用伪平行语料进行混合训练进一步得到新的模型;另一方面给不同语言的电商数据添加对应的文化风格区分标记,在训练过程中告诉模型当前数据的所属类别,根据类别信息获取相应的文化风格区分特征向量,从而提高电商领域产品信息翻译的准确度.实验结果表明,该方法优于多种基于单语语料的电商产品翻译方法.

基于产品建模的评论问题生成研究

问题自动生成是自然语言处理领域的一个研究热点,旨在从文本中生成自然问句。随着电子商务的不断发展,网络上产生了大量关于产品的评论。面对海量的评价信息,如何快速挖掘产品信息相关的关键评价,从而生成与产品各个层面息息相关的问答数据具有极大的研究价值,这对商家和顾客都具有极大的意义。现有的问题生成模型大多针对阅读理解类型等长文本语料,采用端到端序列化生成模型。然而,针对基于产品评论等短文本的问题生成任务,现有的模型无法将用户和商家重点关注的商品特性纳入学习过程。为了使生成的问题更加符合商品的特性,文中提出了基于产品建模的评论问题生成模型,通过与产品属性识别进行联合学习训练,使模型在解码层面加强了对特征信息的关注。与现有的问题生成模型相比,该模型不仅能解决产品数据口语化严重的问题,还能加强产品属性的识别能力,从而使生成的问题更加具体,更符合商品的特征。文中在京东与亚马逊产品评论数据集上同时进行实验,结果表明,在基于评论等短文本生成问题的任务上,与目前已有的问题生成模型相比,所提模型取得了较大的性能提升。基于中文京东数据集的实验中,所提模型的BLEU值提升了3.26%,ROUGE值提升了2.33%;基于英文亚马逊数据集的实验中,所提模型的BLEU值提升了2.01%,ROUGE值提升了2.10%。

基于风格感知的无监督领域适应算法

近年来,神经机器翻译的译文质量取得了显著的进步,但是其在训练过程中严重依赖平行的双语句子对。然而对于电子商务领域来说,平行资源是稀缺的,此外,文化的不同导致产品信息表达存在风格差异。为了解决这两个问题,提出了一种基于风格感知的无监督领域适应算法,该算法在互训练方法中充分利用电子商务单语数据,同时引入拟知识蒸馏的方法处理风格差异。通过获取电商产品数据信息构建非平行双语语料,基于该语料以及中英新闻平行语料进行多组实验,结果表明,相比各种无监督领域适应方法,该算法显著提高了翻译质量,较最强的基线系统提高了约5个BLEU点。此外,将该算法在Ted, Law和Medical OPUS 3类数据上进一步拓展应用,均取得了更佳的翻译效果。

神经机器翻译的词级别正则化

由于神经机器翻译模型具有大规模参数且其性能极大地依赖大规模高质量平行语料,当训练数据规模小于模型复杂度时,模型易出现过拟合问题而泛化能力不足.针对此问题,研究了词级别的正则化技术,通过对模型输入句子中的单词进行随机干扰,以此削弱数据的特异性,从而抑制模型对于数据的过度学习,防止过拟合,提高模型的泛化能力.通过Transformer模型在标准规模中文-英语数据集和中小规模英语-土耳其语数据集上进行的相关实验,结果证明词级别正则化方法能够使模型在收敛后更加稳定,不易出现过拟合的情况,并且翻译质量也得到了明显的提升.