基于深度学习的跨语言词汇对齐模型研究

由于能够捕捉语言的内在规律,词向量在自然语言处理任务中得到广泛应用,通过跨语言词汇对齐能够将词向量的应用推广到跨语言情境中。文章在词汇深度表示学习的基础上通过改进生成对抗网络结构,提出一种新的词汇对齐模型(Word Alignment Model,WAM)。为验证模型的有效性,在三组跨语言语料数据集上进行对比实验。与最好的无监督方法相比,WAM模型在P@1上提升0.25%,在P@10上提升0.46%。实验结果表明,通过改进生成对抗网络,能够以无监督的方式更好地实现词汇的跨语言对齐。研究结果对完成领域知识的跨语言迁移,解决跨语言情感分析、信息检索和问答系统等跨语言信息处理任务有重要意义。

基于词典和统计的语料库词汇级对齐算法

语料库词汇一级的对齐，对于充分发挥语料库的作用意义重大。本文对汉英句子一级对齐的语料库，提出了借助于词典和语料库统计信息的有效的对齐算法。首先利用词典的词的译文及其同义词在目标语中寻找对齐；其次利用汉语词汇与英语单词的共现统计信息以最大的互信息寻找对齐词汇以及相邻短语。

《左传》及其注疏文献的内容自动对齐研究

自动对齐的目的是将半结构化的注疏文献转化为结构化形式,从而为先秦文献的信息处理提供可靠的帮助。探讨《左传》及其注疏文献的三种自动对齐方式:句子对齐、注释对齐和词汇对齐。在句子及注释对齐试验中,对齐的正确率为99.8%,召回率为98.2%,效果较为理想。提出两种词汇对齐的原则,并通过具体实例展示《左传》及其注疏文献的词汇对齐效果。

基于语言学资源的汉-英机器翻译

翻译知识是决定机器译文输出质量的关键性因素。本文给出了一种基于语言学资源的机器翻译框架,对汉英双语句对进行词汇对齐,根据词汇对齐结果提取汉英对译片断对。利用对译片断对来实现输入汉语句子的翻译转换任务。实验结果表明:本文所提出的方法能够对输入的汉语句子进行较好地翻译。