基于百科语料的中英文双语词典提取

双语词典是跨语言自然语言处理中一项非常重要的资源。目前提取双语词典的方法主要是基于平行语料库和基于可比语料库,但是这两种方法在提取新词或者某些技术术语时都存在双语资源匮乏的问题。相比之下,基于部分双语语料的方法由于利用的是新闻或者百科知识,故可以很好地解决这个问题,然而目前基于部分双语语料的方法主要集中在对文本内容的提取上,缺乏对文本内容以外部分的提取。针对此不足,该文以中英文两种语言为例,提出了一种基于百科语料的中英文双语词典的提取方法。该方法是在对文本内容提取的基础上结合在线百科的结构特点,分别用五种不同的方法对百科语料进行提取,综合查重后得到的双语信息数量为969 308条。与以往的基于部分双语语料的双语词典的提取方法相比,该方法在在线百科语料上的提取数量提高了170.75%。

基于非平行语料的双语词典构建

在进行跨语言自然语言处理时,缺少双语资源是非常棘手的问题,而这在语言资源匮乏的场景下是非常普遍的.此时,利用好非平行语料中蕴含的翻译知识变得更为重要.由于语料不平行,从中获取翻译知识意味着小数据、无监督学习,因此极具挑战,而取得的结果通常是双语词典的形式.这既是人工智能领域重要的学术问题,也在语言资源匮乏场景有着巨大的应用价值.本文针对前人研究中存在的问题,介绍一系列工作,从各个角度探索如何更好地利用非平行语料构建双语词典.