基于分层语块分析的统计翻译研究

本文描述了一个基于分层语块分析的统计翻译模型。该模型在形式上不仅符合同步上下文无关文法,而且融合了基于条件随机场的英文语块分析知识,因此基于分层语块分析的统计翻译模型做到了将句法翻译模型和短语翻译模型有效地结合。该系统的解码算法改进了线图分析的CKY算法,融入了线性的N-gram语言模型。目前,本文主要针对中文-英文的口语翻译进行了一系列实验,并以国际口语评测IWSLT(International Workshopon Spoken Language Translation)为标准,在2005年的评测测试集上,BLEU和NIST得分均比统计短语翻译系统有所提高。

自然语言处理的挑战与未来

综述了自然语言处理的发展历史和最新进展,概述了该领域出现的复杂特征集和合一语法、词汇主义方法和统计语言模型三个里程碑式贡献,分析了国内外研究现状和瓶颈,指出了自然语言处理研究领域面临的挑战和发展方向。