基于词典的汉藏句子对齐研究与实现

双语语料库加工的关键技术之一是对齐,构建句子级别的对齐语料是构建语料库最基本的任务。该文参考其他语言句子对齐的成熟的方法,针对藏文语言的特殊性,提出基于词典的汉藏句子对齐。整理了对齐所用双语词典,并对其词语覆盖率进行了评价。在汉藏句子对齐过程中发现汉语与藏文的分词粒度不同的问题,采用在藏汉词典中进一步查词并在汉语句子中比对的方法,使正确句对的得分增加,从而提高对齐正确率。采用该方法准确率为81.11%。

一个并行分词体系结构模型

文章提出并讨论了一种并行全切分分词方法,给出了该方法在MIMD_SM上的并行分词体系结构模型。经过单CPU机上的模拟实验,证明该模型是可行而且有效的。该模型为克服串行全切分存在的复杂性及效率问题提供了新的思路,对于深入研究书面汉语的并行分词问题及实现具有实际意义。

用大规模并行网络模型同时解决中文分词和语法分析

提出用大规模并行网络的自然语言处理模型(即 MPNP 模型)处理中文的方法,它将中文的分词和语法分析合为一体加以统一的解决。以便实现多层次知识的综合。这种新的形式化方法吸收了当前连结主义模型的并行的优点,即用主动的节点—带局部记忆区和过程的节点和它们之间的连结关系显式地表达知识,用节点间的信息传送实现信息的并行处理。同时又保持了在较高层次模拟智能行为的特点。由于它的特殊的控制方法,它能够将自下而上的分析和信息传送与自上而下的期望扩散模型有机地结合起来。通过从左至右的扫描,并行地生成所有可能的分析,这一并行方法为新一代计算机的自然语言处理提供了一个有用模型。本文中从实现的角度较详细地阐述了这种处理方法的基本原理、结构和控制,以及中文分析系统的建造方法。

双语平行语料的预处理

本文分析和讨论了双语平行语料库建设中的纯文本化、分词处理和文本对齐三个步骤,并认为它们是双语平行语料的预处理过程。探讨了各个步骤之间的关系以及各个步骤目前发展现状和存在的问题,对我国现已建成的汉英双语语料库也作了剖析说明。