融合形态特征的最大熵蒙古文词性标注模型

最大熵模型以其能够较好地包容各种约束信息及与自然语言模型相适应等优点在词性标注研究中取得了良好的效果.因此,将其作为基本框架,提出了一种融合语言特征的最大熵蒙古文词性标注模型.首先,根据蒙古文构词特点及统计分析结果,定义并选取特征模板,利用训练语料提取了大量的候选特征集合,针对错误或者无效的特征通过设置一些规则筛选特征.然后,训练最大熵概率模型参数.实验结果表明,融合蒙古文形态特征的最大熵模型可以较好地标注蒙古文.

基于统计方法的蒙古语依存句法分析模型

蒙古语文信息处理已初步完成字、词处理阶段的基本任务,正在步入句处理阶段,并且在国家自然科学基金的资助下构建了蒙古语依存树库MDTB。该文以MDTB为训练和评测数据,设计实现了一种基于词汇依存概率的蒙古语依存句法分析模型。目前,该模型的无标记准确率、有标记准确率和核心词准确率分别达到了71.24%、61.42%和93.05%。

Windows环境下蒙古文复杂文本处理的研究

简要介绍了复杂文本和Uniscribe布局引擎,然后介绍一种基于Uniscribe的蒙古文Unicode文本的解释算法,解决Windows环境下字处理软件不支持蒙古文国际标准编码的问题.该算法具有较好的通用性,能够有效处理多种复杂文本语言,在蒙古文字处理软件MWord中的应用说明了该算法的有效性.

基于Mealy机的蒙古文排序算法

排序是语言文字信息处理中的重要工作之一,它的目的是将单词(或词组)的任意序列重新排列成按关键字有序的序列,从而优化存储结构,提高检索速度.但由于蒙古文排序习惯和其"UCS"编码的特殊性,单词排序不能完全依靠字符编码的自然顺序.单词的排列顺序不仅与字符编码有关,而且与字符状态有着密切的关系.因此先给出字符状态和词状态的定义,然后提出一种基于Mealy机的字符串排序算法.该算法是传统的字符串排序算法的一种扩展,主要解决了编码相同状态不同情况下词的排序问题,并且在传统蒙古文排序中的应用证实了算法的有效性.该算法具有很好的适应性,能够解决其它一些复杂文本语言的排序问题.

基于不确定有限自动机的蒙古文校对算法

该文首先分析了蒙古文电子文本中存在的错误类型、出错原因以及常用的查错纠错方法,然后根据蒙古文特有的书写习惯和编码特点提出一种基于不确定有限自动机的校对算法。该算法采用有限自动机的方法对校对算法所依据的知识词典进行描述,大大提高了文本查错和纠错速度。

蒙古语固定短语识别算法的设计与实现

固定短语的自动识别和标注是进行蒙古语文本处理的基础和前提条件。词类标注、短语标注、句法分析、语义分类及语义角色标注等基础研究和机器翻译、文本校对等应用系统的开发均以正确标注固定短语的文本为处理对象。该文在"蒙古语固定短语语法信息词典"的基础上采用基于有限状态自动机和规则的方法设计实现了固定短语识别和标注算法。经实验,其识别率已达到90%以上,在处理中,词均用时与基于字符串匹配的算法相比提高较多,达到0.005 0ms。

蒙古文编码转换通用算法研究

目前在蒙古文编码体系中存在以下两点问题:1.蒙古文编码国际标准正式通过已有八年,但各个软件厂商和网站坚持使用各自的编码系统,无法实现有效的信息交换和资源共享。2.录入不规范。以蒙古文编码国际标准字符录入的文档中普遍存在字形正确、读音错误的现象,无法实现有效的信息检索。为了解决以上两点问题,我们研制了一种基于字素编码的蒙古文编码转换通用算法。该算法将在蒙古语语料库的建设、全文检索和自动校对中起到非常重要的作用。

基于Uniscribe和OpenType的蒙古文字处理软件MWord的设计与实现

MWord是一种集文本、表格、图形、图象处理于一身的字处理软件,它采用OpenType字库技术和Uniscribe布局引擎解决了Windows环境下蒙古文编码国际标准的实现问题。本文重点介绍了MWord的内部数据模型、文档格式(外部数据模型)以及采用OpenType字库和Uniscribe布局引擎后蒙古文文本的编辑、解释、排版和输出技术。

基于依存语法的蒙古语间接宾述关系识别

蒙古文信息处理中,间接宾述关系与状述关系的区别是非常模糊的。依存句法自动分析时,如何使机器更好的理解语义,提高自动识别的准确度,优化系统功能是蒙古文信息处理必须解决的重要问题。针对蒙古语依存句法分析,与格/从格形态变化时的名词充当被支配词时状述关系与间接宾述关系的模糊问题,配价语法,语义角色等理论与方法的角度简要的展开分析并描述句法自动分析存在的缺陷,展望蒙古语依存语法研究的未来。

基于词典匹配的蒙古文命名实体识别研究

命名实体是自然语言处理中重要的信息元素,是正确理解文本的基础。本研究根据蒙古文命名实体的特点,采用机器词典进行命名实体的最大化匹配后引入有限状态自动机。实验表明,采用该方法对10万词级蒙古文新闻语料库进行标注后,其召回率为90.67%,准确率为92.53%,F值为91.59%,取得了较好的识别效果。