基于CRF的蒙古文人名自动识别研究

以蒙古文人名识别为目的,实现了基于条件随机场模型的人名自动识别。从蒙古语黏着性特点分析入手,研究了蒙古语语料库中人名的存在形式以及各类人名的特点,针对蒙古语语料库中人名的特点,在词汇特征、词性特征和指示词特征等基本特征基础上引入了汉语姓氏特征、人名词典特征、兼类人名特征以及双词根特征。以内蒙古大学开发的100万词规模的标注语料库为训练数据,该模型的人名识别性能达到了94.56%的准确率,90.60%的召回率和92.54%的F值。该方法比起以往的基于规则的系统取得了较好的结果。

基于最大熵的蒙古文人名识别系统的设计与实现

最大熵模型能充分利用上下文,灵活取用多个特征。使用最大熵模型进行蒙古文人名识别,分析蒙古文人名结构及上下文环境,根据语言特点设计特征模板,建立粗选特征集;建立人名知识库,提取精选特征集,训练最大熵模型;实验结果证明,本系统能有效识别蒙古文人名,开放测试的正确率达到94.56%,召回率达到85.15%,F值达到89.61%,识别效果较为理想。

基于条件随机场的蒙古文人名识别

将条件随机场模型应用于蒙古文人名识别中,结果表明,该方法封闭测试识别的准确率、召回率、F值分别为99.51%、99.43%、99.47%,开放测试识别的准确率、召回率、F值分别为89.28%、83.38%、86.23%.与基于规则的人名识别相比,该方法具有较高的识别准确率.