汉语未登录词识别现状及一种新识别方法介绍

未登录词的识别对于各种汉语处理系统不仅有直接的实用意义,而且起到基础性的作用。在大规模中文文本的自动分词中,未被识别的未登录词是造成分词错误的一个重要原因,也成为许多自动分词系统走向应用的瓶颈。首先对未登录词的研究现状及现有方法做了一个综合的介绍,分析了目前方案的利弊。在此基础上提出了一个基于框架结构的未登录词专有名词识别方法。

基于实例和错误驱动的规则学习方法及其应用

提出了一种基于实例和错误驱动相结合的规则学习方法。该方法首先将提取的文本中的语法结构信息作为实例,然后采用基于转换的错误驱动学习方法找出这些实例的适用上下文环境,从而建立相应的规则库。此方法提取出的规则完全采用机器学习的方式,避免了人工提取规则的主观性缺点。可用于诸如词性标注、未登录词识别、命名实体抽取等自然语言研究课题。

一种基于框架结构的专有名词自动识别方法

本文提出了一种基于框架结构的专有名词统一识别方法。该方法首先根据专有名词的成词特点及出现的上下文环境,重新定义语料属性;然后,提出了属性标注点(AP)的概念,对训练语料进行初次标注,并采用错误驱动的学习方法来获取规则;最后,结合规则和实例对文本进行专名识别。实验表明,该方法在测试样本集上准确率最高可以达到92.3%,召回率最高可以达到80.4%,是一种有效的专有名词识别方法。

基于属性标记的专有名词自动识别研究

提出了一种新的基于属性标记的专有名词统一识别方法。其基本思想是:根据专有名词的成词特点,利用标注语料库,设定词语属性作为标准属性重新进行标注,在此语料基础上进行专有名词成词结构、成词环境的实例提取,并采用基于转换的错误驱动方法对提取的实例进行适用规则提取。在提取的实例和规则的基础上进行属性标注,是一种基于转换的错误驱动规则自学习方法与基于实例的学习方法相结合的基于浅层句法分析的一种新的识别专有名词的方法。实验证明该方法在测试样本集上准确率达到95.3%,召回率达到92.5%,是一种有效的专有名词识别方法。

基于小句相似度计算的专有名词识别

专有名词识别是中文信息处理领域的一个难题。句子相似度计算方法在中文信息处理领域有着广泛的应用。本文探索性地使用句子相似度计算方法来解决专有名词识别问题，并针对专有名词识别的研究背景对小句相似度计算方法做了一些改进，改进的计算方法不仅考虑了公共字符，而且还加入了语义信息和结构信息。实验证明该方法是可行的。

基于串频统计的汉语和孟加拉语专有名词识别

基于Nagao串频统计算法实现汉语和孟加拉语专有名词的识别。提取未经过词性标注的中文和孟加拉语语料中的的n元串,使用改进的SSR算法过滤多余子串,利用字串的相邻字信息计算所有n元串成为专有名词的概率,并据此筛选专有名词。最后,实现基于串频统计的跨语言专有名词识别系统。实验表明,系统能够从输入的生语料中有效地识别出人名、地名、团体机构名等。