置信度加权在线序列标注算法

序列标注问题是自然语言处理领域的基本问题之一.序列标注任务是将连续输入的不定长序列,标注成连续等长的标签序列.在在线序列标注方法的基本框架下,针对序列标注任务的特征稀疏特性,采用置信度加权分类算法思想,提出了一种新的线性判别式在线序列标注方法—置信度加权在线序列标注算法.该方法对每个特征权值参数引入一个概率置信度,取得了优于其他相关算法的性能.在中文分词,中文名实体识别以及英文组块分析等问题上,验证了本文方法的有效性.

利用扩展标记集的词结构分析

该文给出了一种与传统分词不同的词法分析选择,提出了一种利用扩展标记集来实现词内部结构分析的方法。首先阐述了词的内部结构特点,把结构中的前后缀视为特殊的词,进而通过识别出每一个词的前后缀来识别词的内部结构。方法是把词内部结构识别问题转换成序列标注问题,通过扩展标记集,采用CRF模型来实现词的内部结构分析。最终实验表明,无论是在总体性能上,还是在各层结构的识别上都取得了较高的准确度。