基于Re-Perceptron-CRF的规范类文本分词研究

通过Re-Perceptron-CRF组合方法,利用规范类文档特点,对关键词进行切分。分别采取Viterbi、Perceptron、CRF和Re-Perceptron-CRF 4种算法分别对规范类文本进行分词研究。具体为基于句法分析对规范类文本使用正则表达式进行标准化处理,得到适合分析的预处理文本,并通过Perceptron与CRF的双重算法返回各自的最优结果。实验表明,Re-Perceptron-CRF算法明显提高分词效果,在准确率和召回率上均有良好表现,其准确率和召回率分别达到94.36%和97.02%。该方法为规范类文本中文分词相关工作提供一定的研究思路,为后续应用提供好的数据支撑。但由于数据量较小,该方法仅适用于特定领域,如建筑检测领域。