中文信息处理中的分词问题

在中文信息处理的众多应用领域中，从最底层的键盘、语音和字符识别等各类汉字输入方法，到最高层的各种汉语理解系统，都不可能完全摆脱汉语文本分词处理的困扰。分词问题已成为当前中文信息处理的一个瓶颈。没有一种公认的分词标准，是人和计算机共同面临的困难。如果在这个问题上不能尽快达成共识，那么在词表和带标注的语料库等重要信息资源上就不可能做到共享与复用，势必造成重复开发的严重浪费。