索绪尔难题与汉语智能分词

词、句乃至语言的实体单位和词的界限问题统称为"索绪尔困境"。智能分词是指以人工智能为导向的机器自动分词。中文自动分词问题处在汉语信息化、机器翻译和人工智能等研究热点的交汇点,一直是中文信息处理中的一个长期且艰巨的任务,但很少见语言学理论为中文自动分词和智能分词提供指导。本文提出的语言边界思想发现分词能力是人的核心语言能力或边界能力。语言边界思想力图使语言边界方法乃至语言学为当今人工智能、生物智能、机器翻译等信息和智能技术提供有效的理论指导和方法启迪。