基于统计的词语相关度网络自动构建方法研究

词语语义知识库对于扩大自然语言理解的深度具有重要的意义。目前较为成熟的WordNet、HowNet、同义词词林等均为人工开发,对知识的描述较为准确,但开发的工作量巨大,实际应用存在很多困难。为了更加自动化、实证性地获取中文词语相互关联状况的知识,该文提出词语相关度的概念以及基于统计的词语相关度计算方法,并以此为基础构建一个基于强领域特性中文词语的词语相关度网络,设计数组分割的硬盘存储方法,使该任务涉及到的海量数据的分析处理可以在目前的个人PC上完成。最终获得的词语语义知识具备经验主义方法的优点,准确性、泛化性较强,可以在文本分类、检索、过滤等领域发挥重要作用。

网络的简监督文本分类方法

传统的基于规则或统计的文本分类方法存在许多问题。本文利用词语相关度网络提供的大量词语语义知识设计一种"简监督"文本分类方法,从理论和技术上解决文本分类问题,以求在认知心理符合程度、人工标注困难等层面上克服传统方法的缺陷。实验证明文章设计的方法计算结果较为准确,具有一定的可行性和应用前景。