摘要
词语权重计算是自然语言处理中的重要问题,是文档语义表示的重要实现手段.词语的权重主要由两部分决定,一部分是词语在文档中的重要性度量,另一部分是基于统计方法所得的词语在区分不同文档能力上的度量即词语全局权重.本文就针对有相对稳定性的词语全局权重计算方法分析比较了现有的几种词语全局权重计算方法,并在此基础上提出了一种新的组合词语全局权重计算方法,实验证明本文提出的新方法能够有效地提高了系统的性能.
词语权重计算是自然语言处理中的重要问题,是文档语义表示的重要实现手段.词语的权重主要由两部分决定,一部分是词语在文档中的重要性度量,另一部分是基于统计方法所得的词语在区分不同文档能力上的度量即词语全局权重.本文就针对有相对稳定性的词语全局权重计算方法分析比较了现有的几种词语全局权重计算方法,并在此基础上提出了一种新的组合词语全局权重计算方法,实验证明本文提出的新方法能够有效地提高了系统的性能.
出处
《哈尔滨工业大学学报》
EI
CAS
CSCD
北大核心
2011年第S1期315-318,共4页
Journal of Harbin Institute of Technology
基金
哈尔滨工业大学科研创新基金(HIT.NSRIF.2010045)
关键词
信息检索
语义相似度计算
词语权重计算
Information Retrieval
Semantic similarity computation
Term global weighting