信息检索加权理论与技术:基于VSM模型的分析

Term Weighting Schemes and Techniques in Information Retrieval:An Analysis Based on VSM Model

分析了信息检索加权技术的理论基础,探讨了局部统计分布特性和全局分布特性在词加权技术中的应用以及不对称分布对加权性能的影响,结合词加权技术的基本原理提出了词加权形式化描述与计算模型,并运用该模型对基于向量空间模型的加权技术及其优化策略进行了分析。针对加权技术需解决的关键问题描述文献内容和区分文献,提出计算文献权重应同时利用特征词局部分布和全局分布信息,并消除文献长度和语义信息缺乏等不对称分布问题的影响。