一种DF—LDA的文本相似度计算方法

首先用DF方法对文本进行特征选择，然后使用LDA建模的方法获取文本主题分布；用降维后的文本主题分布计算文本相似度。这种DF和LDA结合的文本相似度计算方法，在考虑到词频信息特征的同时，也考虑了语义信息特征。两次降维不仅降低了算法时间复杂度，而且在文本相似度计算过程中消除了低价值词项的干扰，提高了计算的精度。实验结果表明，DF-LDA算法在Tancrop数据集上F值较LDA方法有了7％的提高。