基于PageRank算法的文本关键词权重计算研究

关键词的权值计算绝大多数都是将关键词当作独立的部分,忽略关键词间关联性。试图从关键词间关联性出发,提出关键词的权值受到其他关键词的相互贡献作用,以PageRank算法中对于网页权值的迭代计算为理论基础,提出一种基于关键词间相互投票的权值迭代计算模型,将关键词抽象为模型中各个节点,关键词的初始权值采用经典的TF-IDF方法。将改进的关键词权值计算方法应用于Reuters21578 Top10和20Newsgroup数据集上,实验结果表明,新的算法能够较为明显地差异化关键词之间权值,达到区分文本中关键词重要程度的作用。

融合词向量的多特征问句相似度计算方法研究

问句的相似度计算是自动问答系统的关键部分,而现有的计算模型准确率较低。为此,应用Word2vec建立带有语义的词的向量表示,提出一种利用词向量距离,结合词项权重、句子长度等因素的问句相似度计算方法。该方法综合考察两个句子的语义信息,句法信息,词的表层信息来测量问句的相似度。实验部分设计四种问句相似度计算方法,结果表明该方法提高相似度计算的准确率。

搜索引擎页面排序融合算法

针对PageRank算法不十分关注页面内容而只关注"超链分析"的现状,并存在着用户实际所需要的页面的次序并不靠前的问题,提出了一种搜索引擎页面排序融合算法。该算法通过考虑词项权重、链接分析和用户偏好3个主要方面,得到一个URL的权值评价,这样每个待搜集的网页都有自己的权值评价,超链选择程序根据这些权值,从中选出一个或一批权值最大的来搜集,以达到精确检索的目的。