PageRank技术分析及网页重要性的综合评价模型

分析了搜索引擎Google的PageRank技术及其存在的不足,并结合搜索引擎的第一定律和用户对页面的超文本链的点击率判断网页重要性的方法,建立了网页重要性的综合评价模型。

面向主题的网页搜索系统

论述一个面向主题的网页搜索系统 (SATWP) ,该系统在智能代理的辅助下具有搜索、导航、以及信息反馈等功能 .在判断网页与查询主题的相关度时改变了单纯的从网页内容上考虑的方法 ,即从网页自身的 URL、网页间的关系以及网页的内容来判断 .SATWP采用在客户端的智能代理记录用户的浏览行为 ,并把有关信息反馈给服务器 ,服务器根据这些信息随时调整数据库中相关网页的重要性顺序 ,增加了自身的学习功能 .试验结果表明 。

基于遗传算法的主题爬虫

针对目前主题网络爬虫搜索策略难以在全局范围内找到最优解,通过对遗传算法的分析与研究,文中设计了一个基于遗传算法的主题爬虫方案。引入了结合文本内容的PageRank算法;采用向量空间模型算法计算网页主题相关度;采取网页链接结构与主题相关度来评判网页的重要性;依据网页重要性选择爬行中的遗传因子;设置适应度函数筛选与主题相关的网页。与普通的主题爬虫比较,该策略能够获取大量主题相关度高的网页信息,能够提高获取的网页的重要性,能够满足用户对所需主题网页的检索需求,并在一定程度上解决了上述问题。

基于灰狼算法的主题爬虫

为了解决主题爬虫在全局搜索中难以实现最优解的问题,提高主题爬虫的准确率和召回率,文中设计了一个结合灰狼算法的主题爬虫搜索策略。实验结果表明,与传统的广度优先搜索策略以及同样是群体智能算法的遗传算法相比,基于灰狼算法的主题爬虫的性能有了很大的提高,能爬取到更多的主题相关的网页。