基于网页主题重要性的专题搜索策略研究

网页之间的链接结构为评价网页的主题重要性提供了丰富的信息,但传统的基于链接结构评价的主题排序算法,虽然提出了用向量来表示网页在不同主题中的重要程度,但它们在计算过程中没有充分考虑网页本身的主题相关度.为解决这一问题,本文提出根据链接上下文信息得到主题相关度预测,并将其融合到主题重要性的计算中.同时,根据网页的主题重要性排序,来指导专题爬行器的爬行方向.实验结果表明,基于网页主题重要性的排序测度TopicalRank比PageRank、TSPR(Topical-Sensitive PageRank)对专题爬行更有指导意义.

主题-引文融合视角下重要主题发现及知识流动路径研究

【目的】理解与探究知识流动的内在机理与轨迹方向,为科技创新与发展、科学评价与决策提供参考。【方法】以主题作为研究视角,建立知识网络,综合主题影响因子与节点交叉度构建主题重要度指标。基于识别得到的重要主题,分别从知识流入与知识流出视角,利用最大路径搜索算法实现知识流动路径的构建。【结果】实证分析表明,所构建的指标能够对领域重要主题实现有效识别。在此基础上,构造知识流动路径,并得到具有最大知识传播量的领域路径。【局限】知识节点间的知识流动强度度量具有一定的局限性,未能全面考虑到引用行为发生的动机、引用类型等实际引用情况的多变性。【结论】综合分析两种视角下的流动路径可以发现,主题间具有较为普遍的双向知识流动,学科内部存在交流紧密的主题群,为从整体上把握研究主题的形成脉络与继承发展提供有益参考。

定向网络信息采集系统的研究

通用网络信息采集系统效率低,数据冗余大,因此本文研究了一种高性能的定向信息采集系统。该系统针对目标网站,抓取主题及回复网页。获取网页时控制并发线程和链接收集策略,消除无关和重复信息,并将数据结构化。同时本文提出了主题重要性评估模型,分析主题对回复的吸附力,分配系统资源,指引新回复的抓取。系统连续运行8小时,获得的有效网页总数在通用爬虫的1.2倍以上。