一种基于超链接引导的主题搜索的主题敏感爬行方法

基于主题的信息采集是信息检索领域内一个新兴且实用的方法,通过将下载页面限定在特定的主题领域,来提高搜索引擎的效率和提供信息的质量。其思想是在爬行过程中按预先定义好的主题有选择地收集相关网页,避免下载主题不相关的网页,其目标是更准确地找到对用户有用的信息。探讨了主题爬虫的一些关键问题,通过改进主题模型、链接分类模型的学习方法及链接分析方法来提高下载网页的主题相关度及质量。在此基础上设计并实现了一个主题爬虫系统,该系统利用主题敏感HITS来计算网页优先级。实验表明效果良好。

基于超链接引导和链接图分析的主题搜索引擎

主题搜索引擎是专为查询某一学科或主题信息而出现的查询工具。针对目前各种主题搜索引擎在主题搜索上的优缺点,提出将基于文字内容启发的超链接引导技术与基于Web链接图的PageRank算法相结合的IPageRank?IND算法,以提高链接相关度判断的准确性和主题资源搜索的覆盖率,并将网页按照VSM算法进行内容相关度判断和自动分类,从而提高检索效率。最后构建一个搜索引擎进行实验,通过比较该算法与其他几种算法的实验结果,能够看到IPageRank-IND算法的优势是明显的。

基于分块的超链引导的主题搜索改进算法

通过引入“分块”这一新技术,提出了一个改进的H ITS算法,即利用V IPS和分块重要性模型,分割集合中的每一个网页,并为其分配重要值,再结合内容分析法来修改H ITS算法中au thority网页的权值,从而提高搜索精度,使得搜索结果更接近查询者的意愿.

面向垂直搜索引擎的主题提取算法

针对HITS算法对所有链接分配相等权重导致产生主题漂移的问题,提出基于计算链接价值度及Web页面语义主题相似度对链接分配合理权重的HITS改进算法,突出链接重要度的差异。实验表明,该算法的主题相关度提高了13%～42%,且较好地避免了主题漂移问题,增强了采集信息的准确性,对垂直搜索引擎的研究有重要的理论和实际应用价值。

搜索引擎综合分析

随着互联网的广泛应用,搜索引擎成为了越来越多的用户从海量信息中获取知识必不可少的工具。说明了搜索引擎当前发展的现状,简述了搜索引擎的分类,基本原理和工作机制,重点分析了搜索引擎的检索技术及页面排序方法,最后介绍了搜索引擎面临的挑战和未来发展趋势。

基于Web链接分析的HITS算法研究与改进

垂直搜索引擎的主题搜索策略有基于内容评价的搜索策略和基于Web链接分析的搜索策略,其中HITS算法是一种经典的基于Web链接分析的搜索策略,其主要的缺点是容易发生主题漂移。为了最大程度地避免主题漂移,提出了一种结合网页文本分析和扩散速率改进的F-HITS算法。实验结果表明,这些改进不仅节省了系统的开销,并且提高了页面搜索的准确率。

PH-MaxFlow算法发现Web社区

HITS是一种经典的利用链接技术计算网页权威值和中心值的算法,它能够快速发现主题相关网页,其缺点是会发生"主题偏移"现象,首先提出PHITS算法,在一定程度上抑制了这种现象的发生。运用该方法提取权威值高的页面,作为PH-MaxFlow算法的种子节点,使得发现的Web社区更精确。同时提出了一种有效的评价Web社区的标准,用这个标准对原始最大流算法和提出的PH-MaxFlow算法进行比较,从而得出PH-MaxFlow算法发现的Web社区与主题更相关。

基于改进HITS算法的电网脆弱集合快速评估

脆弱线路在连锁故障传播中起着推波助澜的作用。为了更加全面地辨识脆弱线路,本文提出一种基于超链接诱导主题搜索算法的电网脆弱线路识别方法。首先,利用线路开断后的潮流转移量与线路容量裕度建立各线路故障转移的相关性网络。其次,利用改进超链接诱导主题搜索算法,计算相关性网络中各线路的权威值和枢纽值。最后,结合基于蒙特卡罗采样的连锁故障仿真工具,在河北南网系统中验证了所提算法得到权威值排名和枢纽值排名的有效性。与现有方法相比,该方法既能准确识别排名高的脆弱线路,又具有计算速度快的优点。