期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

网络性能指标预测法指导任务分配的分布式网页信息获取技术

下载PDF
导出
摘要 互联网的迅猛发展,网络中流通的Web信息巨增.要在如此浩瀚的信息海洋里寻找信息,就像"大海捞针"一样困难.搜索引擎正是为了解决这个问题而出现的技术.该文对搜索引擎的关键组成部分,即网页信息获取技术(网络爬虫)进行探究.笔者致力于给出一种可行的基于广域网的分布式多机爬虫系统,其中分布式任务的调度采用了网络性能指标预测法指导.最后对多种分布式系统任务分配的方法指导下实际运行的效果进行了对比,得出网络性能指标指导预测效果法为最佳的任务调度方法.
作者 赵靖华
机构地区 吉林师范大学网络中心
出处 《通化师范学院学报》 2008年第10期21-23,共3页 Journal of Tonghua Normal University
关键词 网络性能指标 分布式系统 网络爬虫
分类号 TP393 [自动化与计算机技术—计算机应用技术]
  • 相关文献

参考文献2

二级参考文献15

  • 1[1]Martijn Koster. Guidelines for Robot Writers [EB/OL]. http ://info. webcrawler. com/mak/projects/robots/guidelines. html.
  • 2[2]Oskari Heinonen, et al. WWW Robots and Search Engines[Z].(1996).
  • 3[3]David Pallmann. Progrmming Bots, Spiders , and Intelligent Agent in Microsoft Visual C++[M].北京:北京希望电子出版社,1999.41-59.
  • 4[4]M Koster. A Standard for Robot Exclusion[EB/OL] .http://info. webcrawler. com/mak/ projects/ robots/norobots. html.
  • 5[5]HTML4.01规范[EB/OL].http://www.3c.org/TR/html4.
  • 6[6]http://www.w3.org/TR/html4/references.html # ref-RFC2616[EB/OL].
  • 7[7]David Eichmann. The RBSE Spider - Balancing Effective Search Aginst Web Load [ C ]. In Proceedings of the First International World Wide Web Conference 1994. 113-120.
  • 8[8]Oliver A McBryan. GENV and WWW: Tools for Taming the Web[C]. In Proceedings of the First International World Wide Web Conference 1994.79-90.
  • 9[9]Brian Pinkerton. Finding What Peolple Want: Experiences with the WebCrawler[C]. In Proceedings of the Second International World Wide Web Conference, 1994.
  • 10[10]Sergey Brin,Lawrence Page. The Anatomy of a Large-scale Hypertextual Web Search Engine [C]. In Proceedings of the Seventh International World Wide Web Conference, April 1998,107-117.

共引文献13

通化师范学院学报
2008年 第10期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部