摘要
介绍了搜索引擎数据采集器的并行技术 ,分析了并行数据采集器的任务分配模式及其工作原理 ,讨论了任务粒度对动态分配效果的影响 ,并提出了动态分配模式下的任务分配策略 ,最后介绍了SunONEGridEngine的任务调度机制 。
In this paper, parallel technology of Web crawler of search engine is introduced. Parallel crawler task assignment modes and their principles are analyzed. The impact of Task granularity on dynamic task assignment is discussed. A dynamic task assignment strategy is proposed and finally implemented using Sun ONE Grid Engine after an introduction to the Sun ONE Grid Engine task scheduling mechanism.
出处
《华中科技大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2003年第S1期105-107,共3页
Journal of Huazhong University of Science and Technology(Natural Science Edition)
基金
广东省计算机网络重点实验室项目 (2 0 0 1 2 7)
关键词
搜索引擎
并行数据采集
分配策略
search engine
parallel crawler
assignment strategy
