分布式网络爬虫系统的任务调度策略改进

介绍了分布式爬虫系统的背景、需求和实现目标,提出分布式爬虫系统的结构及任务调度策略,核心思想是以总控式的分布式结构设计整个爬虫系统,任务调度策略上采用二次Hash算法对把URL发送到指定附属机上机型爬行抓取。通过主控服务器和附属服务器的任务分工,多机协同合作,提高爬行整个网络的效率。