基于Node.js的分布式爬虫系统

本文是基于Node.js平台开发的分布式爬虫系统。重点介绍了系统的结构框架、Master节点及Worker节点的功能等。系统具有分布式、扩展性好、敏捷易用的特点,对大规模数据采集具有一定的借鉴作用。