基于消息队列的分布式爬虫——以电商产品数据为例

电子商务类网站越来越多的影响人们的生活,上网购物已经成为不同年龄段的人们的日常消费行为了。国内外知名的几个主流的电商网站,比如淘宝、京东、苏宁易购、亚马逊中国、当当网等,人们可以随时随处通过他们的PC端网站、移动手机端APP软件、微信小程序端、支付宝小程序端等,购买生活、学习和工作中几乎所需要的一切商品。