基于Python的电商书籍数据爬虫研究

随着互联网的迅速发展,电商已经成为人们主要的日常消费渠道。以购买计算机相关书籍为例,清楚了解众多种类书籍的相关信息成为一种需求。为解决这种需求进行了一种基于Python语言Scrapy爬虫框架的模拟登陆浏览器和网页解析技术的研究,将获取的电商书籍信息存入Mongo DB数据库或者本地硬盘以便后续进行数据分析。所实现的爬虫程序编程简单、性能稳定,能有效获取电商书籍数据。