基于API服务器的爬虫项目设计与实现

本文基于Python语言,利用其功能强大的第三方库,配合scrapy框架搭建的爬虫以及轻框架flask搭建的APIserver,从客户端发送请求可以直接获取到最终排名结果,以便我们从中进行电影的筛选,相较于直接运行爬虫来获取结果,通过API获取到的结果模拟了客户端的请求,得到的结果和页面也更加干净简洁。