基于网络爬虫的优惠商品搜索平台研究

针对主流电子商务网站上的商品数据进行查询,在基于C++搜索引擎Xapian技术上设计出针对商品信息查询的网络爬虫架构,并通过改进的SLASA算法和DNS Cache技术抓取下载主流电商网页中商品数据,将获取到的数据通过baidu,google等搜索引擎及pageRank算法进行二次过滤后存储到数据库中,再通过判权算法筛选用户所需数据,将筛选出的商品信息回馈给用户,达到方便用户选取到价格低廉商品的目的.