微博信息采集系统研究

借鉴了国外Twitter的采集方法,目前,国内微博信息的采集方法主要为网络爬虫采集和基于新浪微博开放平台API文档采集。但普通网络爬虫不具备登录功能,而新浪微博开放平台API有一定的限制,无法完全采集。本系统使用Java在Myeclipse平台上进行开发,使用MySQL数据库存储数据。在模拟新浪微博登录后,从数据库中获取待采集新浪微博用户的微博地址,根据获取到的地址采集网页,解析后放入数据库,供分析系统使用。