WebCollector和ElasticSearch在高校网站群敏感词检测中的应用研究

在高校信息化建设过程中,建设了大量的网站,这些网站发布的信息和展示的内容很可能含有国家法律禁止或者学校规定禁止的敏感词汇,针对从海量的网站信息中定位到敏感词汇的目的,本文采用了文献研究法、个案研究法及实证研究法,通过研究相关材料文献和技术文档,研究相关系统设计案例,结合实际情况设计和实现一个能运行的系统,得出基于Webcollector爬虫框架和ElasticSearch搜索引擎设计和实现网站群敏感词检测系统的可行性。

面向微博的网络爬虫数据采集

本课题对新浪开放平台API进行了分析,由于新浪对开发平台API的调用的限制,我们选择使用WebCollector来爬取微博数据。本设计通过JAVA语言,实现了一个简单的爬虫程序,成功的爬取了指定微博用户下的微博数据。