网络舆情分析中智能爬虫的设计

网络爬虫作为舆情分析系统的信息源收集器,其性能的优良直接关系到舆情分析结果的好坏。该文针对舆情分析要求信息源具有较高的主题覆盖率的要求,同时考虑到现有爬虫在有效利用网络资源方面的薄弱现状,在现有爬虫的基础上加入了爬虫测速模块、主题更改模块,为提高爬虫在舆情信息收集中的性能提出了一些解决方法。

基于网络爬虫软件建设主题网络信息资源库的研究——以高铁网络信息资源库建设为例

网络信息与日俱增,网页数量已经超过万亿,建立主题网络信息资源库,永久保存主题相关信息资料十分必要。本文以建设高铁网络信息资源库为例,提出了主题信息资源库的建设目标和内容,研究了用网络爬虫软件建设网络信息资源库,提出了系统的流程模型,指出了系统建设的关键点。