基于网络原型挖掘的AjaxCrawler系统研究

自媒体时代,网络舆论管理、议题管理和危机管理变得十分困难,解决难题的关键是对网络用户身份的有效识别,而传统的用户身份识别所遵循检索发现收集的过程,存在人工参与度大、缺少真实性评估、时效带来的数据丢失等缺陷。本文探索一种对互联网开放数据的主动收集方法,并针对目前交互式网络站点普遍使用Ajax技术的特性详细设计了AjaxCrawler系统,采用并发策略,相对传统爬虫系统具有更好效率和稳定性。