基于分布式网络爬虫的Web空间数据获取方法研究

本文针对单机网络爬虫获取Web空间数据在抓取覆盖率和抓取效率上均受到一定程度的限制,难以保证所抓取数据的及时性以及全面性问题,研究了基于分布式网络爬虫的Web空间数据获取方法,设计了基于分布式网络爬虫的Web空间数据获取原型系统并且最终实现,并且通过对原型系统进行相关的测试来证实了本文所提出解决方法的有效性。

一种新型有效负载均衡模型的研究

在分布式结构环境中,Web GIS在互联网上的负载变得日益拥挤,且这种现象是动态发生的。要使Web空间数据挖掘能正常工作,首先要解决负载平衡。结合智能Agent在分布式领域的应用的有利特性,提出了一个基于智能Agen的Web空间数据挖掘中有效负载均衡模型模型。实践证明该模型能够有效的提高查询速度和保持全局网络负载的良好性能。