基于ProActive的分布式并行WebSpider设计

单机Web Spider的数据采集速度较慢,采用MPI技术或直接用Java开发分布式Web Spider代价较高。该文利用ProActive中间件提供的主动对象技术、网络并行计算技术、自动部署机制设计实现了P-Spider分布式并行Web Spider。实验结果表明,该P-Spider采集速率是单机多线程Web Spider的2.2倍。

基于JAVA的多线程SPIDER的设计与实现

本文介绍如何利用JAVA语言实现一个多线程的SPIDER程序,该程序作为搜索引擎的数据采集器,能够高效地在网络上搜索并下载网页,以供搜索引擎使用。