摘要
介绍了一种通用的Web信息采集系统,给出了系统总体结构,分析了信息采集器、采集控制服务器和信息发布服务器,讨论了系统实际的应用。实践证明,该系统能够对Internet信息进行自动采集,并对今后的应用提供充分的支持,具有良好的通用性。
The paper introduces the design and realization of a general Web crawler, presents the whole structure of the system, analyzes gather, control and data publish, discusses the practical applications. The experiment proves that the system can automate crawl Internet information and provide sufficiency support for following information applications, and have nice generality.
出处
《计算机工程》
EI
CAS
CSCD
北大核心
2005年第3期123-124,194,共3页
Computer Engineering
