用C#2．0实现网络蜘蛛

讨论了如何使用C#2.0实现抓取网络资源的网络蜘蛛。通过一个入口网址来扫描整个互联网的网址,并将这些扫描到的网址所指向的网络资源下载到本地。然后可以利用其他的分析工具对这些网络资源做进一步的分析,如提取关键词、分类索引等。也可以将这些网络资源作为数据源来实现像Google一样的搜索引擎。