基于URL和网页类型的网页信息采集研究

Internet上的海量数据对人们有效、快速地使用这些资源和信息提出了挑战。网页信息采集更新的方法在很大程度上决定了网页更新的效果。为提高网页信息更新的效果,本文从抓取入口页面开始,采集网页后进行去重操作,并将网页分块提取出超链接URL信息。在此基础上,应用网页更新策略提高网页更新效果。最后,应用基于URL和网页类型的采集更新检测方法来实现网页信息采集。