深层网页垂直爬虫技术研究综述

随着信息化时代的快速发展,大数据的价值正逐渐显现,如何利用爬虫技术从网页中采集高质量的海量数据成为大数据技术面临的一个基本问题。文章对深层网页垂直爬虫动态网页的加载、数据块的定位与抽取、数据实体的分析和爬取策略等关键技术进行系统介绍与分析。在此基础上,提出深层网页垂直爬虫所面临的困难与挑战,以及今后的研究方向。

学科信息门户建设中深层网页资源采集的方法与策略

文章阐述了国内外学科信息门户建设现状、深层网页资源的概念和特点及学科信息门户网站收集深层网页资源的意义。作者提出采用人工采集、自动化采集、人机结合采集和用户推荐等四种深层网页资源的收集方法;采用网络导航、跨库检索平台和数据保存等方法加以整合,信息整合应遵循标准化、开放性、及时性和权威性四大原则;最后探讨了深层网页资源的收集、整合过程中可能涉及的法律问题和解决方案。

面向Deep Web本地化数据集成的数据源两层选择模型

针对基于数据源质量选择方法的数据源在数据爬取时存在代价大、重复率高的问题,提出一种结合两层选择模型的Deep Web数据源选择和集成方法。该方法根据数据源本身质量和数据源的效用构建数据源的两层选择模型。给出基于该模型的递归增量数据源选择和集成策略,采用基于数据源质量的选择器过滤大量低质量Deep Web数据源,仅选择若干个高质量的数据源作为第2层选择器的输入。从候选数据源集合中递归地选择,使集成系统在获得尽可能多的高质量数据的同时,避免出现较高覆盖率的k个数据源,作为集成系统最终需要爬取和集成的数据源。实验结果表明,该方法结合两类选择器的优点,缩减了候选数据源的空间并保证集成数据的质量,同时避免了系统处理大量重复数据,有效降低Deep Web数据爬取与集成的代价。

网络搜索引擎技术发展方向的分析研究

随着网络Web的不断发展,对高速而有效的信息检索系统需求日渐迫切。本文对网络检索的核心技术—搜索引擎进行了分析,找出影响其检索效果的技术瓶颈。在综合考虑当前的搜索引擎发展趋势的基础上,指出了未来网络搜索引擎的发展方向。

网页文本数据自动采集方法综述

随着互联网的快速发展,网页中的文本数据越来越丰富,人们对互联网数据的自动获取的需求也变得越来越高。例如,各大网站最新新闻、股票信息、天气信息、交通信息、商品信息、博客和微博信息等等。但是,由于网页开发技术的发展,往往通过传统的直接下载网页的方法很难获得所需要的数据。需要针对不同网页的具体特点,设计相应的数据采集方法。本文首先从文本数据采集的角度,对网页类型进行了划分;然后基于这个划分,归纳和整理了相应的数据采集方法;最后对这些方法进行综合对比分析。