一种基于知识工程的DeepWeb信息抽取方法

DeepWeb中蕴含的信息越发庞大并且价值可观。但是由于DeepWeb信息的高度异构性、自主性、动态性以及不完整性,DeepWeb主题性网站的设计风格、页面结构、显示内容的不同,JavaScript技术的广泛使用等因素,使传统的抽取技术无法有效自动化集成蕴含在DeepWeb中的高质量信息资源。提出一种基于KBE(知识工程)的DeepWeb信息抽取方法。通过对目标DeepWeb的页面模式、页面HTML结构、页面视觉信息等进行分析、整合,利用HTML DOM(Document Object Model)树解析算法,自动或半自动方式匹配出符合页面模式、页面HTML结构以及目标信息源等元素的模板,来对DeepWeb中的信息进行定位,从而得到页面中的自由文本,结构化和半结构化数据。实验以大量嵌套结构的网站数据作为数据来源,验证了抽取方法的有效性。

D-EEM:一种基于DOM树的Deep Web实体抽取机制

随着Web数据库的不断增长,通过对Deep Web的访问逐渐成为获取信息的主要手段.如何有效地抽取Deep Web中结果页面所包含的实体信息成为一个值得研究的问题.通过分析Deep Web结果页面的特点,提出了一种基于DOM树的Deep Web实体抽取机制(DOM-tree based entity extraction mechanism for Deepweb,D-EEM),能够有效解决Deep Web环境中的实体抽取问题.D-EEM采用基于DOM树的自动实体抽取策略,利用DOM树中的文本内容和层次结构来确定数据区域和实体区域,提高了实体抽取的准确性;另外,提出了一种基于上下文距离和共现次数的语义标注方法,有效地将来自不同数据源的抽取结果进行合成.通过实验验证了D-EEM中所采用的关键技术的可行性和有效性,同其他实体抽取策略相比,D-EEM在抽取效率及抽取准确性等方面具有一定的优势.

关于中国Deep Web的规模、分布和结构

随着Web数据库的广泛应用,Web正在加速的"深化",大量的高质量的信息隐藏在Deep Web中.基于IP采样的方法,对1,000,000个IP样本进行了分析统计,揭示了2006年初中国Deep Web的规模、分布和结构.主要结论包括有:1中国Deep Web查询接口往往位于站点浅层,94.6%的Deep Web查询接口出现在站点的前3层;2中国Deep Web大约有24,000个站点,28,000个Web数据库和74,000个查询接口;3中国Deep Web大部分是非结构化的,其中64%是非结构化的Web数据库;4中国Deep Web分布于多种不同的主题领域;5目前主要的中文搜索引擎已覆盖国内Deep Web大约二分之一的页面.

深度Web资源探测系统的研究与实现

本文介绍了深度Web的资源重要性和传统爬虫工作的原理。为了能够更好的利用传统爬虫获取深度Web资源和解决传统爬虫在工作中的不足,提出了一种任务可定制化的爬虫框架,并基于可定制化的任务,实现探测网络深度资源的功能。

Deep Web入口探测与分类方法研究

传统的使用语料库对入口标签字符串进行匹配的方法受限于语料库的完整性和匹配算法的灵活性。为突破这种局限,引入了基于表单元件统计特征的Deep Web入口探测方法和使用文本分类方法对其进行分类的双层分类模型,并提出了两种特征权重计算方法用于特征选取。在TEL-8 Query Interfaces数据集上,测试结果体现了双层分类模型的优越性和特征向量维归约的必要性。

基于XQuery的Deep Web搜索系统的设计与实现

随着Web技术的发展,越来越多的信息需要通过Deep Web来获取,爬虫搜索系统是完成Deep Web搜索的重要技术手段。提出一种基于XPath的Web搜索系统的设计方法,它通过采集URL目标,分析目标URL的Web结构,维护URL本体知识库,达到深度积累页面的目的。

基于关联挖掘和语义聚类的Deep Web复杂匹配方法

为了提高DeepW eb查询接口匹配的效率和准确率,在现有双重相关性挖掘方法(DCM)的基础上提出了一种用关联挖掘和语义聚类来匹配的方法。在关联挖掘成组属性时,引入一种基于互信息的属性相关度标准,并采用矩阵来实现以解决效率不高问题;在生成同义属性时,提出利用语义网来计算语义相似度,并对属性进行聚类,以生成同义属性。通过在四个领域200多个查询接口上实验,说明改进的方法在效率和准确率方面都比DCM方法有很大提高。

Deep Web集成系统中同类主题数据源选择方法

提出了一个同类主题的Deep Web数据源选择方法,该方法通过数据源差异性分析可有效判断出新数据源的内容与集成系统中已有内容的重复度,进而利用查准率和查全率建立质量估计模型评估各数据源的质量,削弱了已有研究中因查准率低对质量评估产生的负面影响。在主流图书类网站上的实验结果表明,该方法能减少系统的负担,同时获取质量较高的同类主题的数据源。

暗网法律治理问题探究

许多人相信Google搜索可以识别互联网上给定主题的大部分信息,整个网络世界是一个巨大的网络世界,超出了Google或任何其他搜索引擎的范围.互联网黑暗网络的规模更是巨大的,截至2015年,由于隐藏在黑暗网络上的服务,暗网经常与深网交替使用;被称为Deep Web的非索引网站的数量估计比索引的可搜索网站的表面网络大400~500倍.Deep Web代表着互联网黑暗的一面.被称为Dark net的Deep Web部分已成为监管的天堂逃避、犯罪和对国家安全的威胁.概要介绍Deep Web是如何访问的,以及为什么应该关心它们.Deep Web的持续增长以及Dark net的加速扩张带来新的政策挑战.对这些挑战的回应可能对公民自由,国家安全和全球经济产生深远的影响.

基于最小可查询模式的Deep Web查询

给出了最小可查询模式MEP的概念,并在此基础上提出了MEP生成算法与基于MEP的自适应查询方法。该方法将查询接口由单文本框推广到最小可查询模式集,一次查询由一个MEP和与该MEP匹配的关键词向量共同确定,自适应地产生期望最优的下一个查询,直到满足查询停止条件。该方法克服了当前Deep Web查询方法能力不足导致的"数据孤岛"问题。在6个实际Deep Web站点的实验表明,该方法比已有方法具有更强的查询能力与适用性。

基于用户模式Deep Web检索系统的研究

针对传统Web数据集成系统实用性、伸缩性和适应性差的问题,提出了一种新的Web数据集成系统体系结构UQSIQ,实现Web规模的数据集成。系统根据用户查询的模式映射相关领域,选择Web数据库,执行查询排序查询结果。介绍了组成系统的关键组件,及领域映射和用户模式匹配等处理大规模异构Web数据的关键技术。

Deep Web接口的自动识别技术研究

获取Deep Web中信息的主要途径是通过在其提供的查询接口上提交查询来实现的,目前大部分的研究以表单内的标签获得表单内容结构,判断是不是一个Deep Web查询接口。提出了接口块的概念,设计了一种基于页面信息和视觉信息的接口块定位方法,最后将判定接口块是不是Deep Web接口看作是一个模式识别的分类问题,通过抽取适当的表单结构特征,采用C4.5决策树和SVM相结合的分类算法来进行接口块的判定,得到页面中含有的Deep Web查询接口。采用UIUC的TEL-8数据集进行实验,结果表明,该方法的准确率达到了97.30%,具有良好的可行性和实用性。

基于启发式信息的Deep Web结果模式获取方法

获取模式信息是深入研究Deep Web数据的必要步骤,针对Deep Web结果模式结构信息的丢失问题,提出了一种基于启发式信息的Deep Web结果模式获取方法。通过解析Deep Web结果页面数据,利用启发式信息为结果页面数据添加正确的属性名,进而得到对应Deep Web的结果模式,并对其进行规范化处理,解决不同数据源结果模式的结构不一致问题。实验验证该方法可以有效地获取Deep Web的结果模式信息。

基于xml的Deep Web信息自动抽取技术的研究

随着近年来Internet的飞速发展,Deep Web已成为网络信息资源的重要组成部分,用户通过查询接口在线访问其后端的Web数据库来动态的获取其中蕴含的海量信息。由于Deep Web资源分布在各个Deep Web站点,具有异构、动态、数据量大等特点,使用起来较为不便,因此,面向DeepWeb的数据集成系统便应运而生。本文对Deep Web数据集成系统中的数据抽取技术进行了研究,提出了基于xml的Deep Web数据自动抽取方法,并作了详细的技术分析与研究,它能够快速有效地抽取出Deep Web资源,具有抽取准确度高,抽取粒度细等特点。

Deep web在个性化信息服务中的应用

本文论述了高校开展个性化信息服务的现状,深入研究了Deepweb的优势,分析了Deepweb的整合方法和数据集成系统框架,并在此基础上设计了高校个性化信息服务的系统。

基于Deep Web数据集成的个性化信息服务研究

互联网和信息数字化的高度发展为信息查询带来了新的挑战,如何改善查询模式使用户从海量的数据中快速找到真正需要的信息成为了当前业界亟待解决的课题。本文描述了一种个性化信息服务模型,使用DeepWeb数据集成技术设计了一个图书馆数字资源个性化信息服务系统,实现了以用户为中心的图书馆信息服务。

基于词性分析和领域知识的Deep Web语义标注

基于对中文Deep Web查询结果的词性分析,提出一种基于中文词性和领域知识的Deep Web语义标注方法.借助中文分词工具得到Deep Web查询结果的词性,并根据词性或词性组合与语义建立映射规则,同时结合领域知识进行语义标注.实验表明,该方法能够在多个领域对Deep Web查询结果进行正确的语义标注,从而验证了该方法的有效性.

面向学术领域的Web引文资源整合系统

为了使收录各种会议期刊论文的孤立的数据源能够更好地实现资源共享,设计并实现了面向学术领域的Web引文资源整合系统.用户通过系统提供的统一接口,获得各数据源的集成查询结果.系统中,二次查询补全属性为较为关键的技术.首先对系统体系架构进行介绍,然后讨论了二次查询补全属性的全面性和必要性,最后阐述了系统的演示步骤和演示环境.

基于个性化图书馆的Deep Web Crawler研究与实现

为了整合复旦图书馆数字化论文资源,来为教授提供个性化推荐服务,使用sniffer监听网络信息,模拟IE的浏览行为,实现了针对Vip、ISI和Metalib三个数据源的Deep Web Crawler,并研究了通用Deep Web Crawler的系统框架和功能模块。

XQuery Web搜索系统的设计与实现

随着Web技术的发展,越来越多的信息需要通过Deep Web来获取,本文提出一种基于XPath的Web搜索系统的设计方法,它通过采集URL目标,分析目标Web结构,达到积累页面的目的。