基于链接分块的相关链接提取方法

每个网页都包含了大量的超链接,其中既包含了相关链接,也包含了大量噪声链接。提出了一种基于链接分块的相关链接提取方法。首先,将网页按照HTML语言中标签将网页分成许多的块,从块中提取链接,形成若干链接块;其次,根据相关链接的成块出现,相关链接文字与其所在网页标题含相同词等特征,应用规则与统计相结合的方法从所有链接块中提取相关链接块。相关链接提取方法测试结果,精确率在85%以上,召回率在70%左右,表明该方法很有效。

基于网页分块和链接特征的卷期目录链接提取方法

针对传统的信息抽取方法在提取卷期目录链接时精度不高的问题，本文提出一种基于网页分块和链接特征的卷期目录链接提取方法。首先，以网页标签树的布局标签为最小粒度，提出一种原子网页分块算法，将网页分割为若干个相互独立、互不包含的内容块；其次，根据内容块的子树结构，提出一种原子内容块聚类算法，通过合并相似内容块对网页进行语义块划分；最后，提出一种卷期目录链接块的识别算法，通过融合链接文本相似度和基于Bayes的语义分析方法识别出卷期目录链接区域，从而实现链接的提取。实验结果表明，本文提出的方法能够有效提取卷期Et录链接。

面向企业竞争情报的网站链接提取软件研究

在传统网络爬虫器的设计思路上改进,设计了一种面向企业竞争情报的网站链接提取软件,为竞争情报工作人员提供了一种有用的工具。

一种新的Web链接提取模型

以搜索引擎链接提取模块所要求的容错性、正确性、全面性、高效性和可扩展性为目标,提出了一种新的链接提取模型的设计思路。该模型将链接提取过程划分为信息提取、信息加工、信息分析和信息储存。信息的获取是通过HTM L(hypertex t m arkup language)文法分析方法从文档中得到初始统一资源地址(un iform resourceiden tifier,UR I)数据;信息加工阶段通过运用UR I解析算法对初始数据进行精练;然后在信息分析过程中进一步加以筛选和过滤;最后将结果存储在一个灵活的数据结构中。通过对比测试证实这种新的链接提取模式比传统方法在各项指标上均具有明显优势。

一种用于模型验证的Web应用模型抽取方法

以模型验证为目标,提出一种Web应用FSM(finite state machines)模型的抽取方法。该方法将模型抽取划分为链接提取、模型构造和结果显示。通过建立标签库和对标签的定位,并结合正则表达式的方法,对Web应用进行逆向分析,从源代码开始进行链接及相关信息的提取、规整和存储。对Web应用中的页面、链接等建模元素进行分析,应用映射与聚合等抽象技术对获得的信息进行重构,得到适用于验证的Web应用的FSM模型。