一种基于结构分析的网页主题区域发现方法

随着互联网的发展,Web数据挖掘在帮助人们获取主题信息方面越来越具有重要意义。本研究基于树结构,将Web网页解析为标签树;在树匹配算法的基础上,提出了数据区域挖掘和语义链接块识别算法,实现了去链接的预处理;提出了文本结构权重的概念,并采用文本结构权重的计算结果发现主题区域,去噪后获得主题信息。实验表明该研究结果对新闻、博客类网页具有很好的识别效果。