基于DIV标签树的网页主题信息抽取方法

随着CSS+DIV布局方式逐渐成为网页结构布局的主流,对此类网页进行高效的主题信息抽取已成为专业搜索引擎的迫切任务之一。提出一种基于DIV标签树的网页主题信息抽取方法,首先根据DIV标签把HTML文档解析成DIV森林,然后过滤掉DIV标签树中的噪声结点并且建立STU-DIV模型树,最后通过主题相关度分析和剪枝算法,剪掉与主题信息无关的DIV标签树。通过对多个新闻网站的网页进行分析处理,实验证明此方法能够有效地抽取新闻网页的主题信息。

面向用户体验的大型网站网页分类更新策略

针对大型网站的网页特征,综合考虑网页时新性(更新度)、重要性及对Web服务器的友好性等因素,设计了一种面向用户体验的分类网页更新策略(三类别更新策略).根据网页变化的快慢,将网页分成速变、多变及少变3类,然后根据用户行为确定不同类别网页的更新速度和更新时间段,从而实现分类网页更新.实例分析表明,这种策略提高了搜索引擎中大型网站网页更新的效率,缓解了Web服务器的压力,并可保证用户对于检索结果的及时性和正确性.