突发事件新闻网页的去重方法研究

随着人们对突发事件新闻的日益关注,需要对其进行有效地分类、索引、加工、处理。参考传统文本处理技术,结合网页结构特征和特定领域文本特征,提出在提取主题内容的基础上,根据突发事件特有的重复规律实现网页去重。实验结果表明,该方法能有效地提高网页去重准确率。