基于Lucence的稿件查重系统的研究和实现

新闻媒体作为社会正确舆论的核心和导向，为保持其单纯性和权威性，就必须避免出现对同一新闻事件进行反复报道和评论的情况。目前在许多新闻单位中都配备全文检索系统，通过人工选择判断来比对重复稿件，但对于应付日后越来越纷繁复杂的信息是不够的。在此情况下，根据己知稿件内容，通过计算机快速自动地查找信息系统内的相似稿件就变得非常重要。