一种基于相似度的互联网信息去重算法的设计与实现

提出一种基于文档特征相似度技术的互联网信息去重算法及其实现。通过对文档特征码的有效降维和收敛及高效存储和查找，使整个系统具有极高的处理效率。克服了相似度识别理论模型在多语种环境中特征判断准确率低、处理速度慢等缺点。通过对大量互联网邮件和网页的测试与分析，该算法能实现近似常量的时间复杂度的互联网信息去重功能，并具有较高的判断准确率。