基于Newshingling的相似文本检测算法

目的构造一种新的文本查重算法,改变传统的Shingling网页去重算法,提高文本的相似度计算率,提高查准率和查全率.方法改变传统的Shingling算法,先删除文本中无意义的虚词,再根据语意对文本进行分片,进而利用文本相似度计算公式对文本相似度进行计算.结果该算法提高了文本相似度计算的准确性,同时文本的查准率提高了10%左右,查全率提高了5%左右.结论实验表明,笔者所提算法实现简单、可行、具有良好的文本相似度计算效果,具有一定的优越性.

一种基于相似度的互联网信息去重算法的设计与实现

提出一种基于文档特征相似度技术的互联网信息去重算法及其实现。通过对文档特征码的有效降维和收敛及高效存储和查找，使整个系统具有极高的处理效率。克服了相似度识别理论模型在多语种环境中特征判断准确率低、处理速度慢等缺点。通过对大量互联网邮件和网页的测试与分析，该算法能实现近似常量的时间复杂度的互联网信息去重功能，并具有较高的判断准确率。

消除重复藏文网页的完整解决方案

消除重复网页是搜索引擎不可或缺的一部分,藏文搜索引擎也是如此。从信息处理的角度而言,藏文属于"复杂文字"的范畴,其编码在实际使用当中仍不统一。本论文实现了统一的藏文编码并选择合适的Shingle粒度,提出了消除重复藏文网页的完整解决方案。经过试验其效果能够满足藏文搜索引擎消除重复网页的需求。

一种两阶段的多媒体教育资源网页消重方法

随着开放教育资源运动开展与深入,在互联网络中形成开放的、超大规模的、世界范围内最先进的多媒体教育资源网页集群。然而使用搜索引擎检索的结果中存在大量的重复网页,导致资源获取难、利用率低的问题。文章在总结现有网页消重方法的基础上提出一种可行的两阶段的多媒体教育资源网页消重方法,实验证明,通过对网页文本信息及多媒体信息分开消重,能有效地提高消重的效果。