一种针对天猫购物平台的网页URL去重策略研究

本文在分析了Bloom Filter缺点的基础上,结合天猫购物平台网页URL的特征,对网页URL去重策略进行了改进,以此来提高网页URL去重效果及减小Bloom Filter误判率。实验结果表明,改进后的去重策略在针对天猫购物平台网页URL去重时,准确度上要优于传统的Bloom Filter。