基于路由注入的快速DHT网络资源发现方法

为提高抓取海量DHT节点上的网络资源效率,提出一种基于路由注入的DHT网络爬虫方法。结合Kademlia算法的特点,针对路由表各区间计算查询目标ID,获取已知节点保存的所有节点信息,提高遍历节点的速度;在与网络节点交互的过程中,生成适应已知节点路由表的爬虫节点ID,达到注入对方路由表的目的;实现持续地抓取对方节点的资源。实验结果表明,该方法既找到了路由表的最佳注入区间,提高了注入成功率,使得获取DHT网络资源的效率提高,并在Btbook网站中得到成功应用。