聚焦爬虫爬行性能研究

爬虫作为网页搜索下载程序,其网络爬行性能决定了搜索引擎的性能和数据质量。本文通过分析聚焦爬虫的特点和网络环境,总结出三类制约爬行性能的主要问题,分别是DNS查询及缓存设置、内外部分布式爬行特点和网页URL静态与动态分配策略。结论为聚焦爬虫使用URL静态分配策略结合异步DNS查询及缓存设置,在内部分布式爬行时可有效提高网络爬行性能。

一种基于正反馈的对等网络拓扑获取方法

精确有效的对等网络测量方法是解决其建模和网络设计优化难题的重要基础.对等网络是In-ternet上的一层覆盖网络,网络协议多样,节点及节点间的关系变化迅速,获得精确完整的对等网络拓扑数据面临很大困难.研究对等网络协议特点、分析特定的对等网络结构实体成为认识对等网络拓扑特性的一种可选研究方案.以Gnutella网络为测量对象,构造了正反馈结构的分布式Gnutella拓扑测量系统D-crawler;分析了系统实现中的主要算法;定义了拓扑数据准确性和完整性评价指标;实验验证了测量系统的性能.实验结果表明,D-crawler系统具有较好的节点信息获取速度,能够得到反映Gnutella网络特征的拓扑数据,数据准确.