-
题名聚焦爬虫爬行性能研究
- 1
-
-
作者
黄昊晶
-
机构
广东水利电力职业技术学院计算机信息工程系
苏州大学智能信息处理及应用研究所
-
出处
《科技资讯》
2011年第21期13-14,共2页
-
基金
广东水利电力职业技术学院中青年科研基金项目-Deep Web数据源发现与聚焦爬虫研究
项目编号:09002
-
文摘
爬虫作为网页搜索下载程序,其网络爬行性能决定了搜索引擎的性能和数据质量。本文通过分析聚焦爬虫的特点和网络环境,总结出三类制约爬行性能的主要问题,分别是DNS查询及缓存设置、内外部分布式爬行特点和网页URL静态与动态分配策略。结论为聚焦爬虫使用URL静态分配策略结合异步DNS查询及缓存设置,在内部分布式爬行时可有效提高网络爬行性能。
-
关键词
爬虫
DNS
URL分配
分布式爬行
-
分类号
TN711
[电子电信—电路与系统]
-
-
题名一种基于正反馈的对等网络拓扑获取方法
被引量:1
- 2
-
-
作者
王勇
云晓春
李奕飞
王晓锋
-
机构
中国科学院计算技术研究所
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2007年第9期1550-1556,共7页
-
基金
国家自然科学基金项目(60573134)
-
文摘
精确有效的对等网络测量方法是解决其建模和网络设计优化难题的重要基础.对等网络是In-ternet上的一层覆盖网络,网络协议多样,节点及节点间的关系变化迅速,获得精确完整的对等网络拓扑数据面临很大困难.研究对等网络协议特点、分析特定的对等网络结构实体成为认识对等网络拓扑特性的一种可选研究方案.以Gnutella网络为测量对象,构造了正反馈结构的分布式Gnutella拓扑测量系统D-crawler;分析了系统实现中的主要算法;定义了拓扑数据准确性和完整性评价指标;实验验证了测量系统的性能.实验结果表明,D-crawler系统具有较好的节点信息获取速度,能够得到反映Gnutella网络特征的拓扑数据,数据准确.
-
关键词
对等网络
拓扑测量
Gnutella网络协议
分布式爬行器
拓扑特征
-
Keywords
P2P networks
topology measurement
Gnutella protocols
distributed crawler
topology characteristics
-
分类号
TP393.02
[自动化与计算机技术—计算机应用技术]
-