期刊文献+

基于Python的多线程网络爬虫的设计与实现 被引量:15

原文传递
导出
摘要 本文主要详细介绍如何应用Python语言实现一个多线程的网络爬虫程序,并在此基础上搭建特定的测试网站将串行爬虫程序和多线程爬虫程序的运行效率进行对比,进而给出提高网络爬虫性能的具体方法。
作者 孙冰
出处 《网络安全技术与应用》 2018年第4期38-39,共2页 Network Security Technology & Application
  • 相关文献

参考文献2

二级参考文献7

  • 1HUNT G C,LARUS J R,TARDITI D,et al.Broad new os research:Challenges and opportunities[EB/OL].[2009-12 -12].// http://www.usenix.org/event/hotos05/final_papers/full_papers/hunt/hunt.pdf.
  • 2MCVOY L,STAELIN C.Lmbench:portable tools for performance analysis[C] // Proceedings of the USENIX 1996 Annual Technical Conference.San Diego,California:[s.n] ,19%:279-294.
  • 3STAELIN C.Lmbench:An extensible micro-benchmark suite[J].Interscience Journal Software:practice and Experience,2005,35 (11):1079-1105.
  • 4LI C P,CHEN D,KAI S.Quantifying the cost of context switch[EB/OL].[2009-12 -11].http://www.cs.rochester.edu/u/cli/research/switch.pdf.
  • 5MATTHEW N,STONS R.Linux 程序设计[M].3版.陈健,宋健健,译.北京:人民邮电出版社,2007.
  • 6李勇,韩亮.主题搜索引擎中网络爬虫的搜索策略研究[J].计算机工程与科学,2008,30(3):4-6. 被引量:37
  • 7叶允明,于水,马范援,宋晖,张岭.分布式Web Crawler的研究:结构、算法和策略[J].电子学报,2002,30(12A):2008-2011. 被引量:23

共引文献33

同被引文献70

引证文献15

二级引证文献60

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部