期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
Python代理IP定向采集爬虫的设计与实现
被引量:
2
下载PDF
职称材料
导出
摘要
论文使用Python编程语言,实现了一个基于Scrapy的代理IP定向采集爬虫,可以自动抓取互联网上的代理IP相关信息、进行结构化处理、存储为特定格式并进行可视化展示,以对科学研究与实际应用提供数据支撑。
作者
白杨
机构地区
西安文理学院
出处
《中国新通信》
2019年第1期35-36,共2页
China New Telecommunications
关键词
Scrapy
代理IP
定向爬虫
PYTHON
SQLITE
分类号
TP312.2 [自动化与计算机技术—计算机软件与理论]
引文网络
相关文献
节点文献
二级参考文献
14
参考文献
2
共引文献
30
同被引文献
19
引证文献
2
二级引证文献
3
参考文献
2
1
刘宇,郑成焕.
基于Scrapy的深层网络爬虫研究[J]
.软件,2017,38(7):111-114.
被引量:29
2
孙小越,王超.
基于Scrapy框架的电商数据分析平台[J]
.电脑知识与技术,2017,13(10):276-278.
被引量:3
二级参考文献
14
1
郑冬冬,赵朋朋,崔志明.
Deep Web爬虫研究与设计[J]
.清华大学学报(自然科学版),2005,45(S1):1896-1902.
被引量:28
2
郑冬冬,崔志明.
Deep Web爬虫爬行策略研究[J]
.计算机工程与设计,2006,27(17):3154-3158.
被引量:13
3
邵斐,孙济庆.
一种适用于动态网页的网络蜘蛛爬行策略研究[J]
.情报杂志,2007,26(5):28-30.
被引量:5
4
曾伟辉,李淼.
深层网络爬虫研究综述[J]
.计算机系统应用,2008,17(5):122-126.
被引量:39
5
荣光,张化祥.
一种Deep Web爬虫的设计与实现[J]
.计算机与现代化,2009(3):31-34.
被引量:5
6
石玉平.
深层网络信息资源的集成模式研究[J]
.情报杂志,2010,29(3):157-161.
被引量:2
7
马建华,李赛红,徐兰兰.
深层网中基于入口查询的表单填充策略[J]
.计算机工程,2010,36(7):66-67.
被引量:3
8
赵本本,殷旭东,王伟.
基于Scrapy的GitHub数据爬虫[J]
.电子技术与软件工程,2016(6):199-202.
被引量:18
9
孙立伟,何国辉,吴礼发.
网络爬虫技术的研究[J]
.电脑知识与技术(过刊),2010,0(15):4112-4115.
被引量:133
10
王彦博,樊营,高潜.
大数据时代网络爬虫技术在商业银行中的应用[J]
.银行家,2016(6):114-116.
被引量:6
共引文献
30
1
刘贵平,刘娜,段红义.
基于聚焦网络爬虫技术的人才招聘数据采集[J]
.电脑编程技巧与维护,2018(5):69-70.
被引量:2
2
马艳辉,刘进,黄伟恺,吴钧,蔡梅松,李宇平.
企业内网内容检索系统的设计与实现[J]
.电脑编程技巧与维护,2018(7):97-100.
3
云洋.
基于Scrapy的网络爬虫设计与实现[J]
.电脑编程技巧与维护,2018(9):19-21.
被引量:2
4
徐郑琴.
基于Scrapy的番茄病虫害数据收集[J]
.电脑知识与技术,2019,15(1X):24-25.
5
范顺利,周亦敏.
基于云平台的网页抓取架构的研究与设计[J]
.计算机时代,2018(9):21-23.
6
韩贝,马明栋,王得玉.
基于Scrapy框架的爬虫和反爬虫研究[J]
.计算机技术与发展,2019,29(2):139-142.
被引量:24
7
曾健荣,张仰森,郑佳,黄改娟,陈若愚.
面向多数据源的网络爬虫实现技术及应用[J]
.计算机科学,2019,46(5):304-309.
被引量:44
8
武振国,李红斌,李艳翠,张怀彬.
小麦育种辅助系统设计与实现[J]
.河南科技学院学报(自然科学版),2019,47(2):49-55.
被引量:3
9
鲁丰玲.
基于Scrapy的招聘信息爬虫设计与实现[J]
.科技资讯,2019,17(20):7-10.
被引量:4
10
杜鹏辉,仇继扬,彭书涛,柴沣伟,刘意先.
基于Scrapy的网络爬虫的设计与实现[J]
.电子设计工程,2019,27(22):120-123.
被引量:22
同被引文献
19
1
李垚周,李光明.
分布式数据清洗系统设计[J]
.网络安全技术与应用,2020,0(2):60-62.
被引量:6
2
曾昭法,左杰.
中国省域城镇化的空间集聚与驱动机制研究——基于空间面板数据模型[J]
.中国管理科学,2013,21(S2):580-586.
被引量:36
3
李新,程国栋,卢玲.
空间内插方法比较[J]
.地球科学进展,2000,15(3):260-265.
被引量:527
4
王红崧,周海晏.
基于百度地图API的旅游地理信息系统开发[J]
.现代计算机(中旬刊),2012(8):60-63.
被引量:36
5
苗得文,邱满,许忠奇,奚雪峰,付保川.
基于NewMap API的地图服务系统在交通拥堵识别中的应用研究[J]
.计算机科学,2013,40(06A):384-386.
被引量:2
6
王仲君,邹亚娟,赵华玲.
基于空间自相关的肺结核扩散的机理分析[J]
.中国卫生统计,2013,30(5):630-634.
被引量:6
7
王雪青,陈媛,刘炳胜.
中国区域房地产经济发展水平空间统计分析——全局Moran's I、Moran散点图与LISA集聚图的组合研究[J]
.数理统计与管理,2014,33(1):59-71.
被引量:68
8
彭程,吴华瑞,黄锋,秦向阳,王一红,刘艳平.
基于空间统计分析的农产品价格数据挖掘——以猪肉价格为例[J]
.农业现代化研究,2014,35(1):29-32.
被引量:3
9
徐伟嘉,何芳芳,李红霞,钟流举.
珠三角区域PM_(2.5)时空变异特征[J]
.环境科学研究,2014,27(9):951-957.
被引量:62
10
潘竟虎,张文,李俊峰,文岩,王春娟.
中国大范围雾霾期间主要城市空气污染物分布特征[J]
.生态学杂志,2014,33(12):3423-3431.
被引量:58
引证文献
2
1
刘琛.
基于百度地图API和Moran’sI指数的空间统计分析——以江苏代理ip分布为例[J]
.现代商贸工业,2019,40(26):207-210.
被引量:2
2
黄震,高蕾,冼沛杰,谢杰峰,陈智超.
Python爬虫在导购系统中的应用[J]
.福建电脑,2021,37(2):14-19.
被引量:1
二级引证文献
3
1
贾琼,高永香.
Python程序设计线上线下混合教学模式研究[J]
.信息与电脑,2022,34(1):241-243.
被引量:1
2
朱文娟,曾豪.
东北东部经济带区域物流空间布局及演化特征研究[J]
.黄山学院学报,2023,25(6):51-57.
3
朱文娟,曾豪,张雨欣.
中国省域本科及以上学历人才空间集聚及时空演变特征分析[J]
.中国科技人才,2023(6):25-34.
1
吴剑冰.
基于Python3爬虫获取最新上架图书的实现[J]
.电脑编程技巧与维护,2018(4):31-33.
被引量:1
2
黄吉兰,温然,陈阵.
基于Android的英语单词辅助学习软件的设计与实现[J]
.电脑与信息技术,2019,27(1):66-68.
被引量:2
3
杨洵.
基于移动Android设备的信息软件开发关键技术研究[J]
.电脑迷,2018(9):53-53.
被引量:2
4
霍亮生,夏凯旋,王鑫,阮晨诗涵,李秋林.
ICP-AES操作软件数据库应用设计[J]
.分析仪器,2019(1):12-16.
5
强鹤群,孙宇,刘海明,钱春花.
基于ARM的诱虫灯远程控制软件的设计与实现[J]
.电脑迷,2018(7):40-40.
6
吴秀莹,宫莉莹,张志远,刘鹏.
基于IOS的微课学习系统设计[J]
.电脑编程技巧与维护,2019(1):51-53.
被引量:3
7
邵云飞,部双双,张俊玲,王继荣.
PCB传送识别检测系统结构设计研究[J]
.青岛大学学报(工程技术版),2019,34(1):91-94.
被引量:1
8
胡中栋,张康,王振东.
一种双层树型高能效多链路由算法[J]
.传感技术学报,2019,32(1):127-132.
被引量:5
9
周世平.
一种汽车半轴全向自动二级清洗装置[J]
.科技经济导刊,2018(23):25-26.
10
张璇,董薇,陈浩,靳志伟.
树脂增强及骨架调整对防热材料力学性能的影响研究[J]
.河南科技,2018,37(32):41-43.
中国新通信
2019年 第1期
职称评审材料打包下载
相关作者
内容加载中请稍等...
相关机构
内容加载中请稍等...
相关主题
内容加载中请稍等...
浏览历史
内容加载中请稍等...
;
用户登录
登录
IP登录
使用帮助
返回顶部