期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
基于SCRAPY框架的网络爬虫封锁技术破解研究
被引量：
1
下载PDF
职称材料
导出
摘要
本文阐述了网络爬虫及封锁网络爬虫最常用的四种技术:时间间隔封锁,Cookie封锁,User-Agent封锁,IP封锁;分析了上述封锁技术的基本原理,提出了针对上述封锁技术的破解方法,并给出了基于Scrapy框架的破解封锁实现代码。
作者
陈辉
机构地区
浙江商业职业技术学院
出处
《科技视界》
2020年第6期224-225,共2页
Science & Technology Vision
基金
浙江商业职业技术学院纵向科研项目“基于网络爬虫的电子商务数据获取技术研究”(SZYYB201808)的研究成果。
关键词
Scrapy
网络爬虫
时间间隔封锁
Cookie封锁
User-Agent封锁
IP封锁
分类号
TP393.092 [自动化与计算机技术—计算机应用技术]
TP391.3 [自动化与计算机技术—计算机应用技术]
引文网络
相关文献
节点文献
二级参考文献
7
参考文献
2
共引文献
11
同被引文献
4
引证文献
1
二级引证文献
3
参考文献
2
1
刘清.
网络爬虫针对“反爬”网站的爬取策略分析[J]
.信息与电脑,2019,31(3):23-24.
被引量：10
2
黄克敏.
网站信息安全之反爬虫策略[J]
.保密科学技术,2018(10):62-63.
被引量：3
二级参考文献
7
1
黄克敏.
网站信息安全之反爬虫策略[J]
.保密科学技术,2018(10):62-63.
被引量：3
2
邹科文,李达,邓婷敏,李嘉振,陈义明.
网络爬虫针对“反爬”网站的爬取策略研究[J]
.电脑知识与技术,2016,0(3):61-63.
被引量：15
3
张岩.
大数据反爬虫技术分析[J]
.信息系统工程,2018,31(8):130-130.
被引量：3
4
杨凌云.
主题网络爬虫关键技术的应用探讨[J]
.电脑编程技巧与维护,2018(11):33-35.
被引量：4
5
刘石磊.
对反爬虫网站的应对策略[J]
.电脑知识与技术,2017,13(5X):19-21.
被引量：19
6
陈利婷.
大数据时代的反爬虫技术[J]
.电脑与信息技术,2016,24(6):60-61.
被引量：21
7
逄菲.
基于Python的分布式网络爬虫系统的设计与实现[J]
.电子技术与软件工程,2018(23):6-6.
被引量：11
共引文献
11
1
刘清.
网络爬虫针对“反爬”网站的爬取策略分析[J]
.信息与电脑,2019,31(3):23-24.
被引量：10
2
杜晓旭,贾小云.
基于Python的新浪微博爬虫分析[J]
.软件,2019,40(4):182-185.
被引量：14
3
伏康,杜振鹏.
网站反爬虫策略的分析与研究[J]
.电脑知识与技术,2019,15(10):28-30.
被引量：6
4
陈立彤,赵云虎,刘骥,张建民,赵中星.
网络爬虫获取数据的商业秘密规制路径研究[J]
.信息安全研究,2020,6(8):751-758.
被引量：4
5
黄子豪,张舒.
网络爬虫对互联网安全的影响及“反爬”策略的研究[J]
.科学技术创新,2021(10):120-121.
被引量：5
6
张渊博.
大数据时代的反爬虫技术[J]
.电子元器件与信息技术,2020,4(12):18-19.
被引量：2
7
林思婷,董昕匀.
刑法规范视角下的网络爬虫黑色产业链分析[J]
.学理论,2021(6):59-61.
8
金宇杰,周彦君,高谷刚,印杰.
基于自然语言处理的职务犯罪文书数据库系统设计与实现[J]
.网络安全技术与应用,2021(10):77-81.
被引量：1
9
王景.
基于Python爬虫技术的虚假数据溯源与途中过滤分析[J]
.河南科技,2021,40(22):27-30.
被引量：1
10
刘晓魁.
网络爬虫技术与策略分析[J]
.网络安全技术与应用,2022(5):17-19.
被引量：8
同被引文献
4
1
刘世涛.
简析搜索引擎中网络爬虫的搜索策略[J]
.阜阳师范学院学报（自然科学版）,2006,23(3):59-62.
被引量：15
2
郑岚.
Python访问MySQL数据库[J]
.电脑编程技巧与维护,2010(6):59-61.
被引量：13
3
刘宇,郑成焕.
基于Scrapy的深层网络爬虫研究[J]
.软件,2017,38(7):111-114.
被引量：29
4
韩贝,马明栋,王得玉.
基于Scrapy框架的爬虫和反爬虫研究[J]
.计算机技术与发展,2019,29(2):139-142.
被引量：24
引证文献
1
1
伍高巍,刘杰,葛晓龙,徐望成.
基于Scrapy的研招网硕士目录爬虫的设计与实现[J]
.电脑知识与技术,2022,18(17):53-55.
被引量：3
二级引证文献
3
1
姜庆玲,张樊.
基于Python与Requests模块的网络图片爬虫程序设计[J]
.电脑编程技巧与维护,2023(6):59-61.
2
姜庆玲,张樊.
基于Python和Requests快速获取网页数据的方法研究[J]
.现代信息科技,2023,7(16):100-103.
被引量：1
3
赵鹏,苏楠,于慧霞.
基于Scrapy的高性能网站状态批量采集系统[J]
.中国新通信,2023,25(13):48-50.
1
熊胜利.
基于Sharepoint的个人工作中心设计与实现[J]
.数码设计,2019,8(17):72-72.
2
沈国良,翟江涛,戴跃伟.
基于Markov模型的HTTP参数排序隐蔽信道检测方法[J]
.计算机工程,2020,46(2):154-158.
被引量：6
3
张洪豪,赵泽宁,姚世春.
一种基于web爬虫的网页信息获取系统[J]
.中国科技信息,2020(6):90-91.
被引量：1
4
穆宣社.
电子地图应用开发中缩略导航图功能设计与实现[J]
.电脑编程技巧与维护,2020(1):158-160.
被引量：1
5
熊晓能.
大数据时代cookie技术中的法律规制问题研究——以个人信息权为视角[J]
.经济研究导刊,2020,0(5):188-189.
6
姜黄飞.
例说米勒问题在中考压轴题中的应用[J]
.数理化学习,2019,0(12):8-10.
被引量：3
7
夏维嘉,江涛,董志刚,李海,薛亮,张媛.
一种企业代码成果管控系统的设计研究[J]
.中国管理信息化,2020,23(5):85-88.
8
李萍.
插入排序算法的分析与比较[J]
.电脑知识与技术,2020,16(1):289-290.
9
翟翠娟,黄东.
新时代京津冀协同发展视角下河北环境审计工作创新研究[J]
.中国集体经济,2020(9):32-33.
10
张利利,李仁义,惠铎铎,马进.
基于WPF心理检测系统的设计与实现[J]
.计算机技术与发展,2020,30(2):202-205.
被引量：4
科技视界
2020年 第6期
职称评审材料打包下载
相关作者
内容加载中请稍等...
相关机构
内容加载中请稍等...
相关主题
内容加载中请稍等...
浏览历史
内容加载中请稍等...
;
用户登录
登录
IP登录
使用帮助
返回顶部
