期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
基于网络爬虫技术的大数据采集系统设计
被引量:
5
下载PDF
职称材料
导出
摘要
本文简单介绍了网络爬虫技术,论述了基于网络爬虫技术的大数据采集系统设计目标,探究了基于网络爬虫技术的大数据采集系统设计结构,并对基于网络爬虫技术的大数据采集系统设计实践进行了进一步探究,希望为基于网络爬虫技术的大数据采集系统设计提供一些参考。
作者
白天瑰
机构地区
甘肃钢铁职业技术学院
出处
《电子技术与软件工程》
2022年第21期251-254,共4页
ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING
关键词
网络爬虫技术
大数据采集系统
URL
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
TP393.09 [自动化与计算机技术—计算机应用技术]
引文网络
相关文献
节点文献
二级参考文献
49
参考文献
8
共引文献
20
同被引文献
34
引证文献
5
二级引证文献
0
参考文献
8
1
刘晓魁.
网络爬虫技术与策略分析[J]
.网络安全技术与应用,2022(5):17-19.
被引量:8
2
王辛浩,单艳.
探究Python语言下网络爬虫的技术特点及应用[J]
.数字技术与应用,2022,40(10):85-87.
被引量:8
3
龙辉.
基于Ajax的聚焦网络爬虫技术在科研项目管理系统中的应用[J]
.电子元器件与信息技术,2022,6(7):8-11.
被引量:2
4
Jianghui WANG,Peng ZHOU,Yichen LIN,Longhao ZHANG,Mengyu WU.
Spatio-temporal Variation of PM_(2.5) in China from 1998 to 2016[J]
.Meteorological and Environmental Research,2022,13(1):21-25.
被引量:1
5
翟俊杰.
社会工作者招聘的岗位特征与区域差异:基于网络爬虫的数据分析[J]
.南京工程学院学报(社会科学版),2022,22(2):36-43.
被引量:2
6
刘业,吴建平.
动态可配置网络爬虫系统的形式化研究[J]
.福建电脑,2022,38(8):1-4.
被引量:2
7
张正阳,任保见,刘娜.
Python网络爬虫在农业网络数据获取中的研究[J]
.现代化农业,2022(7):50-53.
被引量:3
8
燕跃豪,宋建辉,鲍薇,孙晨光,原征.
基于网络爬虫的电力营商环境大数据信息检索技术研究[J]
.电气时代,2022(10):34-36.
被引量:2
二级参考文献
49
1
本刊讯.
山东发布2021年企业工资指导线[J]
.山东人力资源和社会保障,2021(8):5-5.
被引量:1
2
方启明,杨广文,武永卫,朱安平,郑纬民.
面向P2P搜索的可定制聚焦网络爬虫[J]
.华中科技大学学报(自然科学版),2007,35(S2):148-152.
被引量:5
3
屈展,李婵.
JSON在Ajax数据交换中的应用研究[J]
.西安石油大学学报(自然科学版),2011,26(1):95-98.
被引量:78
4
王宏旭.
AJAX技术及其在WEB应用程序开发中的应用[J]
.硅谷,2013(9):77-78.
被引量:5
5
王思斌.
走向承认:中国专业社会工作的发展方向[J]
.河北学刊,2013,33(6):108-113.
被引量:155
6
李慧敏,孙佳亮.
论爬虫抓取数据行为的法律边界[J]
.电子知识产权,2018(12):58-67.
被引量:49
7
朱可珺,徐建华.
城市大气污染的风险认知研究评述与展望[J]
.北京大学学报(自然科学版),2014,50(5):969-978.
被引量:20
8
尚小宴,罗兆杰,李金文.
普洱市思茅城区空气污染指数API时空分布特征研究[J]
.环境科学导刊,2015,34(6):48-50.
被引量:2
9
吴少伟,邓芙蓉.
大气PM_(2.5)与健康:从暴露、危害到干预的系统研究进展[J]
.中国药理学与毒理学杂志,2016,30(8):797-801.
被引量:14
10
肖建能,杜国明,施益强,温宥越,姚杰,高宇婷,林锦耀.
厦门市环境空气污染时空特征及其与气象因素相关分析[J]
.环境科学学报,2016,36(9):3363-3371.
被引量:43
共引文献
20
1
李鲲程,费军旗,范春梅.
基于Pyspider的网络爬虫架构的分析与优化[J]
.通信管理与技术,2022(6):9-12.
2
张梦元,刘莉.
基于Java的低代码主题爬虫的设计与实现[J]
.电脑知识与技术,2022,18(30):33-36.
3
刘思妤.
基于ECharts的中国环境保护情况数据可视化系统的设计与实现[J]
.软件,2022,43(12):152-155.
被引量:2
4
宋海军,邰帅.
基于Kano模型的地铁空间装饰艺术研究[J]
.家具与室内装饰,2023,30(1):118-121.
被引量:7
5
刘清,徐华丽.
项目驱动教学在网络爬虫课程中的应用研究[J]
.高教学刊,2023,9(4):43-46.
被引量:2
6
丁宣伊.
基于Python的高校电信诈骗数据收集及可视化系统设计[J]
.电脑编程技巧与维护,2023(3):90-93.
7
林燕.
轨道交通PPP项目事前绩效评价[J]
.建筑与预算,2023(4):4-6.
8
程亚维,王东霞.
基于网络爬虫技术的网页SQL注入漏洞检测方法[J]
.信息与电脑,2023,35(4):236-238.
被引量:1
9
卢宁.
用Python获取网络中的科普电影信息[J]
.计算机应用文摘,2023,39(12):297-300.
10
崔欢欢.
基于Python的网络爬虫技术研究[J]
.信息记录材料,2023,24(6):172-174.
被引量:1
同被引文献
34
1
唐巧盈,惠志斌.
数据价值链视角下互联网平台的数据权责关系及其治理[J]
.学术论坛,2021,44(4):56-66.
被引量:8
2
张鹏.
综合能源在线监测数据采集系统设计[J]
.电子元器件与信息技术,2022,6(9):152-155.
被引量:2
3
刘学冬.
基于微信平台的智慧景区服务系统设计[J]
.信息系统工程,2019,32(8):40-40.
被引量:5
4
梁志国,孙浩琳,尹肖,王雅婷,吴娅辉.
电阻应变数据采集系统传递函数的评价[J]
.计量学报,2020,41(11):1380-1385.
被引量:6
5
曹琦.
大数据背景下IT业发展前景[J]
.数字技术与应用,2020,38(11):215-217.
被引量:1
6
沈贵明,刘源.
数据抓取行为反不正当竞争法规制困境与对策[J]
.中国流通经济,2021,35(1):89-96.
被引量:20
7
陈兵,马贤茹.
互联网时代用户数据保护理路探讨[J]
.东北大学学报(社会科学版),2021,23(1):96-104.
被引量:7
8
陈媛媛,王琦.
基于单片机的光电能量转换数据采集系统设计[J]
.电子制作,2021,29(7):92-94.
被引量:1
9
陈丛,周力臻.
基于Python爬虫技术的虚假数据溯源与过滤[J]
.计算机仿真,2021,38(3):346-350.
被引量:6
10
孙乙博.
爬虫技术与RPA在银行运营管理领域的应用[J]
.中国管理信息化,2021,24(9):186-189.
被引量:3
引证文献
5
1
高生华,何济武,胡素臻,赵雪.
面向遗留系统的数据采集方法[J]
.网络安全与数据治理,2023,42(S02):156-160.
2
王颖颖.
基于混合推荐模式的汽车推荐系统的设计与实现[J]
.汽车知识,2023,23(4):99-101.
3
王芳.
基于Python爬虫技术的互联网数据抓取方法设计[J]
.信息与电脑,2023,35(7):41-43.
4
邬毅松.
无线低功耗大容量数据采集系统的设计[J]
.电脑知识与技术,2023,19(21):94-96.
5
宁毅,陈金龙,金富强,黎炳材.
基于智能化技术的智慧景区应用系统设计与实现[J]
.无线互联科技,2024,21(11):58-62.
1
于路遥,宋瑾钰.
基于Python的天气信息可视化分析系统的设计与实现[J]
.软件工程与应用,2022,11(6):1394-1403.
被引量:1
2
刘丛睿,汤艳君.
基于Tor的匿名网络空间资源监测方法研究[J]
.网络安全技术与应用,2022(12):3-5.
电子技术与软件工程
2022年 第21期
职称评审材料打包下载
相关作者
内容加载中请稍等...
相关机构
内容加载中请稍等...
相关主题
内容加载中请稍等...
浏览历史
内容加载中请稍等...
;
用户登录
登录
IP登录
使用帮助
返回顶部