期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
面向网络爬虫的高可用动态池系统设计与实现
被引量:
2
1
作者
王佳鹏
徐海蛟
+2 位作者
许培宇
何佳蕾
林冠成
《福建电脑》
2019年第6期8-11,共4页
大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能。通过带有动态池系统的爬虫实验,验证了该系统的可行性与有效性。
关键词
ip
代理池
ip访问频率
网络爬虫
NOSQL
下载PDF
职称材料
题名
面向网络爬虫的高可用动态池系统设计与实现
被引量:
2
1
作者
王佳鹏
徐海蛟
许培宇
何佳蕾
林冠成
机构
广东第二师范学院计算机科学系
出处
《福建电脑》
2019年第6期8-11,共4页
基金
2019年广东第二师范学院校级教学质量与教学改革工程项目(No.2019jxgg18)
2019年广东第二师范学院大学生创新创业训练计划项目(No.201914278146)资助
+4 种基金
广东第二师范学院软件工程重点学科建设项目(No.9030-1700207)
国家自然科学基金青年科学基金项目(No.61802132)
广东省自然科学基金项目(No.2018A0303130169)
广东省科技计划项目(No.粤财农[2017]94号、No.2016A010106007)
广东省应用型科技研发专项资金资助项目(No.2016B090927010)
文摘
大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能。通过带有动态池系统的爬虫实验,验证了该系统的可行性与有效性。
关键词
ip
代理池
ip访问频率
网络爬虫
NOSQL
Keywords
ip
Proxy Pool
ip
Access Frequency
Web Crawler
NoSQL
分类号
TP393 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
面向网络爬虫的高可用动态池系统设计与实现
王佳鹏
徐海蛟
许培宇
何佳蕾
林冠成
《福建电脑》
2019
2
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部