期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
多策略融合的微博数据获取技术研究
被引量:
3
1
作者
王培名
陈兴蜀
+1 位作者
王海舟
王文贤
《山东大学学报(理学版)》
CAS
CSCD
北大核心
2019年第5期28-36,43,共10页
微博正逐步成为公共信息传播的主要社交媒体,高效地获取微博数据对于网络舆情分析具有重要意义。以新浪微博为研究对象,研究了通过微博API、模拟登录和构造访客Cookie进行数据采集的3种方案,提出了一种多策略融合的微博数据采集方案。...
微博正逐步成为公共信息传播的主要社交媒体,高效地获取微博数据对于网络舆情分析具有重要意义。以新浪微博为研究对象,研究了通过微博API、模拟登录和构造访客Cookie进行数据采集的3种方案,提出了一种多策略融合的微博数据采集方案。针对模拟登录的方案设计实现了自适应的并发采集算法,使数据采集较为稳定高效;针对构造访客Cookie的方案设计实现了高可用代理池模块,进一步提高了数据采集效率。实验结果表明,基于模拟登录的自适应并发采集策略和构造访客Cookie融合的方案能够高效、全面、稳定地获取微博数据。
展开更多
关键词
微博API
模拟登录
访客cookie
策略融合
自适应
代理池
原文传递
题名
多策略融合的微博数据获取技术研究
被引量:
3
1
作者
王培名
陈兴蜀
王海舟
王文贤
机构
四川大学计算机(软件)学院
四川大学网络空间安全学院
四川大学网络空间安全研究院
出处
《山东大学学报(理学版)》
CAS
CSCD
北大核心
2019年第5期28-36,43,共10页
基金
国家自然科学基金资助项目(61802270,61802271)
国家“双创”示范基地之变革性技术国际研发转化平台资助项目(C700011)
+2 种基金
四川省重点研发资助项目(2018G20100)
四川省科技支撑计划项目(2016GZ0038)
中央高校基本科研业务费专项资金资助(2017SCU11065)
文摘
微博正逐步成为公共信息传播的主要社交媒体,高效地获取微博数据对于网络舆情分析具有重要意义。以新浪微博为研究对象,研究了通过微博API、模拟登录和构造访客Cookie进行数据采集的3种方案,提出了一种多策略融合的微博数据采集方案。针对模拟登录的方案设计实现了自适应的并发采集算法,使数据采集较为稳定高效;针对构造访客Cookie的方案设计实现了高可用代理池模块,进一步提高了数据采集效率。实验结果表明,基于模拟登录的自适应并发采集策略和构造访客Cookie融合的方案能够高效、全面、稳定地获取微博数据。
关键词
微博API
模拟登录
访客cookie
策略融合
自适应
代理池
Keywords
API
simulated login
visitor
cookie
fusion strategy
adaptive
IP proxy pool
分类号
TP393 [自动化与计算机技术—计算机应用技术]
原文传递
题名
作者
出处
发文年
被引量
操作
1
多策略融合的微博数据获取技术研究
王培名
陈兴蜀
王海舟
王文贤
《山东大学学报(理学版)》
CAS
CSCD
北大核心
2019
3
原文传递
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部