大数据环境下分布式数据抓取策略的研究与应用被引量：2

导出

摘要随着网络技术与移动通信技术的飞速发展,互联网已经进入了大数据时代,传统的数据抓取技术已经很难适应当前海量数据的应用需求,为了能够有效改善这一现状,本文提出了基于Hadoop的分布式网络爬虫改进策略,以满足大数据环境下用户对互联网信息的应用需求.

作者段玉风

机构地区运城广播电视大学

出处《网络安全技术与应用》 2019年第12期75-76,共2页 Network Security Technology & Application

关键词大数据 HADOOP 分布式网络爬虫

分类号 TP3 [自动化与计算机技术—计算机科学与技术]

引文网络
相关文献

参考文献2

1陈新.Hadoop平台中作业调度算法分析与改进研究[J].微型机与应用,2016,35(11):80-82. 被引量：1
2马梅,刘东苏,李慧.基于大数据的网络舆情分析系统模型研究[J].情报科学,2016,34(3):25-28. 被引量：49

二级参考文献14

1涂刚,阳富民,卢炎生.基于动态优先级策略的最优软非周期任务调度算法[J].计算机研究与发展,2004,41(11):2026-2034. 被引量：20
2刘毅.略论网络舆情的概念、特点、表达与传播[J].理论界,2007(1):11-12. 被引量：312
3Luis M. Vaquero,Luis Rodero-Merino,Juan Caceres,Maik Lindner.A break in the clouds[J]. ACM SIGCOMM Computer Communication Review . 2008 (1)
4AGUILERA M K,CHEN W,TOUEG S.On quiescent reliable communication. Computing . 2014
5刘磊.网络舆情分析系统研究[J].情报探索,2010(10):106-108. 被引量：8
6柳少锋,董剑,吴智博.一种基于优先级队列的集群动态反馈调度算法[J].智能计算机与应用,2012,2(4):78-80. 被引量：6
7孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146-169. 被引量：2378
8唐涛.基于情报学方法的网络舆情监测研究[J].情报科学,2014,32(1):124-127. 被引量：12
9何非,何克清.大数据及其科学问题与方法的探讨[J].武汉大学学报（理学版）,2014,60(1):1-12. 被引量：109
10宫夏屹,李伯虎,柴旭东,谷牧.大数据平台技术综述[J].系统仿真学报,2014,26(3):489-496. 被引量：123

共引文献48

1孙星恺,王晓,陆浩.面向活动的网络媒体监测与建模分析:IVFC案例解析[J].智能科学与技术学报,2019,1(4):352-368. 被引量：1
2蔡艳婧,王强,程实.基于分布式集群的网络浏览行为大数据分析平台构建[J].中国电子科学研究院学报,2019,14(1):1-7. 被引量：18
3王会权,谢东方,刘璐.基于大数据思维与方法的网络舆情监控研究[J].中国广播电视学刊,2019(2):86-91. 被引量：14
4夏盛.大数据时代下的网络舆情分析系统[J].电子技术与软件工程,2016(17):187-187. 被引量：1
5侯雷.大数据时代突发事件网络舆情管控机制研究[J].行政与法,2016(10):67-72. 被引量：11
6潘芳,胡彬,施凌荣,朱晓峰.网络舆情管控系统优化研究[J].现代情报,2016,36(11):3-7.
7虞颖映,吴立仁,胡天天,马凌飞,朱瑞英,施培武.医疗卫生行业互联网舆情监测预警系统设计及实现[J].中华医学图书情报杂志,2017,26(3):37-40. 被引量：4
8李晓飞,李欣人.大数据在新闻传播领域的研究热点及趋势——基于共词分析的可视化研究[J].当代传播,2017(2):74-78. 被引量：12
9宋朋,陆丹玥,赵燕萍,邵庆琳.社交网络中大数据研究新进展[J].兰台世界,2017(12):63-67. 被引量：2
10肖晨.大数据环境下高校网络舆情研究方法探讨[J].科技广场,2017(3):133-135.

同被引文献17

1万文兵.面向主题搜索的网络爬虫信息采集策略研究[J].软件导刊,2015,14(11):68-70. 被引量：2
2刘建成,吴保国,陈栋.基于网络爬虫的森林经营知识采集系统研建[J].浙江农林大学学报,2017,34(4):743-750. 被引量：5
3罗娇敏,耿茜.一种基于Redis的分布式爬虫系统设计与实现[J].软件,2017,38(10):83-87. 被引量：5
4王相军,刘春晓,刁慕言,何建安,顾大勇,史蕾,赵纯中,叶允明,田桢干,李深伟.全球传染病疫情信息自动收集系统的研发[J].中国国境卫生检疫杂志,2017,40(6):431-434. 被引量：7
5李彦辰,艾庆忠,王少非.基于Redis的分布式搜索引擎研究[J].软件导刊,2018,17(3):201-204. 被引量：9
6郑燕娥,郑志明.基于Heritrix与Solr的就业主题搜索引擎的研究与优化[J].齐齐哈尔大学学报（自然科学版）,2018,34(4):13-20. 被引量：3
7廖海涵,王曰芬,关鹏.微博舆情传播周期中不同传播者的主题挖掘与观点识别[J].图书情报工作,2018,62(19):77-85. 被引量：55
8孙学诚,陈前,唐家骏,石小川.大数据背景下的恐怖主义信息传播途径分析[J].吉林大学学报（信息科学版）,2019,37(1):88-95. 被引量：2
9李俊,周玉英,唐志航.基于主题网络爬虫的服装信息采集[J].信息技术与信息化,2018(8):97-99. 被引量：2
10蔡天鸿,邓金,史国阳,朱晋,怀丽波.基于TF-IDF方法的文本人物群体人格分析方法[J].计算机应用与软件,2019,36(5):35-38. 被引量：7

引证文献2

1董富江,张文学.分布式主题舆情采集与分析系统设计[J].软件导刊,2020,19(11):116-119.
2陈书光.大数据数据库的特点及处理技术分析[J].电脑知识与技术,2021,17(11):24-25. 被引量：2

二级引证文献2

1李卓艺,陈鹏,崔德广.新疆煤质数据分析系统优缺点及改进建议[J].新疆有色金属,2022,45(2):7-8. 被引量：2
2李达,王栋,周冬旭.基于双链结构的配电自动化系统异常检测方法[J].计算机应用,2022,42(S01):184-190. 被引量：6

1常逢佳,李宗花,文静,常逢锦.基于Python的招聘数据爬虫设计与实现[J].软件导刊,2019,18(12):130-133. 被引量：11
2王立志,慕晓冬,刘宏岚.采用改进粒子群优化的SVM方法实现中文文本情感分类[J].计算机科学,2020,47(1):231-236. 被引量：19
3魏利梅.微博社交网络数据挖掘与用户权重分析[J].网络安全技术与应用,2019,0(12):72-74. 被引量：1
4龚婧媛,孙海燕,钱志坚.基于众源地理数据的居住环境空间分异研究——以武汉市为例[J].测绘地理信息,2019,44(6):11-15. 被引量：1
5王琳,张珊珊,潘艳飞,刘新.工业机器人视觉检测系统研究[J].电子技术与软件工程,2019,0(22):86-88. 被引量：4

网络安全技术与应用

2019年第12期

浏览历史

内容加载中请稍等...

大数据环境下分布式数据抓取策略的研究与应用被引量：2

参考文献2

二级参考文献14

共引文献48

同被引文献17

引证文献2

二级引证文献2

相关作者

相关机构

相关主题

浏览历史

大数据环境下分布式数据抓取策略的研究与应用 被引量：2

参考文献2

二级参考文献14

共引文献48

同被引文献17

引证文献2

二级引证文献2

相关作者

相关机构

相关主题

浏览历史

大数据环境下分布式数据抓取策略的研究与应用被引量：2