摘要
阐述基于微信、微博、百度搜索等大数据平台,运用网络爬虫技术对案例的舆情大数据,进行数据的采集、清洗、去重、分词、情感值等处理,得到结构化的分级、分类统计图,实现数据可视化。
Based on wechat,microblog,Baidu search and other big data platforms,this paper uses web crawler technology to collect,clean,de duplicate,word segmentation,emotional value and other processing of the public opinion big data of the case,so as to obtain a structured hierarchical and classified statistical map and realize data visualization.
作者
唐俊
游棉州
TANG Jun;YOU Mianzhou(Guangzhou Nanyang Polytechnic Vocational College,Guangdong 510900,China)
出处
《集成电路应用》
2021年第11期80-81,共2页
Application of IC
基金
2021年度广州南洋理工职业学院“创新强校工程”项目(NY-2021CQ-ZSPY003)
2018年广州南洋理工职业学院品牌专业建设项目(NY-2018CQ2ZY-01)
2020年广州南洋理工职业学院校级科研项目(NY-2020KYYB-06)。
关键词
大数据技术
数据可视化
爬虫技术
big data technology
data visualization
crawler technology
