基于大数据的突发事件网络舆情动态分类研究

在目前的大数据环境中,研究突发事件的网络舆情已经是国家、政府、企业以及研究学者关注的热点问题。如果网络突发事件出现不可控制的现象,将会造成极其严重的影响。针对网络突发事件,我们提出了大数据环境下的突发事件网络舆情动态分类研究,使用Python语言和Scrapy爬虫框架建立了网络舆情数据分析系统,运用K-means聚类算法对舆情分类。将舆情信息数据化,以此减少人力物力的消耗,防止事态的进一步扩大,采取对应的措施应对网络舆情。

基于爬虫技术的校园网络热点话题提取分类研究

针对当前校园思想工作引导的重要性，结合当前的计算机智能算法与大数据技术，提出一种基于校园网络话题提取分类平台。对此，文章首先利用网络爬虫算法对微博、门户网站等信息进行提取，然后利用相似度的方式对热点话题进行分类，并引入动态话题建模方式，提高热点话题更新的速度，通过Hadoop大数据平台构建热点话题存储平台。最后对上述的方式进行测试，验证了上述方案的可行性，为高校思想政治教育工作提供了一种新的具体引导技术。