网络舆情历史拟合研究与实现

人们在网络上发表的对现实生活中事件的观点,并彼此影响,特别是对突发事件的表达将引领社会思潮。因此对网络舆情的跟踪、监测以及引导具有重要的现实意义。越来越受到业界与政府部门的关注。而网络舆情发展演化的预测尤为重要。目前在突发事件预测前缺乏有效手段来判断拟采用的舆情演化模型的有效性,且其参数主要依靠经验设定。因此,借鉴石油开发中油藏数值模拟技术,将历史拟合引入到舆情分析中。通过对所监控社区的历史事件进行拟合,来确定所使用的网络舆情演化模型的有效性,并获取符合真实情况的模型参数。同时,提出了基于粒子群的舆情历史拟合算法。实验表明,该算法能够获得较好的结果。

基于协程模型的分布式爬虫框架

网络爬虫主要受到网络延迟和本地运行效率的限制,传统的基于多线程的网络爬虫架构主要为了消除网络延迟而没有考虑到本地运行效率。在高并发的条件下,多线程架构爬虫由于上下文切换开销增大而导致本地运行效率降低,同时使得网络利用率下降,如何能够在最大化利用网络资源的情况下减小系统本地开销是一个需要研究的问题。针对以上问题,本文提出基于协程的分布式网络爬虫框架来解决,从开销、资源利用率、网络利用率上对协程框架和多线程框架进行了分析,并基于协程实现了一个分布式网络爬虫。实验表明该框架无论从开销、资源利用率和网络利用率上相对于多线程框架有比较明显的优势。

网络舆情可视化建模方法研究与实例分析

因网络传播而复杂化高风险化的突发、热点事件是我国最近几年来高速上升的公众事件,而能真实反映网络舆情各种观点与话题分布的可视化建模技术是一个薄弱环节。本文介绍了网络舆情源数据的获取与数据体的构建,以及可视化建模的方法,并用实例说明了可视化方法在舆情中的应用。