基于Heritrix的主题爬虫在互联网舆情系统中应用

在信息化爆炸的时代,一般搜索引擎的搜索结果已经满足不了人们的需要,能获得更准确全面信息的垂直搜索引擎越来越受到关注。其中,主题爬虫作为垂直搜索引擎的核心部分一直是搜索方向的研究热点。本文以开源的网络爬虫Heritrix为基础,分析其结构特征与工作原理并引入了多线程处理的改进办法,设计出一个主题爬虫,在单机环境下进行该爬虫性能的测试。实验结果表明该主题爬虫的查全率达到较高水准,为进一步研究开发搜索效率高的垂直搜索引擎打下坚实的基础。

基于主题的网络舆情分析模型及其实现

网络舆情分析是信息处理领域内的一个新兴且有实用价值的方向。分析网络舆情分析的基本问题,提出难点以及相关的解决方案,并在此基础上设计基于主题的网络舆情分析模型。

基于知识库和主题爬虫的南海舆情实时监测研究

[目的/意义]为满足对网络舆情的系统研究需求,需要将领域知识库作为重要支撑应用于相关研究中。[方法/过程]首先,研究针对南海问题构建多语种南海舆情监测基本本体,基于该本体实现主题爬虫对舆情信息的采集;接着,基于优化的行块分布正文提取算法实现对舆情信息的正文抽取,获取关键字和摘要;最后,利用HTML5对舆情信息分析结果进行可视化展示。[结果/结论]用户可根据具体需求利用构建的舆情监测系统对舆情信息实现系统的采集、处理和分析。

网络舆情监控系统中主题网络爬虫的研究与实现

在分析比较通用网络爬虫和主题网络爬虫的定义和处理流程基础上,结合主题网络爬虫的功能,提出了网络舆情监控系统中主题网络爬虫的设计模块。针对主题爬虫要实现的目标,分别研究了系统所要实现的关键算法。基于主题爬虫的舆情监控系统能满足面向特定领域的信息采集及监测需求,具有较强的实用价值。

基于文本相关性的高校网络舆情监控系统的设计与实现

随着互联网的发展,高校大学生通过网络对各个热点问题发表意见和评论,一些负面的舆情信息会对高校造成巨大危害.为了实现校园网的公共安全,利用聚焦网络爬虫技术和聚类技术设计实现了一个基于文本相关性的高校网络舆情监控系统.根据高校网络舆情的特点,对聚焦爬虫和聚类算法进行一些改进,以提高热点话题发现的效率和精确度,从而有效增强对大学生网络舆情的监控.

BBS舆情系统爬虫模块的研究

针对重要的舆论平台BBS论坛,提出利用网络爬虫构建适合抓取论坛数据的爬虫模块。通过分析BBS论坛以及比较不同类别爬虫的特点,介绍BBS爬虫模块的工作流程以及需要选择的策略,讨论URL的处理与重定向问题的解决方法,并提出对不同论坛模块定制不同任务的抓取策略。

网络舆情主题信息采集研究

网络舆情的主题不确定性问题在网络治理中越来越突出,通过研究网络舆情的相关特征及其演化机制,在基于内容的主题选择策略上,引入时间维和空间维的主题因子,设计并实现网络舆情的主题信息爬虫。实验结果表明,该主题信息爬虫不仅执行的效率较高,而且主题约束性稳定,为后期网络群体性事件的舆情处理提供主题样本。