基于Java的新浪微博爬虫研究与实现

为了高效获取更多的微博数据,针对调用微博API和网页版(com版)等传统微博爬虫在数据采集中所存在的问题,设计开发了一个基于Java的采集新浪微博Weibo.cn站点的网络爬虫系统。该系统通过广度遍历结合组拼URL的方式采集网页源码,使网页源码更加简洁,纯净度更高,降低了网络传输压力并减少了HTML源码解析时间。主要实现了微博模拟登陆、微博网页爬取、微博页面数据提取和任务调度控制,并对爬取数据进行了分析,在爬虫中添加了主题微博筛选功能。为验证该系统的有效性和可行性,与其他传统方法进行了分析对比。实验验结果表明,所提出的系统爬取效率更高,实现代码更简便。

情感计算和文本挖掘的商品评论倾向性分析

文章基于提取用户评论中用户的观点和评论的极性,利用基于句法分析的模式匹配方法来提取特征词,建立特征词集合。采用了TF-IDF算法来抽取匹配特征词的观点词集合,去除贡献度低的观点词,然后采用简约相似度算法来量化种子词和目标观点词之间的相似度,该相似度能够很好的代表未知目标词在一个句子中的倾向性,从而为量化用户观点极性打下基础。最后以某电商平台上的商品成交记录作为实验测试数据,得到不同商品在不同特征之间的评价差异,从而挖掘出用户的个性化需求。

复杂网络社团检测可视化仿真平台设计与开发

有效发现与理解社团结构是复杂网络研究中非常重要的问题。此文分析与比较了传统的GN算法、Fast-Newman算法和CNM算法,基于JUNG框架设计与开发了社团检测可视化平台。该平台首先实现了上述三种算法,并与此文提出的局部社团检测算法(CDAMDL算法)在标准网络数据集上进行了分析测试。实验表明,在检测效果,计算耗时等方面,CDAMDL算法均优于传统算法。同时该平台提供了透明、直观的社团检测结果和评价,为复杂网络社团结构分析提供了依据。