基于微博API的分布式抓取技术

随着微博用户的迅猛增长,越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式。针对如何对微博数据进行有效合理的采集,提出了基于微博API的分布式抓取技术,通过模拟微博登录自动授权,合理控制API的调用频次,结合任务分配控制器高效地获取微博数据。该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制,避免了数据的重复爬取和重复存储,提高了系统的性能。本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点。新浪微博数据爬取实例验证了该技术的可行性。

基于API接口的腾讯微博数据挖掘

以腾讯微博为对象,介绍它提供的API接口,以及如何成为授权用户和微博信息提取及处理的方法。利用API接口可以高效迅捷地获取微博信息,但微博服务商并不完全开放API接口,而且对单位时间内的访问次数也有限制,因此对于所需的关键微博信息如果无法通过API得到时,需要结合其他方法获取。

基于API的微博信息采集系统设计与实现

微博已成为网络信息的重要来源,该文分析了微博信息采集的相关方法与技术,提出了基于API的信息采集方法,然后设计了一个信息采集系统,能够对新浪微博的相关信息进行采集。实验测试表明,该信息采集系统能够快速有效地采集新浪微博信息。

社交网络数据采集技术研究与应用

随着社交网络的快速发展,对其研究也逐步深入。显然,社交网络基础数据的获取对研究具有非常重要的意义。针对目前已有的数据采集方案,根据新浪授权标准以及最新的微博加密方式,研究了两种采集方案:1)经OAuth2.0认证后,通过微博API接口获取数据;2)在RSA2加密方式下模拟登录微博,再通过网络爬虫抓取数据。同时,还研究了通过网页采集器针对微博编写适当的采集规则进而实现对数据的获取。3种数据采集方案都能有效地对数据进行采集且各具特点,针对数据的采集需求,提出融合不同的采集方案的策略。经实验研究,方案的融合策略可快速、高效地实现大数据量的采集。

基于多策略的新浪微博大数据抓取及应用

微博数据处理属于大数据范畴,其前提是获取大量的微博数据,而由于商业利益以及安全方面的考虑,获取微博数据的途径越来越少。同时随着新浪官方API的逐步更新,数据获取的限制也日益增加。文章尝试利用现有资源,基于多策略获取机制,设计出可稳定获得新浪微博数据的挖掘方案,并给出情感分析应用实例。实验表明,所设计的挖掘方案可以根据需要获取微博上的数据,并可以应用于微博情感分析中。

一种基于模拟登录的微博数据采集方案

随着Web 2.0时代的到来,舆情信息在微博上能够更快速的产生和传播。为了有效地分析微博舆情信息,微博数据的获取显得尤为重要。文中以新浪微博为研究对象,提出了基于模拟登录的网络爬虫采集方案。此方案解决了调用微博API接口对开发者的次数限制,解决了传统的网络爬虫需要身份验证的问题,加快了微博数据的采集速度,可以在短时间内获得海量的微博数据。实验表明,用该方案开发的系统具有快速的微博信息采集速度,更加灵活,可以很好地为舆情系统分析提供大量准确的数据支持。

基于多策略的微博位置数据获取方法研究

随着Web2.0时代发展的成熟,在以微博为代表的新社交网络平台上产生了大量含有空间位置信息和时间标识的数据,即位置数据(location data)。位置数据是大数据的一个重要组成部分,现已作为一种战略性资源被广泛应用于社会生活的多个领域,而位置数据的获取是位置数据挖掘和应用的基础。深刻分析了基于API、基于网络爬虫和基于网络数据流3种目前常用的微博数据获取方法的特点,在此基础上提出了一种基于多策略的微博位置数据获取方法,详细阐述了该方法的基本原理、基本流程和主要特点。最后通过获取新浪微博的位置数据进行实验验证,结果证实,该方法可以实现全面、高效地获取微博位置数据。

在线社会网络的数据采集方法的研究

在线社会网络是一个由亿万级用户及联接关系构成的大规模集合,其中以新浪微博为典型代表,目前已经成为人们日常交流的重要方式。如何在新浪微博中分析其用户的特征和网络拓扑结构成为研究在线社会网络的基础,利用新浪微博开放平台提供的API采集数据,实验证明,该方法切实可行。

我国政务微博信息的归档范围和归档流程研究

政务微博已经成为政府服务的重要平台,政务微博的高价值性及动态性使其归档管理变得日益紧迫。探讨我国已有的电子文件管理标准对政务微博信息归档管理的适用性,分析了政务微博的归档流程,着重分析了归档过程中的信息采集、信息著录和信息存储这三个环节。

基于在线社会网络采集数据的研究

目的研究新浪微博数据采集问题。方法利用新浪微博API接口和本文设计的网络爬虫模型进行数据采集。结果与结论实验证明两种方法都可以在较短时间内收集到较多用户资料,但在过滤去重方面,本文设计的算法在时间上更为高效。

浅析J2ME与微博数据交换的实现

分析了J2ME手机客户端程序采用轻量级数据格式JSON来实现与微博的数据交换。JSON与XML相比,简洁高效,方便生成和解析。微博API逐步开放,使得J2ME访问微博更容易。文中以新浪微博API为例介绍了其中update接口的URL访问格式和返回JSON数据的格式,并列举了J2ME发送Http请求及解析响应的JSON数据的关键代码,实现了与微博的数据交换。

社交网络挖掘方案研究

随着社交网络普及,社交网络的数据获取成为首先要解决的问题。针对如何获取社交网站的数据,提出了基于API和网络爬虫的两种方法。通过采取对比试验,分别用两种方式在单位时间内抓取微博,比较抓取的微博条数。实验结果表明,基于API抓取的速度比较快,但是稳定性和数据完整性欠佳;基于网路爬虫方式抓取的速度比较慢,但是稳定性和数据完整性较好。最后提出通过采用两种方式相结合的方式,能够进一步提高抓取效率。

基于微博的信息处理系统设计

随着Web2.0的快速发展,越来越多的用户都拥有了自己的微博客及微博。微博因为其及时性、大众性而在很多新闻、公共事件中有较为突出的表现。本文主要介绍微博的特征、价值及应用,然通过新浪微博提供的API接口获取微博数据,针对整个微博和个人用户分别进行数据的统计和分析并把最终得到的信息反馈给用户。

新浪微博数据挖掘方案

随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。