一种分布式Twitter数据处理方案及应用

针对社交媒体数据的特点及其分析的挑战性,提出了一种基于实时计算框架Storm、批处理框架Hadoop和高效可水平扩展的No SQL数据库Mongo DB的分布式社交媒体数据处理方案,并依此指导实现基于Twitter流式数据的流感疫情可视化分析系统。实验证明,该分布式方案能较好支持Twitter流式数据的高效处理和储存,使之满足系统的性能需求。

基于Twitter数据的地点分类方法研究

城市化进程中,新的地点不断出现且地点类型不断更新,导致大量未知地点产生,为城市形态的理解和掌控造成障碍。本文综合多种空间分析及文本挖掘技术,创新性地融合Twitter数据中的时间记录与Tweets(用户在Twitter中发表的文本内容)用于地点分类。设计抽取精细的人群活动的时空-内容信息的方法,并通过监督学习方法,利用少量标记样本,自动识别未知地点的类型。最终识别出教育、娱乐、商店、社会服务、交通五种类型的地点,整体精度达67.6%,表明方法的可行性,为社交数据在地点分类研究中的有效利用提供了新的思路。

基于Twitter签到数据的城市居民群体分类算法研究

为实现基于社交媒体大数据的居民群体分类,引入自然语言处理(NLP)领域的标签潜在狄利克雷分布(Labeled LDA)模型。基于2014年芝加哥市的Twitter签到数据,使用LDA探索性分析提取先验信息。构建Labeled LDA,将城市居民分为五类:上班族、大学生及高校教职工、中小学生及教职工、市政工作人员和其他。实验结果表明,Labeled LDA的分类精度达到0.92,超过了支持向量机(SVM)0.87的分类精度。该算法有效地实现了居民群体分类,从而促进有针对性的服务制定。

基于地理位置的社交网络和云计算在智慧城市中的应用

具有地理位置的社交网络信息包含了很强的时间和空间信息,利用这些社交网路通的程序访问进口(API)所取得的信息,对于科研有很大的帮助。这些就有地理位置坐标的信息可以成为一种低成本的、应用于智慧城市的城市遥感信息源。而使用这些信息将需要设计到实时数据分析和大数据管理的问题。本文中通过对一些社交网络信息使用的调研分析,提出一种利用社交网络大数据来用于城市遥感的模型。并给出了进一步利用该模型和数据的建议。