融合微博数据的地震辅助决策系统

以新浪微博数据为基础数据,采用网络爬虫技术对数据进行抓取,通过地理编码确定受灾区的时空分布情况,基于数据质量评价体系分析微博数据的可用性,结合遥感数据构建辅助决策分析模型,实现了融合微博数据的系统平台;为验证系统的实用性,以2022年芦山MS6.1地震为例,利用微博数据空间分布特征、交通、地形地貌等数据,对灾后救援力量分配、安置点选址和路径规划进行分析,为地震灾害救援以及后续的灾后重建提供了有效的决策支撑。

基于微博数据的西安市空间意象研究

在城市空间规划数字化转型趋势下,结合大数据对“城市意象”研究方法进行不断创新。为进一步优化西安空间结构,综合评估各街道发展潜力,强化“西安经验”,该文以西安市一年微博签到数据为例,在相关学者对城市意象因子分类的基础上,将意象因子分为城市环境、文化活动与自然山水三大类。进行词频统计及空间聚类分析,挖掘城市各街道特色意象因子。同时从文化、生态、经济三方面选取8个空间意象影响因子,使用地理探测器对空间意象驱动因子作进一步分析,并结合各街道发展现状,提出相关优化策略。

基于微博数据的京津冀地区非遗文化公众感知特征研究

利用2014年和2019年的微博数据,通过词频分析、情感分析和语义网络分析,探析京津冀地区公众对于非物质文化遗产的感知特征,结果表明:1)公众对非遗文化感知在2014—2019年呈现增强趋势,感知的深度和广度不断扩展,呈现由北京和天津双中心向京津冀全域扩散、由剧场这类单一类型场所向多种文化场所扩散的趋势,非遗文化类别从传统戏剧和曲艺为主向传统舞蹈、传统技艺、民俗、传统美术等多种非遗文化类别扩展;2)公众情感的正负趋向分析可以为非遗文化活动的精细化管理提供以人为本的视角,公众情感态度总体是积极正向的,正负情绪趋向主要受非遗项目认知、周边配套设施便利程度、现场体验等方面的影响;3)丰富多样的非遗项目既丰富了非遗文化活动,也在一定程度上促进了京津冀各地之间,特别是北京与津冀之间的交流与空间联系,与地理学上的距离衰减规律不一致,体现了文化联系视角下的京津冀区域关联的差异特点,而非遗文化活动与文保单位或文化遗产地的关联,表明对物质和非物质文化遗产的整体性保护意识在增强。

基于微博数据的中原城市群空间联系强度测度

空间联系强度是城市群发展阶段、态势、功能定位的重要表征.在大数据背景下,随着移动终端的普及和网络联系平台的广泛使用,人流在不同地区的空间移动能够得到较准确的统计和表达.在总结以往城市群空间联系研究方法的基础上,提出一种新的基于微博数据判别城市之间空间联系强度的方法,弥补了由于缺乏城际通勤数据而导致的传统空间联系强度判别方法的不足.新方法可以较准确地判别城市群地区各个城市的空间联系强度与组织类型.

结合微博数据挖掘的时空特征分析

在大数据背景下处理海量数据时,数据的获取和分析手段至关重要。本文运用网络平台的开放接口API,对特定的地理区域和特定的用户采集包含时空信息的数据,建立了一个通过模拟登录自动发送网络请求,解析与提取返回数据,集数据采集、处理、入库于一体的微博数据采集系统;用微博数据的发布位置分布及集聚状态研究了用户的行为特征。试验表明,该方法可为事件发现、趋势预测、用户特征分析等方面提供信息。

基于微博数据的传统村落记忆场所研究--以苏州明月湾古村为例

社交媒体已成为新的记忆方式,为传统村落挖掘承载集体记忆的历史场所提供了新的数据来源和路径。文章初步探索了基于微博图片、文本数据进行记忆场所研究的方法和技术,以内容分析法为主,从空间维度的场所信息与时间维度的记忆信息两方面进行分析。选取苏州明月湾古村作为案例,通过场所与记忆关联分析总结记忆场所类型,为村落的保护开发提供依据和指导策略。研究结果验证了这一路径为新技术条件下记忆场所研究展现了新的可能。

基于微博数据采集的Web信息集成系统研究

使用模块化构建了一种特定领域的Web信息集成系统,设计实现一种基于领域关键词的新闻、微博数据采集处理系统,通过用户提供的关键词,结合人工筛选进行关键词扩展,对全网相关新闻、微博数据进行采集与抽取。设计实现了一种基于关键词和转发数的新闻排序方法,对特定领域采集的新闻数据进行处理排序,遴选重要信息进行定向推送。以气候变化领域为例,设计了Web信息集成系统。

新冠疫情下我国体育发展危机与应对之策——基于微博数据挖掘

目的:基于微博数据挖掘,分析微博平台汇集的体育舆论与映射出的我国体育发展状况,并针对发展危机探寻应对之策。方法:以体育类微博数据为调查对象,以Python爬虫程序进行数据挖掘为主要方法,通过两种途径与一种模型,获取数据并展开分析。结果:1)在疫情爆发前后,"体育"与"疫情"微博指数变化趋势高度相似,在疫情重压下民众对于体育信息高度关注。2)体育类微博词频排名前四的关键词为体育视频、体育比赛、疫情与武汉,社会关注度呈现出明显增高又持续走低的趋势,随着疫情防控进入常态化,体育信息的热度与互动度降低。3)体育类微博内容主要涉及体育政策、体育健身、体育赛事与体育教学4个领域,呈现出10个主题。结论:后疫情时代要积极构建体育领域的数据治理模式,提升体育治理效能。我国体育发展态势整体向好,但存在着一定的危机与局限,仍要予以重视与警惕。

微博数据在生态环境监测中的潜力研究——以成渝城市群为例

生态环境与人类生活息息相关,关注公众对生态环境的态度是生态环境监测的重要组成部分。日益丰富的社交媒体数据为获取大范围的公众反馈信息提供了快捷渠道。该文以成渝城市群为研究区,基于微博这一典型社交媒体数据,应用情感分析法并与遥感生态指数(RSEI)分析结果进行对比,从不同尺度探讨微博数据在生态环境监测中的潜力。结果表明:微博数据能够准确反映2010-2018年成渝城市群生态环境的演变,与RSEI的变化趋势一致,且对于区域内各城市,基于微博数据的生态情感指标与RSEI的灰色关联度较高;此外,微博数据能够反映局部区域的生态环境问题,如垃圾污染、绿化破坏和乱焚烧现象等,是对城市尺度生态环境监测的有效补充。微博数据在生态状况趋势评价、生态环境问题阐述和环境问题区域定位等方面具有应用潜力,可契合环境问题管理、完善生态环境监测体系和评价体制等多项应用需求,同时可作为遥感的辅助手段,为生态环境领域提供借鉴。

微博数据通用抓取算法

目前常用的网络爬虫和基于微博API抓取数据的算法很难满足舆情系统对微博数据的需求。为此,提出一种模拟浏览器登录微博抓取网页数据的算法,以方便地获取任意微博用户网页上的所有数据。通过微博用户之间的关系构建用户网络,并通过该网络发现新用户。为获取微博上有质量的数据,建立一个完整的数学模型,根据用户的发帖数、发帖频率、粉丝数、转发数、评论数等因素来计算用户影响力,以影响力为主要因子构建优先队列,使得影响力越大的用户数据采集频率越高,同时计算时间间隔以兼顾非活跃用户的数据获取。实验结果表明,该算法具有通用性强、完全无需人工干预、获取信息的质量高、速度快等优点。

基于微博数据的电影票房预测模型研究

以新浪微博中电影主演和导演的粉丝数、相关微博转发量、评论量等微博数据为基础，利用神经网络建立电影票房的预测模型并利用微博数据进行预测研究。研究表明，本文构建的模型可以在一定程度上用于电影票房的预测，其准确率为90%。

基于主动学习的微博数据分类

支持向量机(SVM)主动学习算法是主动学习中相当著名的算法,但是该算法还存在缺陷,即没有对微博数据内容多样的特点进行考虑,因此提出了一种新的基于SVM的主动学习算法。该算法通过未标注样本点与所有已标注样本点之间的余弦相似度之和来度量未标注样本与所有已标注样本点之间的相似性,通过选择与已选择的所有样本不相似的样本点进行标注就可以实现对于数据多样性的充分考虑;另外,为了避免太大的余弦相似度值对于余弦相似度之和的影响,该算法通过设置阈值的方法使得被选择样本的最小余弦相似度尽可能大;除此之外,为了选择最佳的样本进行标注,除了考虑数据多样性之外,算法也对样本点和分类超平面之间的距离进行了考虑。

基于微博数据分析的公共服务质量研究——以上海市住房保障为例

基于公共服务质量的属性与特质,引入微博数据的分析方法,开发出了住房保障服务质量的概念性整体分析框架。研究发现,住房保障服务质量中存在的问题具有明显的“核心—边缘”结构。价值维度公平性、过程维度责任性是影响住房保障服务质量的关键要素。安置房和经适房服务中“价值—过程”维度的质量问题更为显著,而在廉租房和公租房服务中“功能—结果”维度要素发挥了较为关键的作用。不同空间区域中的质量问题同样具有一定的差异性。因此,以空间差异和房型差异为切入点,精准施策、精准保障,应成为政府下一步住房保障工作的焦点。

基于微博数据的桂林旅游流时空变化分析

利用爬虫技术获取微博旅游数据,对2016-2019年到访桂林市漓江风景区、阳朔风景区的国内旅游流时空变化进行分析.结果表明:(1)漓江及阳朔旅游流的时间分布不均,两地游客时间集中指数显示旅游季节性明显;2016-2019这4年漓江各客源省份游客时间集中指数明显高于阳朔,漓江游客量季节变化程度远高于阳朔.(2)漓江和阳朔客源组成显著不同,数据分析显示两地游客重叠度极低;漓江旅游流变异系数变化较大,客源地游客量波动较大,稳定性较差.阳朔旅游流变异系数基本保持稳定,年度间旅游流空间差异变化不大,客源地游客量保持相对稳定.(3)两地旅游流都具有显著的空间自相关性,但聚集和异常区域略有不同;漓江客流高-高和低-低聚集区均不稳定,数量和区域变化较为明显,没有显著的趋势变化;阳朔客流高-高聚集区呈现微弱的扩张趋势,低-低聚集区呈现较明显的扩张趋势.在空间分布上,两地的旅游客流最大值分布在两广地区,北京是第二大客源地,其次为上海;总体上看,中部地区(湖北、河南)以及华东地区(浙江、江苏、山东)旅游客流量大于除两广和北京、上海的其他省市.(4)漓江游客量呈现缓慢的增长趋势,波动较小,游客量增长率最高的省份为青海、内蒙古、贵州及海南;阳朔游客量波动比较剧烈,总体呈现平稳略微下降趋势,增长率最高的省份为青海.(5)两地旅游流和客源地距离存在显著负相关,旅游客流量随着距离增加而显著减少.漓江及阳朔旅游流与人均可支配收入之间没有显著的相关性,原因在于来桂林旅游平均消费在城镇居民可支配收入中占比较小.(6)不考虑节事活动引发的暂时性旅游流爆发,桂林漓江及阳朔旅游流变化与温度变化曲线基本吻合,符合旅游气候适宜度分析结果,随着温度增加旅游人数上升;而节事活动的引入可以明显提升客流量.

基于微博数据的“新冠肺炎”互联网舆情分析

新浪微博作为国内互联网最主要的舆情发酵源头和热点事件聚集地之一,是监测互联网舆情动态,洞察舆论观点不可或缺的重要平台。本研究聚焦新浪微博“新冠肺炎”热点事件,从科技话题、科研机构、科技人物、热点事件等不同维度进行数据挖掘,结果表明,一是政府、科研机构、科技工作者等各级社会组织和个人迅速参与“新冠肺炎”热点事件讨论,推动各级政府积极协调动员社会各方资源。二是社会公众高度信任政府、科研机构和领域专家等权威主体的舆论引导,其应激情绪也深受权威媒体言论影响。三是要进一步提升我国“应急科普”能力,创新科普宣传理念,树立科协品牌价值,引导舆论正向发展。

一种基于Scrapy-Redis的分布式微博数据采集方案

作为向网民展示世界和汇聚民意的重要渠道,微博正日益成为网络舆情的传播高地。如何对微博数据进行灵活高效地采集并存储,对后续的数据挖掘与分析工作起到重要作用。文中在分析新浪微博站点特征结构的基础上设计了一种局部最佳搜索策略,采用Python开源框架Scrapy搭配Redis数据库,设计实现了一套抓取速度快、定制性强、扩展性高的分布式爬虫系统,获取的数据具有良好的实时性和准确性,为后续工作提供了有力的数据支撑。

基于微博数据的酒店偷拍事件网络舆情关注特点研究——以“酒店称八成有针孔摄像头”事件为例

本文以酒店偷拍事件的网络舆情关注度为立足点,选取"酒店称八成有针孔摄像头"事件为研究案例,探究公众在网络上对其关注特点,对公众关注范围扩散、事件遗忘周期缩短、公众"理智"迅速回笼和中央级媒体参与度高的特殊现象进行详细分析,并从国家、媒体、酒店和个人4个方面提出相应建议。

基于Python的微博数据爬虫程序设计研究

大数据时代的到来使得数据处理需求快速增长,作为国内主流社交平台,新浪微博蕴藏着海量数据。笔者以新浪微博数据爬取为例,介绍了数据爬取技术的相关概念,阐述了新浪微博数据的爬取方式,并模拟登录新浪微博、验证码识别、网页解析、数据处理与保存、突破发爬虫机制等探讨了微博数据爬虫程序设计。

基于Python定向爬虫技术对微博数据可视化设计与实现

互联网自诞生以来,一直在推动信息技术以及相关产业的快速发展。据International Data Corporation(国际数据公司)发布的《数据时代2025》显示,从2018年起全球每年产生的数据增长到了175ZB,相当于每天产生491EB的数据。在这个信息爆炸的时代,大数据分析技术和人工智能随之产生,如何从复杂的数据信息库中获取我们所需要的信息,如何从这些信息中提炼出直观的数据模型和结论,该文采用Python语言以定向爬取微博为例重点阐释这两个问题。

微博数据挖掘中人工智能推理引擎的应用

伴随着网络在人们生活中的不断普及,微博开始在人们的日常生活中扮演着越来越重要的角色。伴随着微博使用量的不断增加就需要加强对微博用户的研究来更好的提升微博的用户体验,因此就需要加大人工智能推理技术在微博数据挖掘中的运用,通过人工智能推理引擎的运用来对数据进行挖掘从而给不同的微博用户提供精准的服务。本文主要讲述了人工智能和数据挖掘之间的关系和发展趋势,以及探索了微博数据中人工智能自动推理系统的设计。