基于微博文本和深度学习的台风灾情识别方法研究——以2010—2019年广东省过境台风为例

结合台风属性数据和多标签分类方法,以BERT-BiLSTM(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short-Term Memory)为分类模型,提出基于微博文本与深度学习的台风灾情识别方法,对2010—2019年登陆广东省的强台风/超强台风灾情进行识别,在粗分类获取台风灾情相关微博文本的基础上,进一步细分类为交通影响、社会影响、电力影响、林业影响和内涝积水等5类灾情。结果表明:1)提出的台风灾情识别方法粗分类和细分类精度分别达到0.907和0.814;2)强台风/超强台风的灾情占比受台风强度、路径和受灾地区发展水平等因素影响而存在差异;3)台风登陆前,灾情主要为台风预防措施导致的交通影响和社会影响。台风登陆后,灾情表现出单峰和双峰特征,反映台风灾情的变化趋势和特点。

基于深度学习的地震舆情信息提取及时空可视化

社交媒体平台作为网络舆情的重要载体,可为地震等重大灾害事件的应急管理提供及时有效的信息,但针对社交媒体数据中蕴含的细粒度主题信息提取并分析灾情的研究尚有欠缺。基于深度学习算法提取社交媒体数据中蕴含的细粒度地震主题信息,以2021年5月21日“大理漾濞6.4级地震”事件为例,构建一个主题信息提取流程框架,通过对模型进行优化训练,整体精度达到80%以上,将新获取的青海地震数据集输入模型进行验证,也达到预期效果,2次地震验证结果说明该模型在灾害主题信息提取中具有可行性。最后,结合关键词挖掘技术、情感分析和核密度估计等辅助舆情分析法将地震主题时空可视化,为灾情研判和应急管理工作提供新思路。

社交网络中灾害信息传播的“脱嵌”现象初探——以2021年南通风灾为例

近年来,极端天气事件愈发频繁,屡次成为社交媒体中的热点议题。本文尝试揭示极端天气发生时社交媒体灾害信息的传播特征,以及政府是否合理、高效地运用了社交媒体工具。本文从综合应急管理理论出发,以2021年南通风灾为案例,运用LDA主题模型对相关微博文本进行内容分析,分阶段总结关键主题,再结合社会网络方法,重点分析信息转发网络和共词网络。研究发现,社交媒体中的灾害治理多元主体信息传播行为一定程度上“脱嵌”于当前制度设计。在信息角色层面,政府应急管理部门没有主导信息传播;在内容层面,社交媒体中灾害信息主题多是被动的灾情描述,难以长期聚焦稳定的应急相关议题,信息的扩散难以体现应急管理实际需求,扩散过程具有分布式结构化特征。社交媒体中的灾难信息具有独特的传播逻辑。在应急管理实践中,政府部门应从四个方面提高信息传播能力。

中文微博用户性别分类方法研究

该文旨在研究中文微博用户的性别分类问题,即根据微博提供的中文文本信息对注册用户的性别进行识别。虽然基于微博的性别分类已经有一定研究,但是针对中文的性别分类工作还很缺乏。该文首先提出分别利用用户名和微博文本构建两个分类器对用户的性别类型进行判别,并对不同的特征(例如,字特征、词特征等)进行了研究分析;其次,在针对用户名和微博文本的两个分类器的基础上,使用贝叶斯融合方法进行分类器融合,从而达到采用这两种文本分类信息同时对用户性别进行性别判断。实验结果表明该文的方法可以达到较高的识别准确率,并且分类器融合的方法明显优于仅利用用户名或者微博文本的分类方法。

融合TCN与BiLSTM+Attention模型的疫情期间文本情感分析

鉴于目前主流的文本情感分析方法存在难以解决长期依赖和对上下文信息使用不足的缺陷,本文首次提出将时序卷积网络(TCN)和BiLSTM+Attention模型融合的文本情感分析模型。该模型利用TCN的因果卷积和扩张卷积结构获取更高层次的文本序列特征,并通过双向长短期记忆网络(BiLSTM)进一步学习上下文相关信息的情感特征;最后,引入自注意力机制(Self-Attention)帮助模型优化特征向量,提高情感分类的准确度。在新型冠状病毒疫情期间的微博文本数据集上进行对比实验,结果表明该模型的性能相较于其它模型有明显的提升。

基于用户意图的微博文本生成技术研究

微博是个人和组织用户分享或获取简短实时信息的重要社交平台,微博文本自动生成技术能帮助用户在微博平台上快速实现各种社交意图。为辅助用户发表博文并表达社交意图,提出一种基于用户意图的微博文本生成技术,以挖掘提取微博文本特征,并在给定微博主题的条件下生成与用户意图相一致的微博文本。采用预训练语言模型与微调相结合的方法,在预训练语言模型GPT2上实现联合主题和用户意图的文本控制生成,以及具备用户对话功能的文本预测生成。实验结果表明,该技术生成的文本具有较高的可读性且符合微博文本语言风格,结合主题和5类用户意图的生成样本人工评分达77分以上。

基于用户权威度与热度分配聚类的微博热点发现

针对微博热点算法未合理进行微博文本和微博用户相结合的问题,提出基于用户权威度与热度分配聚类的微博热点挖掘算法。对微博文本进行分词,得到特征词并使用改进TF-IDF为特征词分配权重,通过权重大小进行降序排序,对微博文本进行聚类分析得到主题类簇,使用ULRank算法计算用户权威度,综合特征词权重、用户权威度和引用关系为特征词分配热度,得到特征词的热度排序结果,获取特征词对应聚类类簇的大概主题即热点话题。实验结果表明,该方法的吞吐量、运行效率、准确率及F值表现较好,能够较全面地反映当前的热点话题。

面向新浪微博签到数据的时空热点事件检测方法

传统面向文本数据的事件检测方法在处理以微博为代表的社交媒体数据时面临着效率和准确性的挑战。同时,社交媒体数据中富含的位置信息常常不能被有效地识别和利用,这无疑会影响到事件检测的效果。本文基于对已有研究的总结归纳,定义了一类面向微博签到数据的时空热点事件,并提出了一种新的微博时空热点事件检测方法对其进行识别。通过两组实际数据的实验,证明该方法能够有效地从海量的微博数据中挖掘出具有时空特征的热点事件。

基于词嵌入的微博谣言主题分类研究

近年来,随着智能移动设备的普及,人们可以随时随地通过网络社交媒体获取与分享信息。然而,便捷的上网方式以及自由的网络空间,也为网络谣言的产生与传播提供了条件,广泛传播的谣言可能具有极大的破坏性。因此,及时识别谣言对于保障社会稳定具有重要意义。使用词嵌入对微博短文本进行向量化处理,然后使用朴素贝叶斯、K最近邻和支持向量机对文本向量进行主题分类,以期及时发现具有周期性出现特点的谣言。将该模型在中文谣言真实数据集上进行有效性验证,使用5 487条数据作为训练集,2 703条数据作为测试集进行分类实验。实验结果表明,K最近邻模型相比于朴素贝叶斯模型及支持向量机模型,在谣言主题分类任务中表现最佳,其F1值和分类准确率都达到0.93,表明基于词嵌入的谣言主题分类方法可及时发现周期性谣言。

基于信息内容和用户关系的用户兴趣分类

从微博的内容属性和社交网络的信息传播规律特征出发,将微博文本与用户关注关系结合作为用户兴趣分类的标准,从而使提取的用户兴趣的更加准确、有效。借助建立的用户兴趣分类模型解决用户兴趣分类问题,选取新浪微博作为研究对象,应用LDA算法进行主题提取,应用LibSVM算法进行分类。实验证明,该方法分类时增加了对用户信息的全面性应用,而且与其他方法相比有更高的分类准确率。

基于文本语义和表情倾向的微博情感分析方法

针对基于机器学习的中文微博情感分析方法存在处理过程复杂、判断准确率低等问题,该文提出了一种新的情感分析方法。将微博爬虫和Web应用程序编程接口(API)相结合,对动态微博数据进行收集和预处理。基于NTUSD和How Net中文情感词典的微博情感词的抽取和分类,计算词语语义相似度和倾向性。综合考虑表情、文本情感倾向的加权和正面情感增强等因素。实验结果表明:表情情感倾向对微博情感倾向起着重要作用;在表情和文本情感倾向比值固定的情况下,调整因素和中性区间的选择会对情感倾向判断准确率产生影响;通过与基于How Net语义相似度的计算模型比较,该文方法使得情感倾向判断准确率提高约5%。

基于微博用户兴趣话题的相似用户挖掘

相似用户挖掘是提高社交网络服务质量的重要途径,在面向大数据的社交网络时代,准确的相似用户挖掘对于用户和互联网企业等都有重要的意义,而根据用户自己的兴趣话题挖掘的相似用户更符合相似用户的要求。提出了一种基于用户兴趣话题进行相似用户挖掘的方法。该方法首先使用TextRank话题提取方法对用户进行兴趣话题提取,再对用户发表内容进行训练,计算出所有词之间的相似度。提出CP(Corresponding Position similarity)、CPW(Corresponding Position Weighted similarity)、AP(All Position similarity)、APW(All Position Weighted similarity)四种用户兴趣话题词相似度计算方法,通过用户和相似用户间关注、粉丝重合率验证相似用户挖掘效果,APW similarity的相似用户的关注/粉丝重合百分比为1.687%,优于提出的其他三种算法,分别提高了26.3%、2.8%、12.4%,并且比传统的文本相似度方法 Jaccard相似度、编辑距离算法、余弦相似度分别提高了20.4%、21.2%、45.0%。因此APW方法可以更加有效地挖掘出用户的相似用户。

基于多粒度文本特征表示的微博用户兴趣识别

微博用户兴趣发现对社交网络的个性化推荐和信息传播的正确引导具有重要意义,因此提出了一种基于多粒度文本特征表示的微博用户兴趣识别方法。首先,从主题层、词序层和词汇层3个方面对微博用户构造文本向量,利用LDA提取内容的主题特征,通过LSTM学习内容的语义特征,引入腾讯AI Lab开源词向量获取词义特征;然后,将以上3种特征向量拼接得到的多粒度文本特征表示矩阵输入CNN中,进行文本分类训练;最后,通过多端输出层实现对微博用户的兴趣识别。实验结果表明,多粒度特征表示模型的分类实验结果比单粒度特征表示模型的精准率、召回率和F1值分别提高了8%,12%和13%。基于对文本粗、细语义粒度和词粒度的综合考量,结合神经网络分类算法,多粒度特征表示模型的评价指标均优于单粒度特征表示模型。

网络多媒体数据中舆情关联主题的挖掘方法

如何高效地从图像、视频等多媒体数据中挖掘网络舆情事件的关联主题给网络舆情的有效监管带来了重大挑战.研究图像和视频截图等多媒体数据中文本信息的抽取方法,并在此基础上实现舆情关联主题的检测.选择新浪微博中的3个典型舆情事件为研究对象,设计网络爬虫收集事件中的文本、图像和视频多模态数据;采用连接文本提议网络(connectionist text proposal network,CTPN)的文字检测算法实现文本信息定位,利用DenseNet网络和连接时序分类(connectionist temporal classification,CTC)相结合的方法进行文本提取;提出多粒度潜在狄利克雷分布(multi granularity-latent Dirichlet allocation,MG-LDA)和jieba分词相结合的舆情关联主题提取方法.实验结果表明,所提出的方法可准确提取多媒体数据中不同格式、不同分辨率、不同颜色、不定位置和不同角度的文本信息,为精确把握舆情演化态势提供有力的数据支撑.

基于深度学习的多维特征微博情感分析

提出1种基于卷积神经网络的多维特征微博情感分析新机制;利用词向量计算文本的语义特征,结合基于表情字符的情感特征,利用卷积神经网络挖掘特征集合与情感标签间的深层次关联,训练情感分类器;结合微博文本的语义和情感特征,同时利用卷积神经网络的抽象特征提取能力,进而改善情感分析性能。研究结果表明:引入表情字符的情感特征模型可使情感分析准确率提高2.62%;相比基于词典的机器学习模型,新机制将情感分析准确率与F度量分别提升21.29%和19.20%。

基于文本挖掘的微博舆情主题图谱可视化研究

[目的/意义]从海量微博舆情用户评论文本中快速挖掘用户关注内容,能够帮助舆情管控主体更高效得对微博舆情演进和发展态势进行管理。[方法/过程]本文以新浪微博为例,基于主题图谱理论和文本挖掘方法构建微博舆情用户评论主题图谱,使用CiteSpace进行可视化分析,通过应用不同文本相似度算法、网络优化算法和文本聚类算法构建二维主题图谱并分析图谱的结构特征。[结果/结论]构建的微博舆情主题图谱能够帮助舆情管理者快速准确识别用户关注内容,同时对社交媒体上用户发布文本管理,预测舆情演化趋势,防止不良舆情滋生和扩散都具有重要作用。

基于支持向量机的微博情感分析方法研究

微博是当前国内最流行的社交平台之一,微博文本的情感分析有助于进一步分析实现其媒体价值,然而,微博数据庞大且冗余性高,使得文本特征具有较高的稀疏性和局限性,在小样本数据分析上情感判断结果并不理想。因此,提出一种基于支持向量机分类模型的微博数据情感分析方法,首先通过weibo Spider爬取微博数据,进行人工标注构建微博文本数据集,然后联合优化TF-IDF算法和传统词袋,提出一种基于关键词的词袋模型,获取文本特征矩阵以解决微博文本高稀疏、高冗余的问题,最后构建高斯核的支持向量机分类器实现对微博数据的情感分析。实验结果显示,对比朴素贝叶斯、决策树等方法,提出的方法可获得较高的准确率,且在小样本数据上有明显优势。

基于变分自编码的半监督微博文本情感分析

针对微博文本情感分析中大量有标记数据难获取,以及文本特征学习不完全的问题,提出将长短时记忆网络(Long Short-Term Memory,LSTM)及其衍生模型双向长短时记忆网络(Bi-LSTM)引入变分自编码生成模型,构建基于变分自编码的半监督文本分类模型。其中LSTM作为变分编码器中的编码器和解码器,Bi-LSTM作为分类器。分类器既为编码器提供标签信息共同生成隐变量,也与隐变量通过解码器共同重构数据,利用无标记数据的有用信息提高分类器的性能。与其他方法在同一公开数据集上对比的实验结果表明,该模型的分类效果更好。

基于卷积神经网络的多维特征微博文本情感分析

以word2vec工具进行词向量运算,根据短文本语义特征,采用卷积神经网络模型提取出深度抽象特征,再对分类器进行训练来实现情感分类的目的。分析基于卷积神经网络的多维特征微博文本情感,通过F值和准确率来衡量实际分类效果,分析结果表明:相对于机器学习模型,该微博情感分析模式使情感分析和F值准确率依次增大了0.1060与0.1320。采用卷积神经网络和多维度文本特征分析方法可以有效提升微博情感分析的效果。

敬畏感的情绪成分分析:基于社交网络的文本挖掘

敬畏感是一种复杂的情感体验,它既包含正性的情绪,也包含负性的情绪。对于不同情绪成分所占的比重,目前还存在一定的争议。基于文本挖掘技术,本研究对Twitter和新浪微博上以敬畏感为关键词的文本内容进行情感/情绪分析。结果发现,敬畏体验中,快乐、期待、信任、惊奇所占的比例较大,而恐惧、悲伤、愤怒、厌恶所占的比例较小。研究结果在一定程度上支持了敬畏感以积极情绪为主,为理解敬畏感的情绪成分以及敬畏感的诱发提供了一定的证据。