半监督SBERT-SP微博热点话题检测方法

在话题检测任务中,面对微博这类短文本时,针对SBERT模型的特征提取能力的局限性,以及在聚类阶段,单遍聚类算法存在的小簇问题和效率问题,对两者改进,提出一种基于半监督SBERT与SinglePass(semi-supervised SBERT with SinglePass clustering,Semi-SBERT-SP)的微博热点话题检测方法,将SBERT模型结合半监督训练,提高其短文本特征提取能力。在聚类阶段过程中引入时间窗口和降维,提高算法效率,增加一个合并层,处理算法产生的小簇。在话题表示层,提出一种融入词热度的词贡献指标,用于提取话题簇中的关键词。实验结果表明,该方法在准确率、F1、互信息3个指标上均优于对比模型或方法,能够有效检测出微博中包含的热点话题。

基于Transformer的微博文本情感分析方法

论文利用Transformer模型中的自注意力机制,模拟人脑神经系统对微博文本进行特征提取,利用TextCNN层将经过Transformer的词向量进行卷积,得到相邻词向量之间的时序信息,经过Tanh激活函数对模型进行优化,最后将卷积层得到的时序注意力权重应用于文本分类。实验结果证明,论文提出的模型在NLP&CC2013数据集上的准确率相对于Transformer模型有了0.38%的提高,并且在精确率、召回率和F1值上也有一定程度的提升。

基于SnowNLP的微博网络舆情分析系统

随着微博、抖音、贴吧等新兴网络社交媒体的发展,大量用户开始喜欢使用这些平台进行发布和获取信息,因此累积了大量舆情数据。为了能够及时监测网络舆论动向,更好地维护互联网的安全运营和网络安全,针对实时微博数据,研究设计了一种基于SnowNLP的微博网络舆情分析系统。该系统由舆情数据采集、舆情数据分析和舆情数据可视化组成,能够实现微博数据文本挖掘、网络舆情数据情感分析、舆情数据与关键词匹配结果统计等功能,并能够对微博内容情感分析结果、用户等级、内容分词结果等进行可视化展示。实验测试结果表明:该系统功能运行正常,同时验证了设计方案的可行性和有效性。系统在网络舆情监测领域具有重要的应用价值。

基于动态主题模型融合多维数据的微博社区发现算法

随着微博用户的不断增加,微博网络已成为用户进行信息交流的平台.针对由于博文长度受限,传统的社区发现算法无法有效解决微博网络的稀疏性等问题,提出了DC-DTM(discovery community by dynamic topic model)算法.DC-DTM算法首先将微博网络映射为有向加权网络,网络中边的方向反映节点之间的关注关系,利用所提出的DTM(dynamic topic model)计算出节点之间的语义相似度,并将其作为节点间连边的权重.DTM是一种微博主题模型.该模型不仅能够挖掘博客的主题分布,而且能够计算出某一主题中用户的影响力大小.其次,利用所提出的复杂度较低的标签传播算法WLPA(weighted lebel propagation)进行微博网络的社区发现.该算法的初始化阶段将影响力大的用户节点作为初始节点,标签按照节点的影响力从大到小进行传播,避免了传统标签传播算法逆流现象的发生,提高了标签传播算法的稳定性.真实数据上的实验结果表明,DTM模型能够很好地对微博进行主题挖掘,DC-DTM算法能够有效地挖掘出微博网络的社区.

一种基于朴素贝叶斯的微博情感分类

本文基于二次情感特征提取算法,利用句法依存关系进行一次文本情感特征提取,在此基础上,利用情感词典,进行二次情感特征提取。构建朴素贝叶斯分类器,对采集的热门话题微博和酒店评论进行文本情感倾向性分类。主要比较了表情符号、标点符号,基于情感词典的特征提取和基于二次情感特征提取方法,在不同的组合下的分类性能,寻找更佳的微博文本情感分类预处理方法。并与酒店评论情感分类结果对比、分析,发现影响微博情感分类性能的原因。实验结果表明,二次特征提取方法在分类上取得更高的F1。实验最佳的分类预处理方式是"表情符号+标点符号+二次情感特征提取+BOOL值"。同时发现,朴素贝叶斯在酒店评论情感分类取得更高的分类性能,主要是微博评价对象多样化造成的。

一种面向微博客文本流的噪音判别与内容相似性双重检测的过滤方法

微博客作为一种新的用户信息传播载体,在网络舆情发起和传播中起着重要作用。由于用户有意(上传广告)、无意(转发)操作所带来的大量噪音微博和相似微博,对网络舆情分析和用户浏览造成极为不利的影响。检测这些噪音微博和相似微博,对微博数据进行提纯,成为一个亟待解决的问题。基于统计数据分析了噪音微博和相似微博的特点,提出一种面向微博文本流的噪音判别和内容相似性双重检测的过滤方法:通过URL链接、字符率、高频词等特征判别,过滤噪音微博;通过分段过滤和索引过滤的双重内容过滤,检测和剔除相似微博。实验表明该方法能有效地对微博数据进行提纯,高效准确地过滤掉相似微博和噪音微博。

基于线索树双层聚类的微博话题检测

微博作为一种全新的信息发布模式,在极大程度上增强了网络信息的开放性和互动性,但同时也造成微博空间内信息量的裂变式增长。利用话题检测技术将微博文本信息按照话题进行归类和组织,可以帮助用户在动态变化的信息环境下高效获取个性信息或热点话题。该文针对微博文本短、半结构、上下文信息丰富等特点,提出了基于线索树的双层聚类的话题检测方法,通过利用融合了时序特征和作者信息的话题模型(Temporal-Author-Topic,TAT)进行线索树内的局部聚类,借以实现垃圾微博的过滤,最后利用整合后的线索树进行全局话题检测。实验结果显示该方法在解决数据稀疏方面取得了较好的效果,话题检测的F值达到31.2%。

基于LDA模型的中文微博话题意见领袖挖掘

有效挖掘微博空间中的话题意见领袖成为亟待解决的热点问题.针对这一问题,提出了基于LDA语义信息和HowNet知识库的短文本子话题分类算法.对分类后的微博从显式、隐式及用户等方面综合衡量微博的影响力,并根据层次分析法对多个因素进行科学地权值分配.实验结果表明,提出的方法较基于支持向量机的方法具有更好的效果,同时提出的影响力度量模型可以有效地挖掘出微博中的话题意见领袖.

基于类序列规则的中文微博情感分类

研究中文微博文本的情感分类问题,介绍一种基于类序列规则的微博情感分类方法。通过情感词典和机器学习的方法获得微博文本中每个句子的2个潜在的情感标签,将每条微博文本看作是一个数据序列,从数据集中挖掘出类序列规则,从挖掘出的规则中提取出的有效特征并结合文本其他特征来训练分类器。在COAE会议提供的微博数据集上的实验结果表明该方法的有效性。

基于多特征融合的微博主题情感挖掘

微博情感分析是社会媒体挖掘中的重要任务之一,在恐怖组织识别、个性化推荐、舆情分析等方面具有重要的理论和应用价值.但与传统文本数据不同,微博消息短小而凌乱,包含着大量诸如微博表情符号之类的特有信息,同时微博情感是与其讨论主题是密切相关的.多数现有的微博情感分析方法都没有将微博主题与微博情感进行协同分析,或者在微博主题情感分析过程中没有考虑将用户关系、用户性格情绪等特征数据,从而导致微博情感分析与主题检测的效果难尽人意.为此,提出了一个基于多特征融合的微博主题情感挖掘模型TSMMF(Topic Sentiment Model based on Multi-feature Fusion),该模型将情感表情符号与微博用户性格情绪特征纳入到图模型LDA中实现微博主题与情感的同步推导.实验结果表明,与当前用于短文本情感主题挖掘的最优模型(JST,SLDA与DPLDA)相比较,TSMMF具有更优的微博主题情感检测性能.

一种面向微博主题挖掘的改进LDA模型

随着新浪微博用户的不断增长,微博网站成为很多人获取信息的平台.但是微博是一种特殊的文本,其字数受到严格限制,传统的主题模型并不能很好地分析微博的内容.本文提出了一个基于LDA的微博生成模型RT-LDA来解决微博字数受限的问题.模型采用吉布斯抽样法来推导,不仅能准确地挖掘每条微博的主题,还能归纳出用户关注的主题分布情况.在真实数据集上的实验表明,RT-LDA模型能很好地对微博进行主题挖掘.

微博数据挖掘研究综述

随着近几年微博的快速发展与普及,微博凭借平台的开放性、终端扩展性、内容简洁性和低门槛等特性,在网民中快速渗透,已发展成一个重要的社会化媒体,微博成为网民获取新闻时事、人际交往、自我表达、社会分享以及社会参与的重要媒介以及社会公共舆论的重要平台,对国家安全和社会发展产生了深远的影响.微博是人类在虚拟网络世界生活的抽象概括和延伸,与一般信息网络不同,微博本身具有大规模、噪音数据多样性、快速传播演化性、非线性、社会媒体性以及多关系等特征,因此其在分析方法和挖掘目标上都与传统信息系统具有很大差别,在相关技术的研究上也带来了更大的挑战.针对微博的新特性,研究了微博近几年的相关研究现状,同时分析了Twitter数据集特征,且总结了未来研究面临的挑战.

基于潜在语义与图结构的微博语义检索

微博文本短小、特征稀疏、与用户查询之间存在语义鸿沟的特点会降低语义检索效率。针对该问题,结合文本特征和知识库语义,构建基于潜在语义与图结构的语义检索模型。通过Tversky算法计算基于Hashtag的特征相关度;利用隐含狄利克雷分布算法对Wikipedia语料库训练主题模型,基于JSD距离计算映射到该模型的文本主题相关度;抽取DBpedia中实体及其网络关系连接图,使用SimRank算法计算图中实体间的相关度。综合以上3个结果得到最终相关度。通过短文本和长文本检索对Twitter子集进行实验,结果表明,与基于开放关联数据和图论的方法相比,该模型在评估指标MAP,P@30,R-Prec上分别提高了2.98%,6.40%,5.16%,具有较好的检索性能。

基于微博文本数据分析的社会群体情感可视计算方法研究

针对已有的情感分析研究多侧重在情感的倾向性方面,缺乏对各类情感的详细描述,不能形象直观地反映社会群体的情感变化的问题,提出一种基于依存句法和人工标注相结合的情感分析方法。该方法采用三维立体的人脸表情进行情感分析,形象地呈现社会群体的情感变化。对于不同的社会事件,以可视化方式来展现不同地区微博群体的情感。实验结果表明,该模型可以有效地描述人群情感,研究结果为基于大数据的网络舆情分析提供了一种新思路。

面向微博文本流的负面情感突发话题检测

如何从海量、嘈杂的微博文本流中及时发现负面情感突发话题对于突发事件的应急响应和处置至关重要,而传统的突发话题检测方法往往忽略了负面情感突发话题与非负面情感突发话题之间的区别,为此提出了一种面向微博文本流的负面情感突发话题检测(NE-BTD)算法。首先,将微博中的主题词对的加速度和负面情感强度变化率作为负面情感突发话题的判定依据;然后,利用突发词对的速度确定负面情感突发话题的窗口范围;最后,使用一种基于吉布斯采样的狄利克雷多项式混合模型(GSDMM)聚类算法得到窗口中负面情感突发话题的主题结构。在实验中将所提出的NE-BTD算法与已有的一种基于情感方法的话题检测(EBM-TD)算法进行对比,结果表明所提出的NE-BTD算法相较EBM-TD算法准确率和召回率至少提高了20%,并且可以至少提前40 min检出负面情感突发话题。

基于模式匹配的交通微博文本位置信息提取模型

及时有效地从快速更新的交通微博文本中提取位置信息是实现智能交通服务的前提之一。该文分析交通事件文本中常用的位置表达模式,结合有限状态机进行位置模式匹配,提出一种微博文本位置信息提取模型。首先根据微博文本位置信息的句法表达特征,基于线性参照方法提取空间特征词的词性与角色属性,构建位置表达模式,并表达为Trie搜索树结构;其次对微博文本进行分词、词性标注等预处理,利用有限状态机建立位置信息提取模型,实现微博文本位置信息提取;最后以南昌、广州、深圳3个城市9799条路况微博文本为实验数据,验证该模型的有效性。结果表明,该模型的准确率和召回率均达85%以上,可有效提取交通微博文本中的位置信息。

基于特定领域的中文微博热点话题挖掘系统BTopicMiner

随着微博应用的迅猛发展,自动地从海量微博信息中提取出用户感兴趣的热点话题成为一个具有挑战性的研究课题。为此研究并提出了基于扩展的话题模型的中文微博热点话题抽取算法。为了解决微博信息固有的数据稀疏性问题,算法首先利用文本聚类方法将内容相关的微博消息合成为微博文档;基于微博之间的跟帖关系蕴含着话题的关联性的假设,算法对传统潜在狄利克雷分配(LDA)话题模型进行扩展以建模微博之间的跟帖关系;最后利用互信息(MI)计算被抽取出的话题的话题词汇用于热点话题推荐。为了验证扩展的话题抽取模型的有效性,实现了一个基于特定领域的中文微博热点话题挖掘的原型系统——BTopicMiner。实验结果表明:基于微博跟帖关系的扩展话题模型可以更准确地自动提取微博中的热点话题,同时利用MI度量自动计算得到的话题词汇和人工挑选的热点词汇之间的语义相似度达到75%以上。

MB-SinglePass:基于组合相似度的微博话题检测

话题检测技术在传统媒体的研究中取得了较好的效果。探讨了针对微博类的新型媒体短文本对象话题检测技术的优化及性能评价。基于微博中联系人存在的关注和粉丝等结构化信息、帖子之间转发评论等内在关联关系,提出了针对微博的MB-SinglePass话题检测算法。该算法除了考虑微博上述特点之外,还针对短文本特征稀疏的问题,利用同义词典,引入了微博特征扩展技术,丰富了特征信息。同时,针对单一使用余弦相似度、雅各比相似度和语义相似度的不足,采用了组合相似度策略。相较传统算法,MB-SinglePass算法在新浪微博实测数据集上取得了更好的性能。另外,针对相似度策略的对照实验说明采用组合相似度的效果优于单一相似度。

基于微博文本的灾害事件信息时空过程聚合方法

各类灾害事件频发已成为全球可持续发展面临的重大威胁。在大数据环境下,微博文本逐渐被应用于灾害管理的预防、准备、响应和恢复工作。以往研究多关注微博文本中灾情信息的获取,却忽略对这些碎片化信息进行有序化整合。本文从时空视角构建多层次的灾害事件信息模型,在抽取出微博文本中灾害事件信息要素的基础上,提出基于“对象-状态”的过程信息聚合方法,解决微博文本中灾害事件信息分散化、时空粒度多样化和无序化的问题。基于新浪微博进行台风“利奇马”事件的案例分析,结果表明,本文方法能够全面地获取灾害事件过程中各个时空节点上的灾情信息,有利于从微博文本中挖掘小尺度下的灾害突发状况。

微博产品评论挖掘模型研究

微博平台上的产品评论是用户表达其产品需求和情感倾向的重要渠道。结合微博的社会性特点构建了一个微博产品评论挖掘模型,该模型在对产品评论进行情感极性分析的基础上,把不同极性的评论进行分类研究,通过统计分析的方法,挖掘用户关注的产品特征优缺点,并将对应观点的用户感知程度进行可视化;再根据微博产品评论的特点,通过共词网络分析方法实现了对产品竞争对象的识别与分析。最后,通过实证分析,验证了该模型的可行性。