基于特定领域的中文微博热点话题挖掘系统BTopicMiner

随着微博应用的迅猛发展,自动地从海量微博信息中提取出用户感兴趣的热点话题成为一个具有挑战性的研究课题。为此研究并提出了基于扩展的话题模型的中文微博热点话题抽取算法。为了解决微博信息固有的数据稀疏性问题,算法首先利用文本聚类方法将内容相关的微博消息合成为微博文档;基于微博之间的跟帖关系蕴含着话题的关联性的假设,算法对传统潜在狄利克雷分配(LDA)话题模型进行扩展以建模微博之间的跟帖关系;最后利用互信息(MI)计算被抽取出的话题的话题词汇用于热点话题推荐。为了验证扩展的话题抽取模型的有效性,实现了一个基于特定领域的中文微博热点话题挖掘的原型系统——BTopicMiner。实验结果表明:基于微博跟帖关系的扩展话题模型可以更准确地自动提取微博中的热点话题,同时利用MI度量自动计算得到的话题词汇和人工挑选的热点词汇之间的语义相似度达到75%以上。

半监督SBERT-SP微博热点话题检测方法

在话题检测任务中,面对微博这类短文本时,针对SBERT模型的特征提取能力的局限性,以及在聚类阶段,单遍聚类算法存在的小簇问题和效率问题,对两者改进,提出一种基于半监督SBERT与SinglePass(semi-supervised SBERT with SinglePass clustering,Semi-SBERT-SP)的微博热点话题检测方法,将SBERT模型结合半监督训练,提高其短文本特征提取能力。在聚类阶段过程中引入时间窗口和降维,提高算法效率,增加一个合并层,处理算法产生的小簇。在话题表示层,提出一种融入词热度的词贡献指标,用于提取话题簇中的关键词。实验结果表明,该方法在准确率、F1、互信息3个指标上均优于对比模型或方法,能够有效检测出微博中包含的热点话题。

微博用户和热点话题间的社交吸引法则研究

[研究目的]探究微博用户和热点话题间社交吸引力的内在作用机制有助于深入理解社交吸引力的决定因素和热门话题的流行成因。[研究方法]以2022年微博平台的7类14个热点话题为研究对象,从用户行为视角构造用户与热点话题之间的吸引力测算公式,从话题、用户、距离、环境属性出发,确定影响社交吸引力的23个指标。采用4种机器学习模型构建吸引力的影响因素模型,利用SHAP模型对结果最好的模型XGBoost进行解释,分析各项特征的贡献大小和相互影响关系。[研究结论]研究发现,用户属性的重要性非常明显,环境属性对社交吸引力基本没有显著贡献。在实践中,必要的高影响媒体转发造势、更多的话题上榜时间和更具有情感倾向的话题名称能带来更大的社交吸引力,帮助塑造与推进有益的热点话题,也为政府引导网络空间话题的健康发展提供决策参考。

基于政务微博的自然灾害知识图谱构建——以森林火灾为例

[目的/意义]利用政务微博信息构建自然灾害知识图谱,旨在为相关部门加强自然灾害事件的管理提供知识层面的参考价值。[方法/过程]以森林火灾事件为例,选取政务微博信息资源,首先使用LDA主题模型划分微博资源主题;其次构建自然灾害知识图谱的模式层和数据层,包括本体构建、实体抽取、关系抽取和数据融合等环节;最后使用Neo4j图数据库实现自然灾害知识图谱的存储与检索,实现自然灾害信息的组织与可视化。[结果/结论]构建了基于主题划分的自然灾害知识图谱,实现了自然灾害信息的主题知识关联与规范化处理,对提升政府部门防范与管理自然灾害的科学决策水平具有积极作用。

基于MB-LDA模型的微博主题挖掘

随着微博的日趋流行,Twitter等微博网站已成为海量信息的发布体,对微博的研究也需要从单一的用户关系分析向微博本身内容的挖掘进行转变.在数据挖掘领域,尽管传统文本的主题挖掘已经得到了广泛的研究,但对于微博这种特殊的文本,因其本身带有一些结构化的社会网络方面的信息,传统的文本挖掘算法不能很好地对它进行建模.提出了一个基于LDA的微博生成模型MB-LDA,综合考虑了微博的联系人关联关系和文本关联关系,来辅助进行微博的主题挖掘.采用吉布斯抽样法对模型进行推导,不仅能挖掘出微博的主题,还能挖掘出联系人关注的主题.此外,模型还能推广到许多带有社交网络性质的文本中.在真实数据集上的实验表明,MB-LDA模型能有效地对微博进行主题挖掘.

基于个人属性特征的微博用户影响力分析

为提高微博话题中关键人识别的准确性,提出了一种基于个人属性特征的用户影响力分析方法———PBF方法。该方法利用信息传播特征对用户影响力进行度量,结合个人属性特征对其进行回归分析,找出最能反映用户影响力的属性特征,进而利用这些特征对用户影响力进行预测。实验结果表明,PBF方法的识别效率要明显高于RNF方法,有效提高了关键人识别的准确性。

MB-SinglePass:基于组合相似度的微博话题检测

话题检测技术在传统媒体的研究中取得了较好的效果。探讨了针对微博类的新型媒体短文本对象话题检测技术的优化及性能评价。基于微博中联系人存在的关注和粉丝等结构化信息、帖子之间转发评论等内在关联关系,提出了针对微博的MB-SinglePass话题检测算法。该算法除了考虑微博上述特点之外,还针对短文本特征稀疏的问题,利用同义词典,引入了微博特征扩展技术,丰富了特征信息。同时,针对单一使用余弦相似度、雅各比相似度和语义相似度的不足,采用了组合相似度策略。相较传统算法,MB-SinglePass算法在新浪微博实测数据集上取得了更好的性能。另外,针对相似度策略的对照实验说明采用组合相似度的效果优于单一相似度。

基于隐主题分析的中文微博话题发现

针对高维、稀疏的中文微博数据,提出一种多步骤的新闻话题发现方法。首先结合微博的传播特点,选取出不同时间窗口中具有较高新闻价值的微博文本;再利用隐主题模型挖掘微博内容中隐含的主题信息,并在此基础上进行文本聚类;最后使用频繁项集挖掘技术获取话题关键词集合。该算法能够较好地实现对中文微博数据的降维与话题发现。真实的微博数据集实验结果验证了该方法的有效性。

孤立点预处理和Single-Pass聚类结合的微博话题检测方法

针对如何快速发现微博中的热点话题,提出了一种具有更高准确率的中文微博话题检测方案。首先,优化了微博文本的特征选择,经过分析获得的这些博文特征有助于不同词性对话题表达的重要性;其次,在此基础上,提出了通过计算博文阈值的方法,将零散主题的博文作为噪声过滤,并用来降低博文集的维度;在现有Single-Pass聚类算法的基础上,引入了主题词的概念,根据中心向量的特征权重选择主题词,最终形成一种孤立点预处理与Single-Pass相结合的微博话题检测方法。实验结果表明,相比传统的Single-Pass算法,该方法有效去除了数据集的大部分孤立点,不仅具有较低的漏检率和误检率,而且在时间损耗方面表现更佳。

基于热度矩阵的微博热点话题发现

现有微博热点话题发现模型对微博数量规模较敏感,发现速度较慢。为此,提出一种基于热度矩阵的主题模型。通过热度矩阵获取各潜在主题的热度和主题-词概率分布,并以词间的共有热度来挖掘其语义关系,进而准确识别数据中的热点话题及热点词汇。在真实微博数据上的实验结果表明,与潜在狄利克雷分布模型相比,该模型的效率和准确率较高,发现的热点话题与实时事件保持一致,具有较好的热点识别效果。

一种基于情感的中文微博话题检测方法

针对微博这种特殊的文本形式的话题检测,传统的算法并不能取得很好的效果.为了提高其查全率,根据微博这种带有结构化特点的信息,提出了一种带有情感内容加权的话题检测方法.该方法基于含有负面情感的词语往往携带了更多的信息量这一论点,在现有短文本话题检测的算法中,通过加大含有负面情感的短文本在话题检测中的权重,之后再根据一种基于自查询的聚类方法进行话题聚类,将情感倾向融合到短文本话题检测中.在真实数据集上的实验表明,此方法能有效地进行话题聚类并检测话题,并提高了查全率.

基于知识图谱的微博主题演变路径研究

为了更好地对微博舆情传播进行实时监管,维护微博舆情的良性运转,打造晴朗的微博舆情网络空间,文章结合微博运行机制,通过爬取微博数据,应用知识图谱的理论与方法,构建微博主题识别知识图谱以及微博主题演变知识图谱,进而发现微博主题演变路径,揭示了微博舆情传播中的主题演变情况以及发生演变的动态变化过程。

面向时间序列的微博话题演化模型研究

话题演化研究有助于追踪用户的喜好和话题的发展趋势,对于舆情预警具有重要意义。目前,话题演化方法注重运用话题生成模型实现话题演化分析,忽略了话题中时间因素和背景词的存在。以传统话题生成模型LDA为基础,将其扩展为微博话题生成模型MTLDA。MTLDA模型增加了对背景词的考虑,提高了话题生成的效率,同时对微博话题集进行时间片划分,利用KL距离计算相邻时间片话题距离,分析话题演化情况。以新浪微博数据为例进行实验,结果表明,MTLDA模型通过时间片划分完成了微博话题的生成,话题演化结果与实际情况吻合。

基于线索树双层聚类的微博话题检测

微博作为一种全新的信息发布模式,在极大程度上增强了网络信息的开放性和互动性,但同时也造成微博空间内信息量的裂变式增长。利用话题检测技术将微博文本信息按照话题进行归类和组织,可以帮助用户在动态变化的信息环境下高效获取个性信息或热点话题。该文针对微博文本短、半结构、上下文信息丰富等特点,提出了基于线索树的双层聚类的话题检测方法,通过利用融合了时序特征和作者信息的话题模型(Temporal-Author-Topic,TAT)进行线索树内的局部聚类,借以实现垃圾微博的过滤,最后利用整合后的线索树进行全局话题检测。实验结果显示该方法在解决数据稀疏方面取得了较好的效果,话题检测的F值达到31.2%。

基于话题的微博传播模式与特性研究

针对突发事件类、文体类和生活类话题的微博,研究了他们的传播模式与特性。通过Web挖掘从网络上收集"海葵"、"奥运会"和"开学"这3个话题的微博传播广度和深度数据,分析发现不同话题微博在传播中存在相似性和差异性。各类话题的微博在传播广度和深度上都满足金字塔规律和"二八法则",即传播广度或深度小的总是占据绝大部分,而广度或深度大的只是极个别的微博。就广度而言,突发事件类微博广度高于文体类话题微博,文体类话题微博又高于生活类话题微博;就深度而言,文体类话题微博深度高于突发事件类话题微博,突发事件话题又高于生活类话题。此外,"海葵"和"奥运会"微博的广度和深度均表现出弱相关性,"开学"微博的广度与深度则未表现出相关关系。

利用组合模型生成微博热点话题事件摘要

针对微博热点话题检测使用主题模型只能提取出无序话题词组合的问题,提出一种结合词激活力模型与主题模型各自优点的微博热点话题检测方法及话题关键词的计算方法。使用传统的主题模型提取出微博文本中的热点主题,根据各主题下文档的概率分布提取出新的话题文档,引入词激活力模型计算各个词之间的词激活力,生成词激活力矩阵,最后利用词激活力矩阵生成有序的词序列作为热点事件摘要。实验验证了该方法的可行性,表明所提出的方法能够很好地识别出热点词并生成可读性高的事件摘要。

基于有意义串聚类的微博热点话题发现方法

针对微博数据特征稀疏、内容碎片化的特点,提出一种基于有意义串聚类的热点话题发现方法。结合重复串计算、上下文邻接分析和语言规则过滤多种策略,提取能够表达独立完整语义的有意义串,并将微博数据建模在相对较小的有意义串空间,通过聚类产生候选话题,根据热度排序发现热点话题。微博数据实验结果表明,该方法在一定程度上实现对微博高维稀疏空间的降维,对于微博空间的热点话题发现有效可行。

融合句义结构模型的微博话题摘要算法

为了更快地从海量微博中获取话题的核心内容,提出融合句义结构模型的微博话题摘要方法.该方法利用句义结构模型抽取句子的语义格得到句子的语义特征,并基于LDA主题模型使用句义结构计算句子两两之间的语义相似度构建相似度矩阵,划分子主题类,得到句子的关联特征.融合句子的语义特征和关联特征,选取子主题内信息量最大的句子作为摘要结果.当压缩比为0.5%、1.0%和1.5%时,ROUGE值均明显优于对比系统.当压缩比为1.5%时,ROUGE-1值达到51.30%,ROUGE-SU*达到25.27%.实验结果表明:融合句义结构模型的分析方法能够深化句子的语义分析层次,提取的句义特征增强了语义信息的表达能力.综合考虑句子语义特征和关联特征的句子权重计算方法能够丰富句子的特征表示,减少语义信息丢失,使同类数据的语义相关性增强,有效降低了噪声的影响,从而提升摘要与话题的相关度.此外,所提出的方法处理不同话题的泛化能力较好,适用范围较广.

基于话题聚类及情感强度的中文微博舆情分析

文章通过话题聚类及情感强度分析中文微博舆情,实现对微博热点问题的预测,有利于公众舆情引导。首先充分考虑微博短文本的特点,在特征值提取基础上克服了微博短文本易发生"文本漂移"的缺点,并根据微博高频词对微博进行排序实现微博的快速聚类,接着从主观和客观两方面对热点话题的情感强度进行了分析,基于灰色模型跟踪并预测公众情感变化倾向。实验结果表明,本文提出的基于话题聚类及情感强度的中文微博舆情分析方法具有一定的可行性。

基于动量模型的微博突发话题检测方法

针对微博特征空间动态变化、信息噪音大的特点,提出一种基于有意义串动量模型的微博突发话题检测方法.提取时间窗口内微博信息流的有意义串,作为微博信息的动态特征,根据动力学原理对特征进行动量建模,结合特征能量大小、变化趋势以及二阶变化率检测突发特性有意义串,即突发特征,合并突发特征形成突发话题.微博数据实验表明,该方法适用于在线微博突发话题检测,在准确率和召回率上都有明显提升.