一种基于LDA主题模型的话题发现方法

话题发现是提取热点话题并掌握其演化规律的关键技术之一。针对社交网络中海量短文本信息具有高维性导致主题模型难以处理以及主题分布不均导致主题不明确的问题,提出一种基于LDA(latent dirichlet allocation)主题模型的CBOW-LDA主题建模方法,通过引入基于CBOW(continuous bag-of-word)模型的词向量化方法对目标语料进行相似词的聚类,能够有效降低LDA模型输入文本的维度,并且使主题更明确。通过在真实数据集上计算分析,与现有基于词频权重的词向量化LDA方法相比,在相同主题词数情况下困惑度可降低约3%。

基于LDA主题模型的知乎平台婚恋话题情感分析

目的:探索青年在婚恋话题中的情感趋向以及相应的关注焦点。方法:通过潜在狄利克雷分布(Latent Dirichlet Allocaon,LDA)主题模型和情感分析相结合的方法对知乎平台的婚恋话题内容进行研究。结果:建立知乎平台婚恋话题语料库,共2974条语料,时间跨度为2018年4月至2022年6月。(1)婚恋话题的高频词汇有:孩子、父母、离婚、出轨、分手、约会、表白、工作、学习和情感等词;(2)婚恋话题的积极情感值显著大于消极情感值,但存在相当程度的消极情感倾向,例如焦虑、恐惧、悲伤等;(3)婚恋话题中积极的主题有:婚恋现实、婚恋心理、聊天约会、择偶标准、美好故事;消极的主题有:婚恋压力、负面经历、负面新闻、婆媳矛盾。结论:青年对婚恋有着一定期待与积极应对,但他们在一些话题下表现出的负面情绪也需要被关注和理解。

基于OLDA的热点话题演化跟踪模型

为了发现论坛数据中感兴趣的话题并对话题进行演化跟踪,文中首先利用潜在狄利克雷分配(LDA)模型将文本由词汇空间降维到主题空间,然后采用聚类算法在主题空间对文本集进行聚类,并利用文中提出的热点话题检测方法得出热点话题.基于发现的热点话题,文中提出了基于在线LDA(OLDA)话题模型的论坛热点话题演化跟踪模型(HTOLDA),该模型只选择热点话题进行先验传递,并通过设置同一话题相邻时间片的语义距离来判断话题的状态.实验结果表明,HTOLDA模型对各个时间片的论坛数据集的建模能力优于OLDA模型,并能够有效地对论坛中的热点话题进行演化跟踪.

LDA模型在话题追踪中的应用

随着对LDA模型的研究越来越深入,文本表示和挖掘能力进一步提高。"话题"是LDA模型中一个非常重要的概念,是特征集合的一个多项式概率分布。话题追踪是根据少数已知相关信息在未知报道流中追踪一个话题,找出与该话题相关的所有报道。把LDA模型用于话题追踪,目的有两个:(一)检验LDA话题对追踪话题的表示能力;(二)检验LDA模型在挖掘训练数据中的追踪话题时,LDA话题和追踪话题之间的关系。实验表明:相对于经典的向量空间模型和一元语言模型,以及专门针对追踪话题提出的事件模型,基于LDA模型的追踪性能更好,但由于粒度不同,LDA模型中的话题和追踪话题并没有直接的一一对应的关系,实现可定制话题的LDA模型是下一步工作的目标。

基于LDA模型的论坛热点话题识别和追踪

在当今处于信息数量爆炸式增长的互联网时代,如何分析海量文本中的信息并从而提取出所蕴含的有利用价值的部分,是一个值得关注的问题。然而论坛语料作为网络语料,其结构和内容较一般语料相比更为复杂,文本也更加短小。该文提出的方法利用LDA模型对语料集进行建模,将话题从中抽取出来,根据生成的话题空间找到相应的话题支持文档,计算文档支持率作为话题强度;将话题强度反映在时间轴上,得到话题的强度趋势;通过在不同时间段上对语料重新建模,并结合全局话题,得到话题的内容演化路径。实验结果说明,上述方法是合理和有效的。

基于LDA模型和话题过滤的研究主题演化分析

针对目前科学技术文献数量激增、难以从总体上分析把握的现状,提出一种从科技文献中获得研究主题特征词并展现其演化趋势的方法.该方法先利用LDA(Latent Dirichlet Allocation)模型对不同时间片内的话题进行自动抽取,得到不同数量的话题.然后,通过话题过滤剔除意义有限的话题,并借助简单启发式规则选择种子话题.最后,再利用语义相关度将相邻时间片内内容相近的种子话题联系起来,以得到研究主题的演化趋势.实验结果表明,在不对话题生成进行人工干预的前提下,本文方法较真实地描述了研究主题强度和内容随时间的演化趋势,避免了无意义话题对研究主题演化的负面影响.

一种面向多文本集的部分比较性LDA模型

跨时空、跨文化文本挖掘等比较性文本挖掘(comparative text mining,CTM)旨在从多个可比的文本集中发现各文本集隐含语义结构的异同.针对当前主要的CTM模型只能分析公共话题的缺陷,提出一种部分比较性跨文本集LDA模型(partial comparative cross collections LDA model,PCCLDA)来实现跨文本集的话题分析,该模型通过层次狄利克雷过程(hierarchical Dirichlet processes,HDP)把话题划分为公共话题和文本集特有话题,使模型能更加精确地对文本进行建模.模型采用Gibbs抽样方法进行参数推导,一系列包括Held-Out数据对数似然和模型困惑度指标在内的定量与定性的实验表明,模型不仅能够发现公共话题在不同文本集中的差异,而且能分析各文本集特有的话题;在Held-Out对数似然测度和模型困惑度指标上,PCCLDA相对当前两个主要的CTM模型具有较大的优势.

基于LDA模型的网络舆情事件话题演化分析

通过挖掘网络舆情事件话题演化,有助于在事件全面爆发之前的更早阶段釆取应急措施。本文基于网络舆情事件时间性强、话题与时间关联度单一的特征,选择网民关注度高的食品安全网络舆情事件新闻报道建立文本集,基于LDA模型抽取话题,使用后离散时间型话题模型思路分析话题热度变化,用先离散时间型话题模型思路分析话题内容迁移。实验表明,此思路能够较全面体现话题演化路径,为网络舆情事件分析提供有效途径。

基于LDA模型的微博话题发现技术研究

微博中存在着数以亿计的用户,这些用户每天发布大量的信息。这些海量的微博信息给热点话题发现提出了严峻的挑战。应用LDA(Latent Dirichlet Allocation)模型对微博中隐含的话题进行建模,利用话题间的共享词汇将话题构成一个无向加权图,并通过PageRank算法将话题进行排名。实验结果表明,排名后返回给用户的话题的准确性明显高于未排名的结果。

基于LDA模型和多层聚类的微博话题检测

随着微博这一新兴社交媒体的广泛应用,以微博为背景的相关研究不断涌现,其中基于微博的话题检测是当前研究的热点之一。结合微博文本的相关特点,文中提出了一种基于LDA模型和多层聚类的微博话题检测方法。首先,通过LDA模型对微博数据建模并提取特征;其次,利用改进的Single-Pass聚类和层次聚类对微博数据进行聚类,从而发现热点话题。通过在大规模微博数据上进行话题检测实验,通过LDA建模比通过TF-IDF进行特征选择和权重计算效果好;改进的Single-Pass聚类能够处理第一遍Single-Pass聚类未处理的微博,提高了初步聚类的精度,并且为下一步层次聚类减少了时间;多层聚类的聚类效果在准确率、召回率和F值三方面均比单一聚类算法的聚类效果好。显然,文中的话题检测方法是可行的,也是有效的。

基于VSM和LDA模型相结合的微博话题漂移检测

针对微博话题易漂移的特点,利用向量空间模型和LDA模型进行微博话题漂移检测.主要通过Gibbs采样算法获取每条微博中词汇的概率分布,基于词汇的概率分布进行微博间相关性度量,采用动态常数法实现话题边界标识,在话题域中计算词汇信息熵并抽取话题词,生成话题向量空间模型,通过话题向量空间模型在离散时间序列模型下的话题词序列比对,实现话题的漂移检测.通过实验发现,基于VSM和LDA模型相结合的微博话题漂移检测是一套行之有效的方法.

面向LDA和VSM模型的微博热点话题发现研究

针对现有话题检测技术的不足,提出了一套适用于微博的热点话题发现方法。通过分析话题检测和微博的相关概念、特点及传播规律,对微博进行预处理和特征项的选择。利用VSM和LDA模型对其进行混合建模并进行微博相似度计算,融合微博社会关系提出了SPWSR聚类算法进行热点话题发现。实验结果表明,在NIST的评价指标体系下,该方法各指标平均提高了10%到20%。

基于节点重要性的LDA社会网络话题模型研究

在社会网络话题模型中,一些频繁出现的单词往往出现在不同的话题中。用户对这些单词感兴趣,因而分析时不能省略,这给话题分析带来了严重的挑战。为了解决这一问题,对话题模型中的节点流行性进行建模,提出了一种考虑节点重要性的LDA(latent Dirichlet allocation)社会网络话题模型。在该模型中,提出了流行性组件的概念,并提出了一种包含了流行性组件的扩展话题模型。通过实验结果表明,提出的包含流行性组件的扩展话题模型具有更好的预测能力,其预测结果的准确性明显优于现有的相关研究。

基于改进的ccLDA多数据源热点话题检测模型

目前,跨文本集的话题发现模型(cross-collection LDA,ccLDA)只适用于各个数据源话题相似度很高的场景,而且其全局话题和每个数据源的局部话题会强制对齐,存在词语稀疏的问题。针对ccLDA模型中的不足,提出了改进的跨文本集话题发现模型(improved ccLDA,IccLDA)。该模型在采样时先判断词语属于全局话题还是局部话题,再分别进行采样,避免了ccLDA模型中全局话题和局部话题必须对齐的缺点,进而降低了词语在全局话题和局部话题的分散程度,使该模型可以适用于多数据源的场景。在公开数据集上进行了多数据源文本集的话题发现实验,并进行了话题比较性分析。实验结果表明,在设置不同的话题数时,IccLDA模型的困惑度值均低于LDA模型和ccLDA模型,表明IccLDA模型具有更优的建模能力。最后,在真实数据集上开展了进一步实验验证,证明了本文提出的改进模型不仅建模能力优于原始模型,还可以有效地发现各个数据源讨论的公共话题和每个数据源讨论的局部话题,更适用于多数据源场景的文本话题发现。

基于LDA模型的电力投诉文本热点话题识别

电力客户投诉是评价电网公司客户满意度的核心指标.传统人工分析方法存在发现热点话题上存在低效率、实时性不高等问题,提出一种基于LDA(Latent Dirichlet Allocation)模型的电力投诉文本热点话题的识别方法.首先,使用TF-IDF方法从电力投诉文本中提取TOP-N关键词,作为该文本的特征词集合,并采用词袋模型,将文本向量表示;其次,使用LDA模型提取文本的话题,得到"文本-话题"矩阵和"话题-单词"矩阵;然后,根据关键词在话题-单词矩阵中出现的分布概率以及关键词在文本中出现的频率,选取从最大权重值的关键词,作为该话题的特征词;最后,使用文档话题支持度,从提取的话题中识别出热点话题.实验结果表明该方法可以准确识别电力投诉文本中的热点话题.

基于LDA模型和卡方检验的网络暴力话题挖掘方法

[目的]社交网络中存在着许多暴力话题,暴力话题识别对网络舆情的精准干预和管控具有十分重要的意义。当前网络暴力研究主要集中在用户负面情感计算、暴力用户识别等领域,缺乏对网络暴力组织构成研究,无法在复杂网络环境中精准识别网络暴力的附着载体。[方法]通过分析网络暴力在话题内的聚焦特性,提出了一种基于LDA模型和卡方检验的网络暴力话题识别方法,该方法首先运用LDA模型识别网络语料库中的话题,并用相似度计算方法对话题文本进行分类;然后运用卡方检验筛选话题文本中的暴力特征;最后依据情感词典计算各话题内的暴力值,按照暴力密度判断话题的暴力属性。[结果/结论]在真实的网络语料库上实验验证了本文方法,实验结果表明:本文方法的暴力话题识别性能(F值)均值为80.64%,优于对比方法,达到了良好的网络暴力话题识别效果。

基于LDA模型的微信图书馆热点话题检测

为使图书馆工作人员免受大量冗余信息的困扰,实时了解广大师生的需求及关注热点,面向微信图书馆,本文给出一种基于LDA模型的微信热点话题检测方法。该方法首先通过构建图书馆领域专业词典合并特征词,其次应用LDA模型表示微信文本信息,最后采用主题相似度计算文本间的相似度,进而利用Single-Pass聚类算法识别热点话题。实验结果表明,该方法能够有效地对微信图书馆上的数据进行话题检测,在准确率、召回率和F1值上均有不错的效果。

基于LDA模型的科技文献话题演化分析

本文提出了一种通过追踪不同时间片内话题的变化趋势进行话题演化分析的方法,该方法首先利用LDA话题模型抽取科技文献的话题,然后对语义意义不明确的话题进行话题过滤,最后通过计算话题的强度和关联度来分析话题的演化趋势。本文对《计算机学报》论文集进行实验,实验结果表明,在不对话题生成进行人工干预的前提下,本文方法较真实地描述了研究主题强度和内容随时间的演化趋势,且具有良好的效果。

基于LDA的问答网站话题抽取算法

为了帮助用户在使用问答网站时准确地描述所提问题的话题,对社会化问答网站问题及话题进行了建模,发现问题的潜在语义关系,提出一种基于潜在狄利克雷分布LDA(Latent Dirichlet Allocation)的话题抽取算法。该算法通过挖掘问题与问题之间的潜在语义信息,找到潜在语义相类似的问题,在语义层面上抽取出话题集合,找到最符合的话题列表。在真实网站中的数据进行试验证实,应用该算法可以有效扩大话题抽取的准确率和召回率。

基于DTPM模型的话题热度预测方法

[目的/意义]随着网络舆情对现实生活的影响越来越大,对其中一些具有负面影响的话题进行追踪与预测具有重要意义。由于微博话题热度时间序列非线性、时变性等特征,因此目前的研究难以对其进行较为理想的预测。[方法/过程]为了提高话题热度预测精度,在LDA和EEMD方法基础上提出了离散话题热度预测模型DTPM(Discretized Topic Predict Model)模型。首先,引入LDA模型,结合话题具有的内容和外在特征两个方面的热度因素,定义更加符合实际的话题热度计算方法,得到话题热度时间序列。然后,采用EEMD技术对该热度时间序列进行离散分解,利用神经网络等预测方法对各部分进行预测建模,最终汇总得到话题预测结果。[结果/结论]基于真实微博数据进行话题热度预测仿真实验,对比了话题热度时间序列不同处理下的预测精度。试验结果表明,对话题热度时间序列进行离散化的DTPM模型能够有效提高话题热度预测的精度。