基于隐含空间模型降维和LDA模型的学科主题识别研究

【目的/意义】现有学科研究主题的梳理多为领域专家的定性分析和学科学者的文献梳理,一定程度会由于研究思维的局限性和获取知识的片面性造成学科研究主题误判,为有效避免漏判误判现象的发生,提出识别模型。【方法/过程】首先,运用传统LDA模型分析主题特征词;其次,结合上下文语义信息进行中文分词,形成学科主题词库;最后,结合隐含位置聚类算法发现潜在社区,提高主题识别效果。【结果/结论】提出的方法一定程度上优化了主题挖掘算法在识别短文本主题的效果,消除主观意愿。由计算机自行分类并实现科学研究前沿主题的预测,揭示前沿领域的研究热点,为致力于研究前沿学科的新兴学者提供参考价值。

基于LDA模型的网络刊物主题发现与聚类

随着智能终端的普及,文本的主题挖掘需求也越来越广泛,主题建模是文本主题挖掘的核心,LDA生成模型是基于贝叶斯框架的概率模型,它以语义关联为基础,很好地解决了文本潜在主题的提取问题。对文本聚类过程的核心技术LDA生成模型、数据采样、模型评价等作了较为深入的阐述和解析,结合网络教育平台的2794篇学习刊物进行了主题发现和聚类实验,建立了包含3800个词项的词库,通过kmeans算法和合并向量算法(UVM)分两步解决了主题聚类问题。提出了文本挖掘实验的一般方法,并对层次聚类中文本距离的算法提出了改进。实验结果表明,该平台刊物的主题整体相似度比较好,但主题过于集中使得许多刊物的内容不具有辨识度,影响用户对主题的定位。

基于LDA模型和AP聚类的主题演化分析

随着互联网的高速发展,网络信息呈现爆炸性增长态势,主题演化分析能够帮助人们从海量的互联网数据中获取更有价值的信息。分析主题的演化发展轨迹有利于人们了解主题事件发生的前因后果,并对主题事件发展趋势进行更好地预测,进而辅助管控。针对单个主题演化分析方法中阈值设定和主题漂移的问题,提出一种LDA-AP主题演化模型。该方法利用LDA模型对不同时间窗口内的新闻文本分别进行建模,得到相应的主题。利用AP聚类算法对不同时间窗口内的多个主题进行聚类,其中计算主题相似度采用加入时间衰减因子的JS散度来度量。最后对多个主题内容进行演化分析。通过相关的实验分析和对比,结果表明该方法可以改善主题演化的性能,并能较好地分析多个新闻主题事件随时间的演化趋势。

基于主题模型的图片检索结果语义聚类

图片搜索引擎返回的结果列表中通常包含大量的相似及重复图片。用户需要花费大量的时间从结果列表中遴选所需的图片。如果能对检索结果进行语义聚类,则能为用户节省大量时间,并且节省页面空间以显示更多检索结果。近年来兴起的生成式统计主题模型在文本归纳及分类应用中得到良好应用。通过对图片抽取特征符,把图片表示为类似文本的词汇-文档模型,生成式统计主题模型在图像理解领域也得到广泛应用。文中对使用搜索引擎检索得到的图片进行特征符提取处理,然后通过统计主题模型的学习过程,获得低维的语义空间,然后在语义空间中进行聚类操作,实现将相似的图片归类的目的。实验证明了该方法的优良效果。

LDA主题模型在文本聚类中的应用

文本聚类是文本信息处理问题中的一个研究热点,LDA主题模型是在语义层面对文本进行建模的一种算法。本文详述了LDA主题模型原理及其在文本聚类中的应用,在英文数据集上进行了文本聚类实验。实验结果表明,LDA主题模型是一种有效的基于语义的文本聚类算法。

基于共现网络的用户评论聚类分析与语义识别研究

挖掘网络知识问答社区用户评论的语义关系,有利于识别用户信息需求特征,为用户提供更具有价值的评论,提升问答社区的信息服务质量。文章以“百度贴吧图书馆吧”中的评论文本数据进行实证研究,通过LDA主题模型进行评论主题聚类分析,利用Word2vec模型将主题关键词转换为词向量,并以此构建评论语义共现网络,最后进行评论排序对比。通过这种方法不仅能够正确聚类不同评论主题,还能够筛选出易被用户所忽视的高质量评论。研究发现,用户评论共分为6类,用户主要关注于学科前景发展,而对于基础设施服务和泛在化服务关注度较低。

基于Word2Vec和LDA主题模型的Web服务聚类方法

为高效地发现满足用户需求的Web服务,针对Web服务的描述文本较短、缺乏足够有效信息的问题,提出一种基于Word2Vec和LDA主题模型的Web服务聚类方法。该方法首先将Wikipedia语料库作为扩充源,使用word2vec对Web服务描述文档内容进行扩充,再将扩充后的描述文档利用主题模型进行特征建模,将短文本主题建模转化为长文本主题建模,更准确地实现服务内容主题表达,最后根据文档的主题分布矩阵寻找相似的服务并完成聚类,使用从ProgrammableWeb收集的真实数据进行实验。研究结果表明:本文方法与TFIDF-K,LDA,WT-LDA和LDA-K方法相比,F分别提高419.74%,20.11%,15.60%和27.80%,利用扩充后的Web服务的描述文档进行聚类的方法能够有效提高Web服务聚类的效果。

基于LDA模型和AP聚类的主题事件抽取技术

目前,事件抽取技术一般是对文本的事件信息进行直接抽取,忽略了文本的信息结构,并且抽取结果易受文本词语分布的影响。本文对文本的概念层级结构进行分析,并提出一种基于二次聚类并再划分的主题事件抽取方法。该方法可以提取文本的主题-事件层次化信息,并通过信息词的二次提取减小相关事件信息的干扰,优化抽取结果,并利用事件时间轴展示出事件的发展状态信息。实验结果表明本方法可以有效地提取文本的主题事件信息。

基于LDA模型和文本聚类的水族文献主题挖掘研究

针对传统民族文献主题识别不精准,缺乏深层次语义理解等问题,提出一种基于LDA模型和文本聚类的水族文献主题挖掘算法。通过Python抓取中国知网水族文献990篇,利用LDA模型挖掘水族文献主题分布特征,融合水族特征词典进行文本聚类,并挖掘出水族文化、体育、音乐、医学和水书五大主题的关键词,通过准确率、召回率和F特征值进行实验评估。实验结果表明,该方法有效地挖掘出水族文献主题关键词及热门研究领域,使得水族文献的主题脉络更加清晰,为下一步水族引文分析和数字化保护民族文献提供帮助,具有一定的应用前景和实用价值。

基于概率主题模型的文档聚类

为了实现普通文本语料库和数字图书语料库的有效聚类,分别提出基于传统LDA(Latent Dirichlet Allo-cation)模型和TC-LDA模型的聚类算法.TC-LDA模型在LDA模型基础上进行扩展,通过对图书文档的目录和正文信息联合进行主题建模.和传统方法不同,基于主题模型的聚类算法能将具备同一主题的文档聚为一类.实验结果表明从主题分析角度出发实现的聚类算法优于传统的聚类算法.

基于主题模型和词向量融合的微博文本主题聚类研究

[目的/意义]针对微博短文本数据存在的高维稀疏和上下文语义缺失等问题,提出一种融合主题模型和词向量的文本特征表达方式,以期提高微博主题聚类的效果。[方法/过程]以新浪微博为数据源,结合LDA文档—主题分布特征和加权Word2Vec词向量特征构建微博短文本的融合特征,基于K-means算法进行主题聚类,并与单一特征聚类、标准LDA主题模型的实验结果进行对比,根据F1值评估主题聚类方法的优劣。[结果/结论]相较于其他方法,融合特征主题聚类模型表现最佳,其F1值达到83.7%。实验表明,融合特征能够更加全面、准确地描述文本的语义信息,能更有效地表征微博文本。

联合主题模型的标签聚类方法

提升标签聚类的质量是识别标签语义的一个关键问题.文中提出基于资源的联合主题模型标签聚类方法.利用资源的引用关系,采用随机游走的方法获取资源的权威度分数,以此设置"资源-标签"和"资源-词"这2个二元关系的权重.在此基础上,构建基于资源加权的词与标签的联合潜在狄利克雷分布(LDA)模型,通过迭代学习,获取标签的潜在主题,并根据主题最大隶属度聚类标签.实验表明,相比其它基于资源的标签聚类方法,文中方法能获取更好的聚类效果.

基于LDA模型与语义网络对评论文本挖掘研究

通过主题模型与语义网络对旅游电商中的评论文本进行挖掘,从而引导消费者与商家对评论信息作出重要决策;提出一种基于LDA(Latent Dirichlet Allocation,LDA)主题聚类与语义网络模型(LDA topic clustering and semantic network model,LTC-SNM)的方法对酒店在线评论文本进行研究;获取在线评论文本进行数据预处理,使用Word2vec生成词向量,利用机器学习算法对评论文本进行情感分类;通过LDA主题模型对分类后的文本进行聚类,生成酒店的特征主题词;通过ROSTCM将特征主题词与所修饰的情感词生成语义网络,缓解了挖掘文本信息的复杂性;实验结果表明:提出的LTC-SNM文本挖掘方法使得在线用户评价的主题更具表达性。

改进LDA模型的短文本聚类方法

在短文本聚类模型中,传统LDA模型没有考虑文本与主题之间的联系。提出一种具有判别学习能力的LDA模型,在LDA-λ模型中将二项分布引入LDA基础模型,增加词项的判别能力。对模型进行理论分析与对比试验,结果表明,基于改进的LDA模型精确度(ACC)、归一化互信息(NMI)和成对F测度值(PWF)比较高,分别达到0.7384、0.8191、0.6941,比传统的LDA模型分别提高1.62%、2.51%、1.2%,比VSM模型分别提高2.83%、10.99%、1.89%,基于改进的LDA模型在聚类问题处理上要优于LDA模型和VSM。

基于BERT-LDA模型的短文本主题挖掘

传统的主题模型在对短文本建模时,会由于词汇稀疏导致模型效果不好。论文针对短文本数据特征,提出了BERT-LDA主题挖掘模型(Short Text Topic Mining Based on BERT and LDA),该算法通过使用预训练BERT模型提取文本语义特征,再通过K-means聚类算法将短文本聚合成长文本再进行主题建模,从而扩充单条文本包含的语义特征,有效降低了词汇稀疏性,从而提升模型效果。通过在实际数据上进行对比实验证明,与LDA和BTM模型相比,该算法能够取得更低的困惑度。

后疫情时代网络舆情情感分析和主题识别

为了快速地挖掘突发公共事件中社交媒体情绪倾向和舆论热点,帮助舆情监管部门更为有效地进行舆情监管和引导。以微博中后疫情时代的相关话题为研究对象,通过Python采集该事件的微博文本数据,基于SnowNLP方法分析舆情的情感时序变化,并利用TF-IDF和LDA(Latent Dirichlet Allocation)主题模型进行聚类分析,提取每个主题的关键词,了解后疫情时代背景下网民对疫情的关注焦点和情感态度,准确捕捉舆论动向和情感变化,加强公众与政府之间的互动和沟通,使政府部门在处理突发事件和应对公众关切时更加敏锐和高效。

基于LDA 模型与语义网络对评论文本进行挖掘

本文基于LDA主题聚类与语义网络模型LTC-SNM的方法,依据客户价值理论对时尚租赁APP在线评论文本进行研究;对在线评价文本进行数据清洗和关键特征提取,使用Word2vec生成词向量,利用分类器对评价文本进行情感二分类,再通过LDA模型进行文本聚类,提取在线文本主题词转换为共线矩阵,最后利用ROSTCM软件生成语义网络图。实验结果表明:基于LTC-SNM的挖掘方法更能全方位地表达在线用户评论的主题。

共词网络LDA模型的中文短文本主题分析

由于短文本的特征稀疏性,传统的LDA或PLSA主题模型分析短文本的效果并不理想。结合社交网络社区发现技术,提出CA-LDA模型(Latent Dirichlet Allocation Model with Co-word network Analysis)。在传统LDA模型的基础上加入共词网络分析,考虑词汇在不同文档间的共现情况,构建词汇社交网络;利用词汇社交网络隐含空间降维的方法,以自同构等价规则,合并在网络中结构特征相同的词汇,在不损失信息的前提下,降低了词汇矩阵稀疏性;考虑词汇搭配关系(网络节点的邻接),以共词网络特征向量中心度调节主题模型中的词汇权重,通过递归累加,提高与重要词汇搭配的词汇的重要性;在传统LDA主题模型吉布斯采样(Gibbs Sampling)过程中,同时增加隐含位置聚类模型的社区发现算法,提高了具有相同搭配关系词汇划分在同一主题下的概率。实验证明该模型在短文本分析中有较好的效果。

基于多重关系主题模型的Web服务聚类方法

如何有效地发现合适的Web服务是面向服务计算领域需要解决的核心问题之一.随着Internet上Web服务数量的不断增加,服务的自动发现面临着极大的挑战.将功能相似的Web服务进行聚类是一种有效的服务发现与服务管理方法.目前国内外主流的方法为挖掘Web服务的隐含功能语义信息,如使用LDA主题模型训练提取Web服务功能描述文档的主题信息,然后基于某种聚类算法如K-means将隐含主题分布相似的Web服务聚为一类.然而,Web服务的功能描述文档通常短小,目前大部分主题模型无法对短文本进行良好地建模,从而影响了Web服务聚类的效果.针对该问题,文中提出了一种考虑多重Web服务关系的概率主题模型MR-LDA,其可对Web服务之间相互组合的关系以及Web服务之间共享标签的关系进行建模,能有效提高Web服务聚类的精度.同时,基于该MR-LDA主题模型进一步提出了一种有效的Web服务聚类算法MR-LDA+,该算法首先利用上述多重Web服务关系信息对Web服务隐含主题分布概率矩阵进行修正,然后根据这些隐含主题对Web服务进行聚类.基于ProgrammableWeb收集的真实数据实验表明,文中所提出的方法明显优于其它Web服务聚类算法.

一种融合LDA主题模型与LSTM网络的个性化推荐算法

为改善传统个性化推荐算法精准度不高的问题,使用评论数据作为数据集,先对评论数据作文本预处理和特征提取,然后使用LDA主题模型对文本特征数据建模,得到主题词分布,将其作为标签,同时使用LSTM网络作文本分类,通过计算得到好评率。最后把用户需求和标签利用潜在语义标引计算相似度,根据相似度和好评率大小向用户推荐结果。实验结果表明,该方法能够向用户推荐符合其兴趣的个性化需求信息,且准确率高于96%,证明了该推荐算法的有效性。