主题方面共享的领域主题层次模型

层次主题模型是构建主题层次的重要工具.现有的层次主题模型大多通过在主题模型中引入nCRP构造方法,为文档主题提供树形结构的先验分布,但无法生成具有明确领域涵义的主题层次结构,即领域主题层次.同时,领域主题不仅存在层次关系,而且不同父主题下的子主题之间还存在子领域方面共享的关联关系,在现有主题关系研究中没有合适的模型来生成这种领域主题层次.为了从领域文本中自动、有效地挖掘出领域主题的层次关系和关联关系,在4个方面进行创新研究.首先,通过主题共享机制改进nCRP构造方法,提出nCRP+层次构造方法,为主题模型中的主题提供具有分层主题方面共享的树形先验分布;其次,结合nCRP+和HDP模型构建重分层的Dirichlet过程,提出rHDP(reallocated hierarchical Dirichlet processes)层次主题模型;第三,结合领域分类信息、词语语义和主题词的领域代表性,定义领域知识,包括基于投票机制的领域隶属度、词语与领域主题的语义相关度和层次化的主题-词语贡献度;最后,通过领域知识改进rHDP主题模型中领域主题和主题词的分配过程,提出结合领域知识的层次主题模型rHDP_DK(rHDP with domain knowledge),并改进采样过程.实验结果表明,基于nCRP+的层次主题模型在评价指标方面均优于基于nCRP的层次主题模型(hLDA,nHDP)和神经主题模型(TSNTM);通过rHDP_DK模型生成的主题层次结构具有领域主题层次清晰、关联子主题的主题词领域差异明确的特点.此外,该模型将为领域主题层次提供一个通用的自动挖掘框架.

面向短文本的增强上下文神经主题模型

目前的主题模型大多数基于自身文本的词共现信息进行建模,并没有引入主题的稀疏约束来提升模型的主题抽取能力,此外短文本本身存在词共现稀疏的问题,该问题严重影响了短文本主题建模的准确性。针对以上问题,提出了一种增强上下文神经主题模型(enhanced context neural topic model,ECNTM)。ECNTM基于主题控制器对主题进行稀疏性约束,过滤掉不相关的主题,同时模型的输入变成BOW向量和SBERT句子嵌入的拼接,在高斯解码器中,通过在嵌入空间中将单词上的主题分布处理为多元高斯分布或高斯混合分布,显式地丰富了短文本有限的上下文信息,解决了短文本词共现特征稀疏问题。在WS、Reuters、KOS、20 NewsGroups四个公开数据集上的实验结果表明,该模型在困惑度、主题一致性以及文本分类准确率上相较基准模型均有明显提升,证明了引入主题稀疏约束特性以及丰富的上下文信息到短文本主题建模的有效性。

我国教育元宇宙研究的热点透视与未来路向——基于核心文献的LDA主题模型分析

教育元宇宙作为元宇宙的教育应用前景广阔,对相关文献进行系统分析有助于推进其应用向纵深发展。基于LDA主题模型和人工内容分析对关于教育元宇宙的130篇核心期刊文献进行系统梳理后发现,我国教育元宇宙研究主要围绕基本理论、批判审视、思政教育应用、学习赋能、场景创设、技术支撑、模型构建等7个主题展开,为教育元宇宙建构学理支撑、凝聚理性共识、铺筑可为进路、筑牢技术基座和汇聚多维创想积淀了丰硕成果。基于此,未来教育元宇宙还应从顶层设计、关系廓清、伦理规约、技术向善、场景拓展等5个方面着力:探赜教育元宇宙顶层设计研究,统筹教育元宇宙系统构建;完善教育数字化转型与教育元宇宙逻辑关系研究,驱动两大领域协同演进;深入教育元宇宙伦理规范研究,促进教育元宇宙健康发展;夯实教育元宇宙意识形态属性研究,保障教育元宇宙向善属性;拓展教育元宇宙应用场景研究,牵引教育元宇宙实践落地。

基于主题模型的通用文本匹配方法

检测长文本和短文本相似性的应用场景越来越多,文本对的一致性检测大多可以统一抽象成文本相似性的比较问题。该问题的难点在于短文本是零散的,从而很难判断其属于哪个领域及其背景知识,也难以引入词嵌入来解决在通用场景的具体文本匹配问题。基于这个问题,提出一种新的基于文本聚类主题模型的轻量方法,不需要利用额外的背景知识来匹配通用文本相似性。在两个经典测试样本数据集上的实验结果表明,该方法的文本相似性检测效率非常高。

基于混合兴趣主题模型的推荐方法

针对跨领域项目推荐过程中用户兴趣稀疏造成的推荐冷启动问题,提出一种基于混合兴趣主题模型兴趣领域潜在狄利克雷分布(PA-LDA)的推荐方法。PA-LDA使用兴趣潜在狄利克雷分布(P-LDA)模块挖掘用户历史行为数据,生成关于目标项目中兴趣主题的概率分布,综合考虑主题和项目内容词对兴趣的影响进行参数估计建模,得到用户对目标项目的兴趣评价。PA-LDA使用领域潜在狄利克雷分布(A-LDA)得到领域对项目目标的兴趣评价,混合两类兴趣评价,使用top-k方法推荐目标项目。在EdX和GCSE两组真实数据集上进行实验,验证方法的有效性和准确性。研究结果表明:PA-LDA可以有效解释用户兴趣和领域兴趣对项目推荐的作用原理,实现多维领域推荐的兴趣特征捕捉,提升推荐的适应性与准确性。

基于主题模型的论文标准化影响力指标研究——一个新的论文标准化影响力指标GTNI

当前学界关于论文的标准化评价指标多从学科角度分类,忽视论文主题的多样性且每一主题概率不同等问题。文章在CNCI(Category Normalized Citation Impact,学科规范化影响力)指标基础上,结合主题模型、引文分析等方法提出构建可横向比较的普适性指标GTNI(General Topic Normalized Citation Impact,基于主题模型的论文标准化影响力),以提高学术论文评价的科学性。GTNI是对论文每一主题被引进行标准化并综合而获得的指标。通过理论分析、指标构建、实证研究和对比检验,表明GTNI指标在论文影响力评价方面具有较好的效果,且具有应用前景。

LDA模型下的高校图书馆微信公众平台阅读推广主题热点及策略研究

[目的/意义]探索高校图书馆微信公众平台阅读推广推文主题及策略,为高校阅读推广建设和发展提供参考。[方法/过程]获取高校图书馆微信公众平台推文信息,采用Python实现LDA主题模型对阅读推广推文进行主题建模分析。[结果/结论]高校图书馆借助微信公众平台开展的阅读推广推文主题可分为5大类,每个主题呈现不同的受欢迎度,并体现5个方面的特征。最后对微信公众平台阅读推广建设提出相应对策,以期为高校图书馆微信公众平台阅读推广建设提供有益启示。

基于LDA主题模型的服务业企业创新测度研究——兼与传统创新测度方法的对比分析

服务创新是新时代服务业高质量发展的重要内涵。以R&D投入、专利申请为代表的传统创新测度方法在衡量服务业企业创新时存在明显缺陷。使用隐含狄利克雷分配(LDA)主题模型对2008-2022年间914家服务业上市公司的创新水平进行了测度,并从企业整体、行业归属、区域分布、企业规模、企业所有制维度与传统创新测度方法对比分析。研究发现:相较于传统创新测度方法,LDA方法能够①同时反映服务业企业创新中的技术和非技术创新部分,更适用于测度非研发和非专利服务业企业;②更好捕捉教育,文化、体育和娱乐业等生活性服务业企业的创新特征和形式;③向上纠偏中西部地区服务业企业创新水平,向下纠偏东部地区服务业企业创新水平,还原东部和中西部地区服务业企业真实创新差距;④向上纠偏中小型服务业企业创新水平,向下纠偏大型服务业企业创新水平;⑤深入挖掘国有和非国有服务业企业在创新词频和主题上的差异,揭示非国有服务业企业创新水平较高的本质原因。基于此,从拓展服务创新内涵新认知、加快生活性服务业企业创新、营造良好创新生态、深化数字技术渗透以及发挥差异性优势五个方面提出政策建议,以期为加快服务业企业创新发展提供政策启示。

基于Word2Vec和LDA主题模型的中国省级五年规划“文化政策”文本研究

运用Word2Vec和LDA相结合的主题模型分析技术,对我国31个省份三个时期五年规划文本中文化政策部分进行主题识别,从时间和空间两个维度进行“文化政策”主题挖掘和演化分析。研究发现,“文化政策”主题在发展趋势、重点转移、政策导向、技术应用等方面随时间推移呈现不同演化趋势;四大区域受经济发展水平、文化资源禀赋、政策导向影响,在企业角色强调程度、地区特色旅游发展以及国家级项目和竞争力方面存在地域差异。

基于LDA模型对大学生就业信息的主题挖掘

文章使用Python语言基于LDA模型对大学生就业信息进行主题分析。首先,使用Requests库和BeautifulSoup库对国家大学生就业服务平台中的就业信息进行采集,并使用pandas库对信息进行清洗和整理。然后,使用gensim库对大学生就业信息进行LDA建模,得出4个主题,即:就业帮扶及培训、企业招聘、考公考编和“三支一扶”政策。文章对这些主题进行了可视化处理,并分析了各个主题的内容。最后,按照信息发布的年份对就业信息文档分组,分析了各年份大学生就业信息主题强度的变化趋势。

基于隐含空间模型降维和LDA模型的学科主题识别研究

【目的/意义】现有学科研究主题的梳理多为领域专家的定性分析和学科学者的文献梳理,一定程度会由于研究思维的局限性和获取知识的片面性造成学科研究主题误判,为有效避免漏判误判现象的发生,提出识别模型。【方法/过程】首先,运用传统LDA模型分析主题特征词;其次,结合上下文语义信息进行中文分词,形成学科主题词库;最后,结合隐含位置聚类算法发现潜在社区,提高主题识别效果。【结果/结论】提出的方法一定程度上优化了主题挖掘算法在识别短文本主题的效果,消除主观意愿。由计算机自行分类并实现科学研究前沿主题的预测,揭示前沿领域的研究热点,为致力于研究前沿学科的新兴学者提供参考价值。

LDA模型下我国公共图书馆微信平台阅读推广内容主题研究

随着我国推行全民阅读策略以来,图书馆在其中发挥的作用也随之加强,想要进一步满足读者的阅读需求,作为公共图书馆管理人员,应该积极从互联网平台着手,构建更专业、更系统的图书馆阅读微信公众平台,借助智能化管理模式的引进,让图书馆与微信公众平台的优势得以发挥出来。为此,本次研究以研究调查与统计的方式,运用LDA主题模型实现对阅读推广内容的主题识别,并做好对应的模型演化与阅读量分析工作,希冀借此为相关人员提供参考。

基于LDA主题模型的社交媒体隐私政策合规性评价研究

[目的/意义]在个人信息保护日渐重要的今天,开展我国社交媒体隐私政策合规性评价研究,可为完善社交媒体隐私政策和加强个人信息保护提供参考。[方法/过程]文章选取28个常用社交媒体,基于LDA主题模型、完整性评价和阅读感分析对其隐私政策文本进行比较分析。[结果/结论]研究发现,随着相关信息保护法的出台,社交媒体在隐私保护、信息安全等方面已取得了积极进步,但在政策完整性、特殊群体的保护和可读性方面仍有进一步完善的空间。未来,可从法制建设和用户权利保障、特殊群体保护以及文本可读性3个方面进行完善。

基于LDA-BERT相似性测度模型的文本主题演化研究

文章针对LDA主题模型在提取文本主题时忽略文本语义关联的问题,提出基于LDA-BERT的相似性测度模型:首先,结合利用TF-IDF和TextRank方法提取文本特征词,利用LDA主题模型挖掘文本主题;其次,通过嵌入BERT模型,结合LDA主题模型构建的主题-主题词概率分布,从词粒度层面表示主题向量;最后,利用余弦相似度算法计算主题之间的相似度。在相似性测度模型基础上构建向量相似度指标分析文献研究主题之间的关联,并绘制主题演化知识图谱。通过智慧图书馆领域的实证研究发现,使用LDA-BERT模型计算出的主题相似度结果相较于LDA主题模型的计算结果更加准确,与实际情况更相符。

数智化背景下智能会计岗位技能挖掘及人才培养——基于Python LDA主题模型

应用Python软件抓取会计领域招聘数据,利用LDA主题模型分析智能会计“四大”岗位技能并提炼智能会计核心技能特征,据此提出构建智能会计课程体系和优化实训教学环境等措施,以提高智能会计岗位技能人才的培养质量。

一种结合代码片段和混合主题模型的软件数据聚类方法

使用主题模型进行文档聚类是众多文本挖掘任务中一种常见的做法。许多研究针对软件问答网站的数据,利用主题模型进行聚类来分析不同领域在社区的发展情况。然而,这些软件相关数据往往包含代码片段且文本长度分布不均,使用传统单一的主题模型对文本数据建模,易得到不稳定的聚类结果。文中提出了一种结合代码片段和混合主题模型的聚类方法,并使用Stack Overflow作为数据源,构造了在该平台上被提问数量排名前60的Python第三方库数据集,经过建模,该数据集最终划分为以下6个不同的领域:网络安全、数据分析、人工智能、文本处理、软件开发和系统终端。实验结果表明,在自动评估和人工评估的指标上,使用代码片段结合文本进行主题建模,在聚类结果划分的质量上表现良好,而联合多个模型进行实验,一定程度上提高了聚类结果的稳定性和准确性。

监督式主题模型及其应用综述

主题模型是一种数据挖掘的方法,可以自动地从大量文件或数据中提取潜在的模式或主题,并将对应的数据分配到相应的模式或主题中。主题模型已广泛应用于文本聚类或分类、主题抽取、主题演变、情感分析和摘要总结等领域。监督式主题模型和非监督主题模型的区别在于是否依赖标注信息。近年来,监督式主题模型在数据挖掘任务中逐渐兴起,使得越来越多的任务倾向于采用监督式方法进行优化。陈述了监督式主题模型相关内容,介绍常用的数据集和评价指标;分别从模型和应用的角度对各种类型的监督式主题模型进行了深入对比分析。最后,阐述了主题模型当前研究所面临的挑战,并对未来监督式主题模型的研究方向进行展望。

一种基于LDA模型的新兴主题识别与探测方法

新兴主题识别是科技研究领域识别新兴技术的重要方式,高效精准地识别新兴主题是早期辨识新兴技术研究方向的前提.提出一种基于LDA模型的新兴主题识别与趋势预测方法,通过LDA模型提取科技文献中的研究主题,构建主题强度、主题新颖度和复合主题关注度的指标体系识别新兴主题,采用Prophet模型预测新兴主题的主题强度,探测未来发展趋势.以智慧农业领域最近14年的科研文献为数据集,对提出的识别和探测方法进行验证,识别出了5个新兴主题,并预测了未来3年的发展趋势,同时验证所提方法的有效性.

基于LDA主题模型的智慧养老研究主题分析

目的/意义揭示国内智慧养老领域研究热点主题。方法/过程选取中国知网作为检索数据库,以2004—2023年智慧养老领域期刊论文、学位论文和会议论文的摘要作为研究数据,运用LDA主题模型进行文本挖掘,利用困惑度和一致性确定最佳主题数量。根据主题-词分布进行主题识别,根据文档-主题分布计算各主题强度。结果/结论 LDA主题模型提取得到国内智慧养老领域主题共9个,其中热点主题为服务架构、数字化转型、社区养老、用户调研。

基于BTM主题挖掘和Kano模型的运动文胸用户需求研究

为了深入挖掘运动文胸的用户需求,文章采用BTM模型对10个运动文胸品牌的16 248条在线评论进行主题挖掘,构成运动文胸用户需求要素,并通过Kano模型分析用户满意度和需求度,确定各项要素的属性归类和优先级排序。研究结果得到,运动文胸用户需求维度包括功能质量、款式设计、面料材质、颜色外观、服务品质、品牌营销6个方面;在23项需求要素中,舒适度和防震功能是用户满意度建立的首要因素,下围、罩杯、面料手感、胸垫材质是产品优化中的关键因素,客服态度、退换货服务、声誉口碑、商品信息是服务和营销中的重要因素;进而提出优化建议供相关企业参考。