科学文献主题建模方法及其效果评估研究

[背景/意义]研究和对比不同主题建模方法在科学文献主题识别上的应用表现,对于合理选择使用主题建模技术开展科学文献主题挖掘具有重要意义。[方法/过程]通过构建中英文科学文献实验语料,选择3种主题建模方法(LDA、Top2vec、Bertopic)和5种文本特征计算方法(Bag of Words、TFIDF、Doc2vec、MiniLM、SciBert)进行中英文科学文献主题建模实验,并对不同建模结果的主题多样性、主题一致性、主题稳定性和主题离散性指标进行对比分析。[结果/结论]不同建模工具的主题识别结果存在较大差异,其中LDA与Bertopic在英文和中文语料上识别出的主题中具有相似性关系的主题占比相对较高,但也仅为9.81%和7.46%;基于Doc2vec算法的Top2vec模型在主题多样性指标上的表现相对最优;基于文本预训练算法的Top2vec模型和Bertopic模型的主题稳定性和离散性指标优于传统主题建模方法。针对大语言模型技术的快速发展和广泛应用,加快推进科学文献预训练模型研发,并将之应用于科技情报业务实践是当前的重要研究方向。

中美媒体“沙伊复交”报道的中国国家身份构建对比——基于语料库的情感分析与主题建模

本研究聚焦外交事件中的国家身份构建,借助情感分析和主题建模,对比分析中美媒体“沙伊复交”报道中的中国国家身份构建。研究发现二者存在明显差异:中方媒体报道呈现强烈的积极情感,聚焦外交作用、外交理念、国际角色、经贸交流、政治文化交流等多个主题,塑造中国作为世界和平的贡献者、外交纷争的协调者、积极务实的行动者、值得信赖的大国等身份;美方媒体报道的积极情感强度弱于中方,重点聚焦经济利益、外交影响、国际纷争等主题,在以肯定态度认可中国经济强国、外交大国身份的同时,捏造中国利益驱动的生意人身份。此外,国家利益冲突、外交理念差异与媒体价值差异是影响双方对中国国家身份构建的重要动因。本研究利用文本挖掘方法对国家身份进行深度剖析,以期揭示话语背后的意识形态与权力关系,厘清外交事件背后复杂的国际舆论形势。

基于BERTopic主题建模的延时现场救护研究趋势与热点分析

目的分析2009~2024年间国际延时现场救护领域的文献,探究主要研究主题及其发展趋势,以期为未来救护策略提供理论支持。方法系统检索PubMed、Embase、Web of Science和中国知网等数据库,筛选并纳入283篇相关文献。运用BERTopic主题建模技术对文献进行主题识别和关键词分析,并进行可视化展示。结果当前研究主要聚焦在“急救策略研究”“智能技术与信息管理”“实战应用”与“政策与理论研究”等4个方面,预测这些领域将持续成为研究热点。结论国际延时现场救护研究正处于快速发展阶段,建议未来研究深入重点领域,开发有效的救护策略,以提升救治效率和伤员生存率。

基于语料库的中国生态形象演变研究——信息贡献度与主题建模的语义分析

本研究运用信息贡献度与主题建模的文本挖掘方法,对中国生态话语对外报道主题进行历时性研究,深入探索中国生态形象的发展历程。研究发现,与前一阶段(2001—2012年)相比,2012—2024年生态话语对外报道的总量显著增加,共现主题词呈现延续性与深化性特征。“生态环境保护”“城市与经济发展”“政府政策调控”是两个时期持续关注的重点,中国从生态基础建设转变为生态绿色体系战略,习近平生态文明思想的战略引领作用日益凸显。2012—2024年报道还聚焦两个特有主题,即“国际交流合作”和“生态旅游文化”,彰显了中国在全球生态文明建设中的责任担当,展示了独特的生态文化和崭新的乡村形象。研究揭示了中国生态形象动态化、多元化的发展轨迹,体现了“以人为本”的核心生态价值观。

国外智慧旅游政策和理论的主题建模及趋势研究

为理清国外智慧旅游政策和理论的研究热点及趋势,通过LDA(隐含狄利克雷分布)主题模型得出4个政策主题、8个理论主题。分析发现“digital travel(数字旅游)”“intelligent travel(智能旅游)”“smart tourism standards(智慧旅游标准)”是政策文本重点内容。通过主题模型和知识图谱分析学术文本发现,智慧旅游“data mining (数据挖掘)”“smart tourism system(智慧旅游系统)”信息推荐功能日渐显著,游客行为满意度与智慧旅游城市的选择两者之间关系密切。针对研究结论提出强化智慧旅游工作绩效评估机制、完善标准化政策体系、加大政策扶持新力度等建议。

基于主题建模的软件类代码可理解性评估方法

代码可理解性是软件质量评价中必不可缺的要素之一,然而传统研究并没有对代码的可理解性进行量化评估。提出了一种基于LDA主题建模的代码可理解性评估方法,结合使用WordNet相似度计算算法和K均值聚类算法,实现了软件类代码可理解性的量化评估。选用Tomcat软件内的Catalina下core包内的40个Java类文件进行了实验,实验结果表明所提出的方法可以清晰地区分类代码的可理解性程度,并得到可靠的软件类代码可理解性评估结果。

新型主流媒体中新闻文本和评论的语义相似度分析--基于上观新闻语料库的LDA主题建模

新型主流媒体的发展策略研究十分广泛,而内容建设研究却鲜少涉及。在新型主流媒体不断转型发展的阶段,探索媒介内容建设变得越来越重要。本文旨在探索代表性新型主流媒体文本中主题分布的趋势。研究使用LDA主题建模方法,对上观新闻客户端中的文本内容建立了N=58274篇新闻或评论文章构成的新闻文本语料库并对其进行了语义内容分析。研究结果揭示了我国新型主流媒体的新闻报道主题分布和现状趋势。通过主题建模研究结果发现以上观新闻客户端为代表的新型主流媒体的新闻报道文本在多样化的同时也有着较为确定的主题。结合关键词分布分析可以确定具体主题的主次分布。研究结果表明国际合作、金融经济、地方发展、法律执行、社区建设为新型主流媒体文本内容的主要主题;文化建设、教育发展和媒体创新是新型主流媒体文本建设中的次要主题。

基于主题建模和NLP预测MOOC学习者的课程兴趣

在虚拟学习环境中,大规模在线开放课程设置互动讨论的功能模块是必备内容。学习者在互动中,学习兴趣起着至关重要的作用。使用文本挖掘技术,利用学习者在论坛上发出/回复的文本内容,识别和提取讨论主题兴趣,以分析预测在线学习者们在MOOC中的真实课程偏好和学习兴趣。在数据收集和处理后,使用了LDA、LSI和BERTopic三种模型进行训练,并使用连贯性评价、人工评价等方法进行模型评估。结果表明,BERTopic在连贯性分数、生成主题的相关性和学习者课程兴趣的表示方面更加卓越。这启示通过将学习者的真正兴趣纳入课程选择过程,使得MOOC可以创造更加个性化和引人入胜的学习体验。

基于正则化主题建模的隐式产品属性抽取

为实现产品意见挖掘中的隐式产品属性抽取,在传统主题建模思想的基础上,通过分析评论信息中不同产品属性对应的意见词分布以及意见词的主题依赖性假设,提出一种基于正则化思想的新主题建模框架.在该框架下,评论信息中的意见词特征,通过定义在不同评论中意见词的使用相似度上的正则化因子,纳入到传统的主题建模框架中.正则化的基本思想为:若2条评论在意见词的使用模式上相似,则它们评论相同的产品属性的概率越高.定性和定量2种实验结果均表明,本文的正则化主题模型较传统的主题模型算法有更高的准确率,说明本文的正则化思想是有效的.

基于主题建模技术的克隆群映射方法

针对对源代码进行拷贝、粘贴及修改活动会导致软件中出现大量的克隆代码的问题,将主题建模技术应用于克隆代码,提出一种克隆群映射方法。运用主题建模技术将映射问题由高维的代码空间转化到低维的主题空间上,通过主题的映射间接实现映射相邻版本克隆群的目的。对4款开源软件进行方法评估,实验结果表明,使用该方法的查全率和查准率均高达0.99,其能够有效准确地实现相邻版本的克隆群映射。

基于概率主题建模的新闻文本可视化综述

伴随着信息技术的发展,传统纸质新闻逐渐向新媒体新闻转变.与此同时,近年来数据挖掘和自然语言处理等技术得到了极大的发展,使得对新闻所蕴含丰富语义和主题进行深度挖掘成为可能.然而,信息的超载使得主题可视化成为一个新的挑战,即如何以更好的方式来呈现海量互联网文本所蕴含的主题.隐形语义分析(LDA)是近年来兴起的主题建模方法,被当前学术界认为是主流的主题建模技术.文中首先介绍以LDA为主的文本概率主题建模技术及其发展,讨论了新闻主题建模特点;随后概括对比新闻主题可视化的若干方法,并对其进行分类,分析不同方法的适用性和局限性;最后对新闻主题可视化进行总结和展望.

基于动态主题建模的Web论坛文档摘要

针对论坛文档由于自身特点缺乏有效的文档摘要方法的现状,提出一种基于LDA主题模型的论坛文档摘要方法.在主题建模中考虑了Web论坛文档中帖子和帖子之间的回复关系,并把主题的分布变为随文档变化而变化的一个动态过程,来解决主题的依赖和偏移问题.在使用GibbsEM采样算法来确定动态主题模型的参数后,通过计算句子中主题权重之和来确定各个主题的重要程度;最后根据动态主题模型中主题的概率分布计算各句子的权重并得到文档的摘要.实验结果表明,新方法在各个ROUGE评测标准上均优于其他各种对比的摘要方法.

情感与主题建模:自然灾害舆情研究社会计算模型新探

在社会计算视角的指导下,借助自然语言处理中的情感分析和主题建模技术建构自然灾害微博舆情的社会计算模型,并选取江苏盐城"6·23"龙卷风冰雹特别重大灾害为案例对该社会计算模型进行了验证性应用。研究表明,社交媒体平台成为获取和评估自然灾害舆情的重要渠道,在海量数据面前,传统的舆情研究方法显然已经无能为力,需要在大数据路径技术上介入,并在不断发展中探求情感和主题分类要素在此类研究中的新作用。

TMvis:基于LDA的主题建模可视分析系统

主题建模是非常重要的一类文本挖掘方法,被广泛用于构建文本语料库的主题,但其存在难以解释和调整的问题.为了协助用户构建字典以及帮助用户理解主题模型并调节模型,设计并实现了渐进式可视化分析框架,包含2个可视化工作区:语料库优化可视化工作区,协助用户高效构建字典;主题模型可视化工作区,提供多尺度信息可视化以辅助用户理解主题模型并交互地改进主题建模.实现了Web环境下的交互式可视主题模型系统TMvis,并采用20newsgroups新闻数据设计了对照实验,证明了方法的有效性.此外,实现了针对豆瓣电影数据的案例分析,验证了系统的实用性.

国际数字人文领域研究前沿探测与发展趋势分析:基于词嵌入和主题建模技术

文章提出一种基于词嵌入和主题建模技术的科学研究前沿识别方法,利用深度学习模型word2vec中词嵌入技术抽取语义近似或同语义概率分配词汇,然后结合LDA主题建模技术进行语义主题建模,对数字人文领域的语义主题建模与前沿主题进行探测,揭示国际数字人文领域在时间维度的动态演变机制和研究热点信息,为我国数字人文的学科部署重点和未来发展提供信息支撑。

基于情感分类和主题建模的患者体验分析

目的分析患者体验文本,改善医疗服务质量,提升患者满意度,为大量患者体验文本提供有效的分析手段。方法对患者体验文本使用长短期记忆模型进行情感分类;对负向体验文本利用主题生成模型与点互信息进行主题分析。结果情感分类达到平均94.66%的精确率、94.77%的召回率与94.61%的F1值,提炼出负向患者体验文本包含的主题,并分析了各年度主题热度与变化趋势。结论该方法可以有效的识别负向患者体验文本,并进一步对负向体验文本的主题进行提炼与分析,有助于医院管理者从大量患者体验文本中及时了解患者感受,挖掘服务问题,提升管理效率。

面向多源数据的可扩展主题建模分析框架

随着信息技术的不断发展和应用,大量信息系统积累了海量多源异构数据,这些数据中有很大一部分都是结构化数据,具有高维度、低质量、无标注等特点,难以进行特征提取与进一步的知识提炼。主题建模是文本处理和数据挖掘中的一个非常重要的方法,它是一种无监督学习算法,最初用于对无结构的自然语言文本进行建模,可以有效地从文本语义中提取主题信息,以进行特征提取和降维分析,然而主题建模技术尚不能很好应用在关系复杂的多源数据,尤其是结构化数据的处理中。提出了一个基于可扩展主题建模技术的针对结构化与非结构化多源数据分析框架,通过数据导入、数据分析、数据可视化三个步骤对多源数据进行基于主题建模技术的数据分析,并在此基础上实现了一个多源数据分析工具,最后通过两个数据集的实验证明了所提的多源数据分析框架的有效性。

结合作者与地理信息的主题建模

为了对带有地理信息的位置相关图像进行有效的主题建模,提出一种结合作者与地理信息的主题建模算法——AGTM.首先在地理相关主题建模过程中引入数据发布者的信息,并利用发布者之间所存在的好友关系来提高主题建模结果的准确度;在建模过程中基于如果2个图像的发布者相同或者发布者之间存在着好友关系,那么他们所发布的图像数据极可能从属于同一地理相关主题这样一个假设,假设图像发布者以某个概率分布于若干社会群组中,而群组又以一定概率分布于某些地理区域之上,使得在主题模型生成过程中充分利用了以往被忽略的发布者属性.使用Flickr中的图像作为数据集进行实验,结果表明,AGTM算法显著提高了模型的准确度和可解释性.

应用hLDA进行多文档主题建模关键因素研究

hLDA(层次潜在狄利克雷分配)在层次主题建模中的良好效果已经得到广泛验证。为了实现半监督或无监督,通常采用交叉验证或抽样超参来确定参数。但由于语料特征、建模需求等不确定因素,参数调节方法、建模效果和效率都是实际应用中的难点。该文首先结合贝叶斯线索和范围线索构成的统一分析框架,研究hLDA主题建模中的关键影响因素,然后给出一个切实有效的建模策略及流程,最终结合ACL MultiLing 2013多文档摘要语料进行实际建模效果评估。

欧美国家颠覆性技术政策文本数据的主题建模分析研究

[目的/意义]颠覆性技术具有前瞻性、突变性与革命性等特征,对于国家科技创新发展具有巨大的推动作用,在各国的科技研发体系中逐渐占有重要的战略位置。当前各国政策文本数量庞大、主题繁多,传统的情报分析方法难以实现大量政策跟踪与内容挖掘。通过大量政策文本进行主题抽取,可以快速了解其他国家在相关领域的政策倾向与关注焦点。[方法/过程]文章采用word2vec和LDA相结合的主题模型分析技术,对3个国家政府和组织官网公开的颠覆性技术相关的11686条政策文本数据进行主题抽取,通过对主题建模结果的解读,分析欧盟、英国、美国颠覆性技术相关政策文本的主题特征。[结果/结论]研究发现,这些国家和组织在颠覆性技术识别与政策支持方面已经有较为体系化的运转模式,同时对颠覆性技术在计算机科学、信息科学、生命科学、材料与能源、医疗、教育等领域内产生的影响给予了较高关注,且在近几年中普遍倾向于关注国际上达成共识的全球性问题。