基于BERT-LDA的国外LIS领域学科交叉研究演化分析与前沿主题识别

识别学科交叉研究的前沿主题,并对演化趋势进行分析,有助于揭示学科交叉融合的方向,为未来创新性、突破性研究提供参考。首先,基于引文视角构建测度论文学科交叉性的指标,识别具有学科交叉性的研究论文;其次,通过BERT-LDA模型识别研究主题,利用余弦相似度计算主题之间的相似度,构建主题演化路径;最后,基于新颖度、增长性、关注度、影响力构建前沿主题识别指标体系,识别具有前沿性的学科交叉研究主题。以图书情报学(Library and Information Science,LIS)为例展开研究,研究结果显示,2004—2023年该学科领域的交叉研究主题呈现出逐渐细化和深入的特点,主要集中在信息挖掘与知识发现、互联网信息行为、医疗信息学3个方面;现阶段学科交叉研究前沿主题为医疗数据模型、舆情治理与情感分析、机器学习与深度学习;基于信息技术的研究方法和其在不同领域的应用研究具有良好的应用前景,有可能成为未来LIS领域的核心研究主题。

基于BERT-LDA和K-means聚类的绘画作品价值评估指标体系构建

针对目前绘画领域缺乏标准的价值评估指标体系,提出了基于BERT-LDA和K-means聚类的绘画作品价值要素挖掘方法。运用超平面法对绘画文献进行了停用词筛选,基于BERT-LDA模型构建了包含文本语义信息的融合特征向量,运用K-means算法对融合特征向量进行降维可视化,随之构建了绘画作品价值评估指标体系。结果表明,基于BERT-LDA模型和K-means算法识别的主题及主题词相比传统LDA模型的查准率、查全率和F值分别提升了28.5%、10%和21.5%。通过随机森林等算法对指标体系进行验证,验证了构建的绘画作品价值评估指标体系的科学性。

基于BERT-LDA模型的新冠肺炎疫情网络舆情演化仿真

构建大规模网络舆情演化仿真模型,对新冠疫情武汉重灾区与全国其他地区采取差异化的应急管理和舆情疏导具有指导价值。为实现主题细粒度的舆情情感演化仿真,将LDA(Latent Dirichlet Allocation)主题模型与BERT(Bidirectional Encoder Representations from Transformers)词向量深度融合,优化主题向量助力文本主题聚类;同时,在改进BERT预训练任务的基础上,叠加深度预训练任务,以提高模型在情感分类中的精确度。结果表明:在主题向量训练过程中,改进的BERT-LDA模型较原始LDA模型NPMI(Normalized Pointwise Mutual Information)值提升0.357;在疫情事件情感分类任务上,AUC(Area Under the Curve)值超过了99.6%,证明其能够有效运用于大规模网络舆情演化仿真。

基于BERT-LDA模型的短文本主题挖掘

传统的主题模型在对短文本建模时,会由于词汇稀疏导致模型效果不好。论文针对短文本数据特征,提出了BERT-LDA主题挖掘模型(Short Text Topic Mining Based on BERT and LDA),该算法通过使用预训练BERT模型提取文本语义特征,再通过K-means聚类算法将短文本聚合成长文本再进行主题建模,从而扩充单条文本包含的语义特征,有效降低了词汇稀疏性,从而提升模型效果。通过在实际数据上进行对比实验证明,与LDA和BTM模型相比,该算法能够取得更低的困惑度。

融合SAO和BERT-LDA的古籍保护关键技术识别研究

古籍保护肩负着传承文化的职能,是国家“十四五”规划和2035远景目标之一。对古籍保护技术的概念界定及其关键技术识别将促进相关技术的利用和创新,助推古籍保护工作。在原生性保护、再生性保护和传承性保护思路下对古籍保护技术进行界定。以德温特创新平台(DI)全球专利数据库收录的古籍相关专利为数据源,基于DI专家改写的DWPI专利摘要文本,融合SAO和BERT-LDA构建深度学习模型,验证其有效性并用以识别古籍保护关键技术主题;使用K-means算法实现语义关联聚类,结合古籍保护专家知识、DI主题聚类、具体技术内容解读,判定并验证关键技术主题名称。融合SAO实体结构和BERT-LDA的模型聚类效果佳;主题数为5时类内具有最高的连贯性与一致性;识别出古籍保护关键技术主题:脱酸加固、保存环境控制、破损修复、数字化及整理出版、展示推广技术。本研究丰富了技术识别模型,助推古籍保护技术专题数据库建设,为古籍保护的相关工作、技术研发、技术推广应用等提供了技术信息参考。

基于BERT-LDA的关键技术识别方法及其实证研究——以农业机器人为例

[目的/意义]好的关键技术识别方法能够更好地为各层各级的关键技术识别、预测和研发提供支撑。[方法/过程]提出基于BERT-LDA模型的关键技术识别方法,通过将BERT与LDA相结合,以弥补单一使用LDA主题模型缺乏上下文语义信息的缺陷,并以农业机器人为例进行实证研究。具体包括以下过程:①基于python构建BERT语义特征向量和LDA主题特征向量,将其在高维空间进行向量拼接,利用自编码器学习连接向量的低维潜在空间表示;②在潜在空间表示上使用K-means算法实现语义关联聚类,得到二维聚类效果图及关键技术主题词云图;③进行关键技术判定;④在农业机器人技术领域,与基于德温特TI专利软件的专利分析结果和《中国制造2025》重点领域技术路线图中农业装备关键共性技术清单对比,实证本方法的有效性。[结果/结论]研究表明:BERT-LDA模型提高了主题聚类的连贯性及细粒度划分的精准度;具有很好的关键技术识别精准率和召回率;对识别的不同数据库和出版类型的文献数据集具有较好的包容性与兼容性,适应性强;可广泛应用于各类关键技术的识别。

基于文本深度聚类的意见领袖识别模型研究

网络舆情事件所引发的犯罪呈高发态势,而传统意见领袖识别方法通常基于用户信息、转发、评论数等元数据,忽略了网络结构和文本内容等关键信息,缺乏意见领袖观点,容易导致结果偏差。针对上述问题,提出结合语义聚类的意见领袖识别模型,通过BERT-LDA&DEC算法对用户文本进行聚类,根据不同子话题对意见领袖进行分组,提取关键词,通过将分组后的用户从网络拓扑、个人属性、活跃度三个方面建立指标体系,使用熵权灰色关联法对用户指标进行评价,最后结合聚类关键词进行综合分析。实验证明,该方法可以有效识别微博话题中不同子话题中的意见领袖及其观点。

多维视角下新一代人工智能技术的公众感知研究

[研究目的]社交媒体评论是分析研判公众对新技术应用态度感知的重要对象,为突破传统文本主题挖掘技术的随机性弊端以及情感分析技术的单一性限制,提升文本数据量化分析的精准性以及实现更佳的可视化效果,亟需构建新的主题模型方法与情感分析手段。[研究方法]通过建立结构性融合的深度学习模型——BERT-LDA模型,以ChatGPT微博评论文本为研究对象,利用BERT和LDA分别提取文本的复杂语义信息和关键主题,实现了对深度隐藏主题特征的挖掘,并基于BERT情感分析,从整体、主题和态度多维度视角设计了情感演化的可视化分析。[研究结论]研究表明,BERT-LDA模型能够高效处理大规模、短文本、非结构的社交媒体评论数据,成功识别出公众对ChatGPT在就业教育、未来发展、产品开发、技术变革等不同领域带来影响的态度差异;与传统主题识别模型(LDA、TF-IDF、BERT)相比,BERT-LDA模型在主题识别效果和泛化能力上表现更优,尤其体现在对关键主题和重要词汇的精准挖掘能力上;公众对ChatGPT的认知态度并不统一,表现出赞誉与质疑并存的复杂情绪。

基于LDA-BERT相似性测度模型的文本主题演化研究

文章针对LDA主题模型在提取文本主题时忽略文本语义关联的问题,提出基于LDA-BERT的相似性测度模型:首先,结合利用TF-IDF和TextRank方法提取文本特征词,利用LDA主题模型挖掘文本主题;其次,通过嵌入BERT模型,结合LDA主题模型构建的主题-主题词概率分布,从词粒度层面表示主题向量;最后,利用余弦相似度算法计算主题之间的相似度。在相似性测度模型基础上构建向量相似度指标分析文献研究主题之间的关联,并绘制主题演化知识图谱。通过智慧图书馆领域的实证研究发现,使用LDA-BERT模型计算出的主题相似度结果相较于LDA主题模型的计算结果更加准确,与实际情况更相符。

基于改进TF-IDF与BERT的领域情感词典构建方法

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。

基于LDA2Vec-BERT的新兴技术主题多维指标识别与演化分析研究——以颠覆性技术领域:区块链为例

[目的/意义]挖掘并可视化全球性颠覆性技术:区块链领域发明专利文献中隐含的细粒度新兴和热点技术主题及其演化差异,能够为领域从业者、科技政策制定者、管理部门和科技研发人员提供参考和借鉴。[方法/过程]以全球区块链领域的专利文献为基础,按时序划分不同的时间切片,综合运用LDA主题模型、Word2vec词向量模型和BERT语言模型构建区块链领域技术主题挖掘模型,同时通过构建识别新兴和热点技术主题的四维指标:主题热度,主题族群,主题技术性和主题新颖度,识别出区块链领域细粒度新兴和热点技术主题,并结合主题演化模型,对新兴和热点技术主题差异进行演化分析。[结果/结论]研究发现,LDA2Vec-BERT主题识别与演化模型能够基于区块链领域海量专利文献标题和摘要识别出领域的新兴技术主题和热点技术主题,并直观清晰展示出区块链领域细粒度技术主题的演化趋势和特征,发现区块链技术形成从构架研究到应用研究的发展趋势。通过模型结果对比可以发现,识别结果科学合理,且模型的精准率、召回率、F1值均高于其他识别模型,证明构建的集成模型能有效识别颠覆性技术领域细粒度新兴和热点主题。

融合Sentence-BERT和LDA的评论文本主题识别

[目的/意义]为了解决评论文本主题识别时语义描述不充分以及学习到的主题语义连贯性不强等问题。本文将Sentence-BERT句子嵌入模型和LDA模型相结合,提升评论文本主题的语义性。[方法/过程]采用Sentence-BERT模型获取评论文本句子层面的向量特征,同时,采用LDA模型获取评论文本的概率主题向量,随后使用自动编码器连接两组向量,运用K-means算法对潜在空间向量进行聚类,从类簇中获取上下文主题信息。[结果/结论]通过对评论文本数据集的实验,本文方法可以较好地获得具有语义信息的主题词。Sentence-BERT模型与LDA结合,增加了模型的复杂性。通过对比,本文方法获得的主题一致性指标(Coherence)优于目前常见的评论文本主题识别方法。

基于密度Canopy的评论文本主题识别方法

融合Sentence-BERT和LDA的评论文本主题识别(SBERT-LDA)方法,将LDA的主题数作为K-means算法中的k值,导致算法可解释性较差、主题一致性较低。为了解决上述问题,提出基于密度Canopy的SBERT-LDA优化方法(SBERT-LDA-DC),利用密度Canopy改进Kmeans算法。实验结果表明,提出的方法在一致性指标上要优于使用K-means以及K-means++对特征向量聚类的同类方法;与SBERT-LDA方法相比,在1852条戏剧评论数据集上,一致性指标值提高了22.9%。因此,所提出的SBERT-LDA-DC方法是有效的,对产品或服务提供者更好地了解用户意见、完善自身产品或提升服务水平提供了新方法,具有较强的实际应用价值。

基于BERT和LDA模型的酒店评论文本挖掘

通过主题模型对酒店评论文本进行文本挖掘,有利于引导酒店管理者和客户对评论信息做出合适的鉴别和判断。提出一种基于预训练的BERT语言模型与LDA主题聚类相结合的方法;利用中文维基百科语料库训练BERT模型并从中获取文本向量,基于深度学习算法对评论文本进行情感分类;通过LDA模型对分类后的文本进行主题聚类,分别获取不同情感极性文本的特征主题词,进而挖掘出酒店客户最为关注的问题,并对酒店管理者提出具有参考价值的建议。实验结果表明,通过BERT模型获取的文本向量在情感分类任务中表现较好,且BERT-LDA文本挖掘方法能使酒店评论文本的主题更具表达性。

面向企业竞争情报的弱信号识别研究

[目的/意义]针对现有企业弱信号识别方法的单一性,本文提出一种基于LDA-BERT融合模型的弱信号全自动识别方法。[方法/过程]该方法首先通过LDA主题模型对文本数据集进行分类;其次,构建主题和术语双层过滤函数从主题分类的结果中提取早期预警信号,通过紧密中心度、主题权重以及主题自相关性三大度量对主题进行过滤,并基于主题内术语的归一化频率和概率提取出弱信号;最后,运用BERT深度学习模型在语义上拓展弱信号。[结果/结论]本文使用企业社交媒体新闻数据集对构建的系统模型进行验证,有效检测出相关弱信号,并挖掘出弱信号随时间推移逐渐增强的演化特性。该模型不仅解决了现有弱信号研究人工参与较多和检测结果可解释能力不高的问题,且融合模型弥补了LDA词袋模型的不足,能更有效地对弱信号进行识别,为企业危机预警和战略决策管理提供参考信息的同时,也为弱信号识别研究提供了新思路、新方法。

基于中心词和LDA的微博热点话题发现研究

[目的/意义]通过引入中心词概念,提出一种改进LDA主题模型,以期在微博热点话题发现中获得更好的话题分布效果。[方法/过程]以微博热点数据为研究对象,进行文本表示学习,将基于Bert和Word2Vec的模型设为实验组,基于TF-IDF和BOW的模型设为对照组,令实验组和对照组分别生成改进LDA模型和传统LDA模型。[结果/结论]通过对比传统LDA模型和改进LDA模型,发现改进方法所生成的LDA模型在高频词分布集中度上更优于传统方法,在下游任务应用中更适合热点话题生成。

基于LDA与BERT-BiLSTM-Attention模型的突发公共卫生事件网络舆情演化分析

[目的/意义]探索突发公共卫生事件网络舆情发展周期中的主题和情感演化历程,研究影响网民情感波动的因素,为网络舆情有效管控提供决策支持。[方法/过程]结合博文数量的时序特征和生命周期理论进行周期划分,利用LDA模型、BERT-BiLSTM-Attention模型构建研究框架,探究不同周期的舆情主题差异及情感演化。[结果/结论]线下病毒变异演化和线上舆情主题与情感演化具有关联性。在新型冠状病毒变异语料库中,BERT-BiLSTM-Attention模型分类准确率为0.8817,F1值为0.8778,其在情感演化分析上具有优越性。构建的“数据采集预处理、舆情周期划分、主题演化和情感演化到获得策略输出”的全过程分析框架对相关部门有效引导网络舆情提供了决策支持和理论支撑,BERT-BiLSTM-Attention模型能更准确地进行情感分类。[局限]数据源单一,面向时间维度上的演化历程未进行时空结合的演化分析。

基于深度学习的医患舆情多维演化仿真分析

为了探析医患关系近年来的情感演化过程,助力政府部门决策干预提供理论依据,从而更好引导网络舆论走向,促进和谐医患关系的构建。针对互联网复杂语境下大规模医患舆情文本数据,在BERT预训练模型下游任务中构建情感分类器,并与LDA主题抽取技术相结合进行多维情感演化仿真分析,最后结合ARIMA模型进行情感走势预测。通过实验分析表明,LDA-BERT医患舆情多维情感分析模型的情感预测准确度达到98%,ARIMA医患舆情时间序列预测模型的预测平均误差低于11.25%,证明其能够有效运用于大规模医患舆情演化的多维度监测与分析。

基于Sentence-BERT语义表示的咨询问题提示列表自动构建方法研究——以糖尿病咨询为例

[目的/意义]咨询问题提示列表能引导咨询者在智能问答和智能咨询系统进行咨询并为动态咨询引导提供基础。目前,关于问题提示列表构建的研究大多采用专家咨询法、访谈法,这些方法无法满足智能咨询服务要求,本文以有问必答网中糖尿病问答为例,提出了基于Sentence-BERT语义表示的咨询问题提示列表自动构建模型。[方法/过程]本文首先在糖尿病相关文献调查和分析的基础上确定糖尿病类目体系,并人工标注咨询问题类别;其次使用LDA模型对每类问题集进行主题聚类;然后各主题下通过Sentence-BERT预训练模型进行问题语义表示,textRank算法计算问题重要性并排序;最终冗余处理后构建出咨询问题提示列表。[结果/结论]实验结果表明,本文提出的模型能有效构建出信息质量较高的、内容丰富的咨询问题提示列表,对咨询引导有促进作用。

基于LDA-BERT模型的智慧图书馆主题演化研究

近年来,图书馆正不断朝“智慧化”方向迈进,智慧图书馆也逐渐走进研究者的视野。本文将LDA主题模型和BERT模型相结合,构建主题相似性测度模型,量化智慧图书馆领域主题之间的关联关系,并以此为基础绘制主题演化图谱,分析中外智慧图书馆领域研究主题的演化趋势,探究中外研究的异同。基于主题演化图谱可以看出,智慧图书馆领域的研究主要聚焦于智慧图书馆理论研究、智慧图书馆服务、智慧图书馆技术与实践研究、智慧图书馆管理、图书馆资源获取与知识产权等5个领域。其中,中文研究侧重智慧图书馆服务;外文研究则侧重图书馆的资源获取与管理。