基于隐含空间模型降维和LDA模型的学科主题识别研究

【目的/意义】现有学科研究主题的梳理多为领域专家的定性分析和学科学者的文献梳理,一定程度会由于研究思维的局限性和获取知识的片面性造成学科研究主题误判,为有效避免漏判误判现象的发生,提出识别模型。【方法/过程】首先,运用传统LDA模型分析主题特征词;其次,结合上下文语义信息进行中文分词,形成学科主题词库;最后,结合隐含位置聚类算法发现潜在社区,提高主题识别效果。【结果/结论】提出的方法一定程度上优化了主题挖掘算法在识别短文本主题的效果,消除主观意愿。由计算机自行分类并实现科学研究前沿主题的预测,揭示前沿领域的研究热点,为致力于研究前沿学科的新兴学者提供参考价值。

共词网络LDA模型的中文短文本主题分析

由于短文本的特征稀疏性,传统的LDA或PLSA主题模型分析短文本的效果并不理想。结合社交网络社区发现技术,提出CA-LDA模型(Latent Dirichlet Allocation Model with Co-word network Analysis)。在传统LDA模型的基础上加入共词网络分析,考虑词汇在不同文档间的共现情况,构建词汇社交网络;利用词汇社交网络隐含空间降维的方法,以自同构等价规则,合并在网络中结构特征相同的词汇,在不损失信息的前提下,降低了词汇矩阵稀疏性;考虑词汇搭配关系(网络节点的邻接),以共词网络特征向量中心度调节主题模型中的词汇权重,通过递归累加,提高与重要词汇搭配的词汇的重要性;在传统LDA主题模型吉布斯采样(Gibbs Sampling)过程中,同时增加隐含位置聚类模型的社区发现算法,提高了具有相同搭配关系词汇划分在同一主题下的概率。实验证明该模型在短文本分析中有较好的效果。

基于社交网络分析和LDA主题挖掘的短文本挖掘研究

随着自媒体技术的不断发展,如何高效挖掘短文本数据信息已成为现阶段的研究重点。传统主题挖掘方法进行短文本数据分析时,仅考虑单位词出现频率进行判断,未考虑语义关联结构信息,分析效果欠佳。针对短文本数据的稀缺性,文中提出一种基于社交网络分析和LDA的主题挖掘分析模型。首先结合共词分析算法,分析不同文档间主题词的关系;然后结合社交网络分析算法,提高共词网络主题词耦合度;再借助隐含空间模型对共词网络进行降维,提高社交网络耦合性;最后结合隐含位置聚类算法发掘潜在社区,提高主题识别效果。实验结果表明,所提方法能够在一定程度上优化主题挖掘算法在识别短文本主题的效果,便于进行短文本研究,具有实用价值,也可为后续应用于前沿主题识别提供参考。