面向专题检测的主题与社群联合聚类模型

专题检测旨在从大规模文本数据中自动聚类同一主题的相关文本,当前研究主要聚焦于层次聚类与密度聚类等聚类算法框架的分析与应用,在专题内容的分析与表示方面缺乏深入探索。通过对专题颗粒度的分析,提出了一种新型主题与社群联合聚类模型。该模型通过主题一致性辨识内容相关的文本,并借助文本中的命名实体社群,进一步细分内容相关的文本聚类,从而避免大规模文本中"事同人不同"的类似专题错误合并。最后,借助该模型在专题检测的层次和粒度上进一步求精,在搜狐人工标记的69项专题万余篇文档上进行专题检测测试。试验结果表明,该模型聚类纯度高于82%,具有实用价值。

基于文本分析的在线课程画像研究

[目的/意义]在“互联网+教育”的时代,网络课程丰富,类型众多,学习者难以快速找到适合的在线课程。传统在线课程简介无法提供适配性引导,而课程画像能描述课程整体定义,满足学习者差异化课程适配需求。[方法/过程]基于文本分析建立相关语言模型,构建在线课程画像。以学习者在线评论文本作为数据集,从课程基本信息、联合主题模型、情感判别三个维度构建课程画像的概念模型。联合主题模型先通过基于词向量的Word2Vec算法计算词语之间的相关性,构建初始相似词库;接下来结合K-means文本聚类算法从两个维度提取评论主题;最后利用ROST_CM6软件进行评论文本情感判别并解析语义网络,数据可视化后得到课程画像。[结果/结论]最终画像能清晰呈现学习者视角的课程描述,促进整体学习效率。