基于改进LDA和K-means算法的主题句聚类

针对隐含狄利克雷分布(LDA)主题个数的随机选定和传统K-means算法初始聚类中心选择的随机性等缺陷,提出一种新颖启发式的主题句聚类方法。该方法利用文档集聚类簇数与拆分为句子集中隐藏的主题数目一致特点,先通过层次聚类分析出文档集聚类簇,采用最小描述长度(MDL)剪枝算法来确定最佳聚类数n个,然后将n作为隐含狄利克雷分布的主题数目的先验参数,计算n个主题所在维度上的重要句子作为初始聚类中心,最终完成隐含主题句聚类。实验结果表明改进后聚类算法克服了噪声数据的干扰,避免了主题数的经验误差,聚类结果更精确。

基于依存关系与主题差异的非遗知识元抽取方法研究

为准确抽取出细粒度非遗知识元,实现非遗知识的深度揭示与有效利用,提出了一种基于依存句法关系与主题差异的知识元抽取方法。该方法分为3个阶段:第一阶段根据统计特征识别出非遗术语;第二阶段根据非遗术语及其依存关系实现非遗知识元知识项的半自动抽取;第三阶段基于知识元的主题结构实现对冗余、噪声数据的过滤。该方法在非遗项目“摆手舞”文档集上进行了实验验证,表明了其可行性与有效性。