结合语义相似度改进LDA的文本主题分析

为对评论文本进行准确的主题分类,提出一种结合HowNet语义相似度和隐含狄利克雷分配(LDA)模型的主题聚类方法。不同于传统LDA模型,该方法通过HowNet常识知识库计算输入单词与当前主题聚类中单词间的语义相似度,以此调整LDA模型中的超参数β。为不同的单词分配不同的β值,以此监督聚类过程,在主题分析中实现从语法到语义的转变。实验结果表明,该方法能够有效提高主题聚类的准确性。

结合词性的短文本相似度算法及其在文本分类中的应用

针对基于语义的短文本相似度计算方法在短文本分类中准确率较低这一问题,提出了结合词性的短文本相似度算法(GCSSA)。该方法在基于hownet("知网")语义的短文本相似度计算方法的基础上,结合类别特征词并添加关键词词性分析,对类别特征词和其他关键词的词性信息给定不同关键词以不同的权值系数,以此区别各种贡献度词项在短文本相似度计算中的重要程度。实验表明,该算法进行文本相似度计算后应用于短文本分类中较基于hownet的短文本分类算法在准确率宏平均和微平均上提升4%左右,有效提高了短文本分类的准确性。

协同讨论观点影响度分析及其可视化实现

随着大量网络协同讨论平台的产生,讨论的参与者已经突破了地域的限制,讨论的内容与深度也随之爆炸性地增长。在含有大量冗余信息的讨论中,快速找到讨论的核心与当前热点话题,是推进讨论快速进行的关键。文章提出一种观点影响度分析方法,通过基于Hownet语义词典的语义相似度分析方法,帮助讨论观点自动分类,并通过可视化手段将观点之间的影响程度实时展现出来,辅助人们在杂乱的讨论过程中把握中心观点和当前热点。