基于改进型VSM-HowNet融合相似度算法研究

随着信息科学技术的发展和互联网技术的普及,社会上出现了越来越多的以博取观众的眼球为目的的"标题党"现象。为了识别"标题党"新闻,给出了一种基于改进型的VSM结合余弦相似度的文本相似度计算方法和《知网》(How Net)文本相似度计算方法,并研究了基于改进型VSM-HowNet融合相似度算法,用这些文本相似度的计算方法分别和已有研究中的王氏主题-词形文本相似度计算方法做对比。此方法对"标题党"新闻识别的总准确率、总召回率及总F1值均高于其他文本相似度计算方法,对于识别一篇未知类型的新闻,改进型VSM-HowNet融合相似度算法相比于其他文本相似度计算方法更有优势。

结合语义相似度改进LDA的文本主题分析

为对评论文本进行准确的主题分类,提出一种结合HowNet语义相似度和隐含狄利克雷分配(LDA)模型的主题聚类方法。不同于传统LDA模型,该方法通过HowNet常识知识库计算输入单词与当前主题聚类中单词间的语义相似度,以此调整LDA模型中的超参数β。为不同的单词分配不同的β值,以此监督聚类过程,在主题分析中实现从语法到语义的转变。实验结果表明,该方法能够有效提高主题聚类的准确性。

PMI与Hownet结合的中文微博情感分析

为解决中文微博情感的分类问题,文中提出了基于微博数据将PMI与Hownet相结合的情感分类方法。通过对微博数据短小、新颖特征的研究,提出词典合并方法。将现有词典按照Hownet词语相似度合并,利用PMI对网络词语进行情感分类。添加网络情感词构造适应微博文本特征的情感词典,并在新词典的基础上结合监督学习方法训练情感分类模型。实验结果表明,用此方法进行情感分析能够有效识别网络新词对情感分析的影响,准确率可达78.3%,在对含有网络新词的微博情感分析上,该方法相比仅使用词典或者监督学习的准确率更高。