基于TextRank算法和互信息相似度的维吾尔文关键词提取及文本分类

针对维吾尔语文本的分类问题,提出一种基于TextRank算法和互信息相似度的维吾尔文关键词提取及文本分类方法。首先,对输入文本进行预处理,滤除非维吾尔语的字符和停用词;然后,利用词语语义相似度、词语位置和词频重要性加权的TextRank算法提取文本关键词集合;最后,根据互信息相似度度量,计算输入文本关键词集和各类关键词集的相似度,最终实现文本的分类。实验结果表明,该方案能够提取出具有较高识别度的关键词,当关键词集大小为1250时,平均分类率达到了91.2%。

基于词间距和点互信息的影评情感词库构建

在线影评的情感词能够直观的表达观众的电影观后感,已成为情感分析研究的热点之一。如何针对海量纷繁的影评数据建立领域特有的情感词库来提高影评情感分析准确性是当前影评情感分析亟待解决的问题。本文提出了一种新的基于词间距和点互信息的中文影评情感词库构建方法。该方法首先结合影评语料和基础词典利用K-means++聚类选择出情感倾向明显的正负面种子词集;再利用词间距和点互信息(Distance of Word Point-wise Mutual Information,DW-PMI)算法计算出影评领域词与种子词的语义相似度,得到影评领域情感词表;最后将影评领域情感词表加入基础情感词典构建出中文影评情感词库。实验结果证明所构建的词库可显著提高中文影评情感分析的准确度。