一种基于多字互信息与邻接熵的改进新词合成算法

在微博中,新词的构词规则多样且复杂多变。针对基于词内部结合度与边界自由度的新词发现方法对新词内部结合度不高的问题,改进一种融合多字互信息与左右邻接熵的新词合成算法。利用多字互信息提高新词的内部结合度,最终达到提高新词识别精度的目的。实验结果表明,改进的方法能有效提高微博新词识别的性能。

基于改进互信息的微博新情感词提取

针对微博新词的情感倾向分析问题,提出了一种改进互信息的微博新情感词提取方法.首先,对预处理后的微博数据进行N元切分,以此得到候选字串;然后,通过计算多字互信息(multiword mutual information,MMI)和左右侧邻接熵对候选字串进行扩展和过滤得到候选新词,再将候选新词与相应词典进行对比得到新词;最后,通过词间情感相似度(sentiment similarity between the words,SW)计算出新词的情感倾向值,从而得到新情感词.实验结果显示,该方法对新词情感倾向识别的准确率、召回率和F1值比文献[4]方法分别提高了13.14%、5.81%和8.59%,因此该方法具有很好的应用价值.