一种基于多字互信息与邻接熵的改进新词合成算法

在微博中,新词的构词规则多样且复杂多变。针对基于词内部结合度与边界自由度的新词发现方法对新词内部结合度不高的问题,改进一种融合多字互信息与左右邻接熵的新词合成算法。利用多字互信息提高新词的内部结合度,最终达到提高新词识别精度的目的。实验结果表明,改进的方法能有效提高微博新词识别的性能。