基于信息熵与词语活跃度的领域词抽取

提出了一种基于信息墒和词语活跃度的领域词抽取方法,通过对语料进行预处理,提取出候选领域词,计算所有候选领域词的正规化类间分布(NCD)和正规化类内分布(NDD),设置阈值对候选领域词过滤,最后分析了双字候选领域词中包含的常见噪音词语,使用词语活跃度对候选领域词中的双字词语进行过滤,该方法综合考虑了领域词在类别中的概率分布和领域词的内部特征。实验结果表明,该方法在领域词的识别上具有较好的准确率和召回率。

基于词共现和词上下文的领域观点词抽取方法

为提高领域观点词的抽取效果,主要研究了词共现和词上下文对领域观点词抽取的影响。引入词上下文生成同义词词表的方法,使用词上下文构造的向量表示该词语,考察词集与种子词语向量间的相似度,完成观点词的抽取和判别。提出了一种组合词上下文与传统考虑词共现的SO-PMI(senmantic orientation-pointwise mutal information)方法。实验结果表明,该方法有一定效果,相较于SO-PMI在性能上有较大提高,从一定程度解决了领域适用性的问题。