用于短文本关键词抽取的主题翻译模型

为进一步改善短文本关键词抽取的效果,提出一种TTKE(topical translation for keyphrase extraction)主题翻译模型。结合主题模型与统计机器翻译模型的优势,通过长文本辅助短文本进行主题发现,学习特定主题下词语与关键词的对齐概率,为给定短文本进行关键词抽取。在真实数据集上进行实验,实验结果表明,该模型能够有效提高短文本关键词抽取的效果。

用于短文本关键词抽取的TTM_DMM主题翻译模型

基于主题翻译模型的短文本关键词抽取方法,均采用LDA(Latent Dirichlet Allocation)主题模型作为主题发现方法,然而LDA在处理特征稀疏的短文本时,主题发现效果较差,使得当前的主题翻译模型存在不完善之处。论文通过将DMM(Dirichlet Multinomial Mixture)模型作为主题发现模型,结合统计机器翻译,提出了一种用于短文本关键词抽取的TTM_DMM(Topical Translation Model based on Dirichlet Multinomial Mixture)主题翻译模型。该模型利用DMM模型发现短文本主题信息,在主题约束下学习词语与关键词的翻译概率,从而提高短文本关键词抽取效果。在真实数据集上的实验结果表明,论文提出的TTM_DMM模型在评价指标Precious、Recall以及F-measure上优于现有的短文本关键词抽取方法。