面向短文本语义分析的标签条件神经主题模型

无监督机器学习方法中的神经主题模型已被广泛用于自动挖掘文本潜在语义。然而,短文本篇幅有限,文中可用于推断的信息匮乏,模型难以在上下文不充分的情况下正确识别歧义词。为此,提出了一种面向短文本语义分析的标签条件神经主题模型,模型采用变分自编码器架构,在编码器输出的主题分布上引入文本的标签信息,作为主题类别级的语义标识符指导模型过滤与当前主题语义不相关的词、凝练语义并辨识歧义词在主题语境下的准确词义,引导模型推断离散一致的主题。针对短文本应用过程中主题语义分布统计显著有偏的数据特点,在模型训练过程中引入泰勒损失,通过调整泰勒多项式系数建模短文本类别分布不平衡。实验结果表明,该模型不仅能够极大提高短文本主题建模的质量,生成连贯且多样的主题,而且能有效提升下游任务性能。