短文本理解研究

短文本理解是一项对于机器智能至关重要但又充满挑战的任务.这项任务有益于众多应用场景,如搜索引擎、自动问答、广告和推荐系统.完成这些应用的首要步骤是将输入文本转化为机器可以诠释的形式,即帮助机器"理解"短文本的含义.基于这一目标,许多方法利用外来知识源来解决短文本中语境信息不足的问题.通过总结短文本理解领域的相关工作,介绍了基于向量的短文本理解框架.同时,探讨了短文本理解领域未来的研究方向.

基于短文本理解和改进聚类的微博热点发现

微博短文本具有内容短、特征稀疏、数据量大等特点,利用传统方法对博文进行热点话题发现的效果都不理想,因此提出了一种在大规模微博数据集上进行热点发现的方法。引入外部知识库来扩展微博信息,利用词语的语义知识进行短文本理解,解决了由于微博文本内容短、特征稀疏产生的短文本相似度较难度量问题。引入时间窗口机制对聚类算法进行改进,满足了热点发现的时效性,解决了微博数据量大导致效率低的问题。实验证明了方法的有效性。

一种长文本辅助短文本的文本理解方法

在狄利克雷多项回归(dirichlet-multinomial regression,DMR)模型的基础上,提出一个长文本辅助短文本理解的二元狄利克雷多项回归(dual dirichlet-multinomial regression,DDMR)模型。来自不同数据源的长短文本共享一个主题集合,并采用不同的狄利克雷先验产生长短文本的主题分配,使得长文本的主题知识能够迁移到短文本中,改善短文本的理解。试验表明,DDMR模型在短文本的主题发现效果上具有较大的提升作用。