融合形态和语义相似度的对话短文本聚类

智能对话系统是一种人机交互系统,其产生的对话文本是一种特殊的短文本并蕴含着丰富的信息.这类对话短文本具有口语化、输入错误、同音不同字以及同义不同字等特点,导致现有的经典聚类算法无法进行有效的处理.为了对这类对话短文本进行有效的聚类,提出一种形态和语义相似度相结合的短文本聚类算法,其中形态相似度采用字符串相似度,语义相似度基于How Net和Word Net词语知识库.通过在多种短文本数据集上实验结果表明,本文短文本聚类算法在中英文短文本数据集上均有较好的聚类效果.在小i机器人对话文本数据集上的聚类纯度指标相对于Kmeans算法和gcluto工具包中的算法分别有20%和7%的提高.

医学领域中基于注意力机制的查询扩展

临床决策支持系统中,通常使用电子病历中的病人描述作为查询检索,进而辅助医生做决策分析.我们提出了一个基于注意力机制的网络扩展查询方法以提高检索效果.由于医学文本注释的难度和成本很高,并受到了迁移学习理念的启发,我们选择了非医学领域数据集学习句子与实体的关系,迁移到医学领域数据集,模型用LSTM获得句子表征并用注意力机制来获得实体表示.我们提出的方法可以动态选择相关实体作为查询扩展,同时我们不仅考虑单个实体作为扩展的影响,也考虑了实体组合作为扩展的影响,解决了选择固定数目实体的问题.我们在TREC Clinical Decision Support Track三个标准数据集上进行实验,实验表明本文提出的方法在实验结果上有显著的提升.

智能分类算法在游戏故障告警中的应用

在游戏运维领域,为了充分挖掘游戏用户在反馈故障时的意图,运用自然语言处理的手段对记录故障事件的文本进行分类,可以减少告警的误判发布更具价值的告警.本文提出一种面向突发告警事件的智能分类算法,首先分析用户反馈文本数据的各项特征,然后对数据利用半自动构建的语义映射工具进行概率计算,从而形成有效的告警类别.将此方法应用到企业级业务故障定位中,能更有针对性地发布告警,收敛无关告警,支撑运维人员更快速准确地定位到故障原因.实验结果表明,基于语义映射的智能分类算法能够有效地提高告警的针对性,比简单的文本分类算法具有更好的结果.