对话系统评价方法综述

本文介绍了对话系统的发展历史以及随着对话系统发展而衍生出的多种对话系统评价方法,从任务型对话系统与开放域对话系统两个方向进行了调研和总结,分析了不同评价方法的利弊,每种评价方法的侧重点和不同方向上最新的研究进展.在任务型对话系统方面,介绍了Steve Young等人的近期研究成果,总结了几种被广泛使用的评价思路.在开放域对话系统方面,从客观指标评价和模拟人工评分两个角度探索了开放域聊天系统的评价方法,对于不同的指标和不同的研究思路做了分析及介绍.最后,本文通过总结及分析对话系统的经典评价方法和当前最新的基于神经网络模型的对话评价方法,对对话系统评价方法的发展趋势进行了展望.