Spoken dialog summarization system with HAPPINESS/SUFFERING factor recognition

This work presents a spoken dialog summariza- tion system with HAPPINESS/SUFFERING factor recognition. The semantic content is compressed and classified by factor categories from spoken dialog. The transcription of au- tomatic speech recognition is then processed through Chinese Knowledge and Information Processing segmentation system. The proposed system also adopts the part-of-speech tags to effectively select and rank the keywords. Finally, the HAPPINESS/SUFFERING factor recognition is done by the proposed point-wise mutual information. Compared with the original method, the performance is improved by applying the significant scores of keywords. The experimental results show that the average precision rate for factor recognition in outside test can reach 73.5% which demonstrates the possi- bility and potential of the proposed system.

口语对话管理综述

主要介绍了口语对话系统中对话管理的作用、基本问题和设计方法。对话管理在整个对话系统中处于核心地位,控制整个对话的进行,负责对用户输入的理解以及根据领域内容决定系统对用户的反应。对话管理的设计主要有基于状态图的结构(有限状态机)、填充槽结构和基于任务的结构三种方法,提出了一种基于逻辑表达式的结构,并设计了状态图/逻辑表达式双层结构。

基于对话回合衰减的cache语言模型在线自适应研究

目前由于特定任务域语料的稀疏并且难以收集,这严重阻碍了对话系统的可移植性。如何利用在线收集的少量训练语料,实现语言模型的快速自适应,从而有效提高对话系统在新任务域的识别率是本文的目的所在。本文对传统cache模型修正后,提出了基于历史单元衰减的cache语言模型,以在线递增方式收集语料进行自适应,并与通用语言模型进行线性插值。在对话系统中,以对话回合为历史单元,也可称为基于对话回合衰减的cache语言模型。在两个完全不同任务域———颐和园导游与火车票订票任务域进行的实验表明,在自适应语料不到1千句时,与无自适应模型相比,有监督模式下的识别错误率分别降低了47 8%和74 0%,无监督模式下的识别错误率分别降低了30 1%和51 1%。

口语对话系统中的语句主题提取

语句的主题提取是口语对话系统中话语分析部分的工作。目前的口语对话系统大多将自然语言处理的重点放在语法和语义平面,而忽视了对上下文语境的分析,该文提出一种基于规则的语句主题提取方法,通过自底向上与自顶向下两种分析器完成主题与用户意图的提取,为系统的自然语言生成提供更准确的领域知识,从而大大提高了系统的整体性能。

口语对话系统中对话管理的演变

为了对人机语言交互领域的主要工作进行归纳和总结,分析了口语对话系统的各个组成模块,包括主要研究内容和关键技术;然后,针对其核心的对话管理技术进行了综述,通过详细分析并比较几类主要对话管理实现方法,力求在分析现有算法的同时勾勒出其技术的发展与演变过程;最后,对对话管理领域的深入研究进行了分析与展望。

使用期待提高对话系统的语音识别率

在回顾了各种语言模型的基础上,针对如何更有效地构建口语对话系统中语音识别器的语言模型展开讨论,研究并实现了使用系统期待来建立语言模型的方法.在口语对话系统中,根据系统提出的问题或者系统给用户的提示,对话管理器产生对用户响应的期待,也称作系统期待.由于系统期待是建立在对话系统当前状态的基础上,所以可根据系统当前状态构建系统期待,从而建立更加优化的语言模型,并使用此语言模型来提高语音识别的识别率.

口语对话状态追踪的研究

口语对话系统是最自然的人机交互界面之一。然而语音识别和口语理解模块带来的级联错误会对用户体验造成很大影响,在嘈杂的环境中更为严重。对话状态跟踪器可根据对话的上下文和可观测到的语音识别、理解结果对各个回合的对话状态做出估计。因此,提出一种由数据驱动基于鉴别式模型的对话状态追踪方法,能够处理更大规模的特征集,特征函数依赖于可观测的全部N-best结果。通过在真实语音数据集上进行评测,实验结果表明,该方法比单纯使用1-best结果的基线系统具有更强的性能。

语音浏览器的概念、框架和应用

分析了语音浏览器的概念和框架,以及语音输入、对话管理和响应生成整个口语对话过程的标记规范,重点说明了语音浏览器的核心标准VoiceXML的原理和工作特性,并描述了应用语音浏览器创建口语对话系统的整体方案。以此为基础,本文给出了语音浏览器在股票交易系统中的具体应用实例。通过语音浏览器平台,可以创建灵活性很强的混合主导对话模式的口语对话系统。

基于逻辑回归的口语理解方法研究

针对语音识别错误导致口语理解系统性能下降的问题,提出一种易于训练且解码快速的鉴别式口语理解方法。首先为每个语义要素建立一个二类逻辑回归模型,随后根据领域中的限制关系建立联合概率模型。在英语公开数据集DSTC2上的实验结果表明,该方法优于人工规则方法和语义元组分类器模型。

融合角色、结构和语义的口语对话预训练语言模型

口语语言理解是任务式对话系统的重要组件,预训练语言模型在口语语言理解中取得了重要突破,然而这些预训练语言模型大多是基于大规模书面文本语料。考虑到口语与书面语在结构、使用条件和表达方式上的明显差异,构建了大规模、双角色、多轮次、口语对话语料,并提出融合角色、结构和语义的四个自监督预训练任务:全词掩码、角色预测、话语内部反转预测和轮次间互换预测,通过多任务联合训练面向口语的预训练语言模型SPD-BERT(spoken dialog-BERT)。在金融领域智能客服场景的三个人工标注数据集--意图识别、实体识别和拼音纠错上进行详细的实验测试,实验结果验证了该语言模型的有效性。