运动性构音障碍患者发音时构音运动学特征:基于电磁发音动作描记仪的研究

目的利用电磁发音动作描记仪(EMA)探讨脑受损后运动性构音障碍患者发音时构音器官的运动学特征。方法收集2017年10月至2018年10月本院运动性构音障碍患者6例(构音障碍组)及年龄和性别相似的健康受试者10例(健康对照组)。运用Frenchay构音障碍评定法对患者构音障碍严重程度进行评定,运用EMA对两组构音器官运动学特征进行测评。采集运动数据的微型传感器分别粘贴于受试者唇、舌(舌尖、舌面、舌根)及下颌处,参考传感器粘贴于鼻梁处,所有微型传感器均粘贴于受试者矢状面中轴线上,以追踪和采集受试者各构音器官的运动学参数(包括持续时间、速度、加速度、运动距离及位移运动轨迹),评估时所有受试者均进行音节重复任务,发音材料由声母(/d/、/t/、/j/、/q/、/g/、/k/、/b/和/p/)和韵母(/a/、/ia/或/iu/)构成,产生有汉语意义的不同音节,每个音节重复3次。利用Praat软件和Matlab软件对音频和运动数据进行处理。与健康受试者比较,分析构音障碍患者的构音运动学特征。结果 Frenchay构音障碍量表评估显示,患者构音障碍严重程度为中度到极重度。EMA测评结果显示,与健康对照组相比,构音障碍组发不送气音和送气音时,舌尖、舌面、舌根和唇的运动速度、加速度和运动距离减少(t> 2.422, P <0.05),下颌运动速度、加速度和运动距离两组比较无显著性差异(t <1.016, P> 0.05);舌尖、舌根和下颌运动持续时间延长(t> 3.369, P <0.05),舌面和唇运动持续时间两组比较无显著性差异(t <2.146, P>0.05)。发不送气音与送气音相比,健康对照组发送气音时舌尖、舌根和下颌运动持续时间增加(t> 2.156, P <0.05),而构音障碍组各构音运动学参数比较均无显著性差异(t <1.675, P> 0.05)。两组运动学参数和同步声音音频图像分析显示,构音障碍组构音运动速度和加速度随时间变化未呈现一定规律;声音音频变化无规律,连续发三个/da/音时持续时间不均等;构音运动上下位移与前后位移协调性差,运动轨迹与健康对照组相比存在明显差异,前后位移幅度较健康受试对照组偏小。结论 EMA通过对构音器官的运动学参数进行量化测评,可揭示脑损伤后构音障碍患者的构音运动学特征。

普通话多模态情感语音数据库构建与评测

本文设计并建立了一个包含发音运动学、声学、声门和面部微表情的多模态情感语音汉语普通话数据库,分别从语料设计、被试选择、录制细节和数据处理等环节进行了详细的描述,其中信号被标记为离散情感标签(中性、愉悦、高兴、冷漠、愤怒、忧伤、悲痛)和维度情感标签(愉悦度、激活度、优势度)。本文对维度标注的数据进行统计学分析,验证标注的有效性,同时验证标注者的SCL-90量表数据并与PAD标注数据结合后进行分析,探究标注中存在的离群现象与标注者心理状况之间的内在联系。为验证该数据库的语音质量和情感区分度,本文使用SVM、CNN、DNN3种基础模型计算了7种情感的识别率。结果显示,单独使用声学数据时7种情感的平均识别率达到了82.56%;单独使用声门数据时平均识别率达到了72.51%;单独使用运动学数据时平均识别率也达到了55.67%。因此,该数据库具有较高的质量,能够作为语音分析研究的重要来源,尤其是多模态情感语音分析的任务。

汉语三维发音动作合成和动态模拟

本文以帮助聋儿言语康复为出发点,从聋儿音频发音数据中获得了聋儿易错发音文本以及聋儿易混淆发音文本对。设计了一个数据驱动的3D说话人头发音系统,该系统以EMA AG500设备采集的发音动作为驱动数据,逼真模拟了汉语的发音,从而可使聋儿观察到说话人嘴唇及舌头的运动情况,辅助聋儿发音训练,纠正易错发音。最后对系统的性能进行了人工评测,结果表明:3D说话人头发音系统可以有效地模拟说话人发音时口腔内外器官的发音动作。此外,本文还用基于音素的CM协同发音模型合成的方法,合成了聋儿易错发音文本的发音动动作,并用RMS度量了合成发音动作与真实发音动作的误差,得到了均值为1.25mm的RMS误差值。

基于发音动作的中英文元音交叉语言对比研究

本文通过电磁发音仪(Electro Magnetic Articulography,EMA)AG500,以200帧/秒的采样率采集了英语和汉语的标准发音动作数据,然而,交叉语言比较的首要任务就是要消除特定说话人声道特性及其它个人生理特性等音素而引起的固有差别,本文采用了基于说话人归一化的普氏算法来进行说话人归一化处理,获得了英汉相似音素发音的元音对比最小对,最后成功揭示了2种语言易混淆元音发音文本对在口腔内外发音动作上的区别。

基于隐马尔科夫模型的中文发音动作参数预测方法

发音动作参数描述发音过程中唇、舌、颚等发音器官的位置与运动。本文对给定文本与语音情况下中文发音动作参数的预测方法进行了研究。首先,设计并实现了基于电磁发音仪的发音动作参数采集与预处理方法,通过头部运动规整与咬合面规整保证了发音动作参数的可靠性;其次,将隐马尔科夫模型应用于中文发音动作参数预测,采用包含声学参数与发音动作参数的双流模型结构实现从声学参数到发音动作参数的映射,并且分析对比了建模过程中不同上下文属性、模型聚类方式以及流间相关性假设对于中文发音动作参数预测性能的影响。实验结果表明,当采用三音素模型、双流独立聚类并且考虑流间相关性的情况下,可以获得最优的预测性能。

构音障碍发音异常运动区间分布研究

为研究构音障碍患者和正常人发音运动数据的差异,利用多伦多大学开发的TORGO数据库,采用对数正态分布拟合及正态分布拟合的方法,分别以25 mm和2.58个标准差为阈值,对比分析构音障碍患者和正常人在舌根、舌中、舌尖处的发音异常运动区间所占比例。研究表明,与正常人相比,构音障碍患者舌部在前后、左右、上下三方向的发音运动区间较宽,发音运动异常区间所占比例大于正常人;在以2.58个标准差为阈值时,构音障碍患者舌部左右方向发音异常运动区间占10%左右,而正常人在1%左右;同时相比前后、上下方向,构音障碍患者和正常人在舌部左右方向的发音运动区间更窄。

基于声学及运动学的聋哑患者元音发音分析研究

利用三维电磁发音仪采集聋哑学生和正常学生普通话元音/a/,/i/,/u/,/o/,/e/,/ü/的声学和运动学数据,对其发音共振峰、发音时长、唇部和舌部的最大位移、最大速度的特征参数差异及不同特征参数间的关系进行分析研究。结果表明:与正常学生相比,在声学方面,聋哑学生在元音/i/和/e/的第一共振峰(F1)、所有元音的第二共振峰(F2)、所有元音的发音时长在上存在显著性差异具有统计学意义(P<0.05);在运动学方面,聋哑学生唇部的最大位移和最大速度均高于正常学生,舌部的最大位移和速度低于正常学生。研究结论可为病理语音研究提供理论基础和指导依据,为患者的医疗诊断和康复训练提供可靠技术支持和帮助。

基于发音动作的中英文辅音交叉语言对比研究

本文着眼于语音可视化,目的在于揭示中英文辅音的发音运动。然而,交叉语言比较的首要任务是消除特定说话人生理特性等音素引起的固有差别,本文采用了基于说话人归一化的普氏算法来进行说话人归一化处理,接着利用分层聚类分析算法和多维标度定位算法对相似发音对进行了量化的比较,从而获得了英汉相似音素发音的元音对比最小对和辅音对比最小对,并揭示了这2种语言的易混淆发音文本对在发音动作上的区别。

鼻咽癌放疗后构音障碍患者舌尖音的舌尖上抬幅度和速度研究

目的:分析鼻咽癌放疗后构音障碍患者舌尖音的舌尖上抬幅度和速度,探讨肌肉纤维化影响舌构音运动的机制。方法:鼻咽癌放疗后构音障碍患者和正常对照受试者读出汉语构音障碍评估的单词检查表,利用麦克风和电磁发音仪(EMA)同步记录受试者的语音信号和舌尖运动数据。根据检查表中四个包含舌尖辅音词语的音频信号,截取发音前舌尖上抬的动作数据,计算得到舌尖运动的幅度和平均速度,采用重复性方差分析比较两组受试者间,以及不同辅音—元音组合间的舌运动特征。结果:构音障碍患者组和对照组舌尖音的舌尖上抬幅度没有显著性差异;不送气舌尖音/d/后接舌位较高的复元音/ian/时,舌尖上抬的幅度大于舌位较低的复元音/ai/。患者组舌尖上抬的平均速度明显小于对照组;送气舌尖音/t/舌尖上抬的平均速度显著高于不送气音/d/;后续元音为/ian/时平均速度大于元音为/ai/时。结论:鼻咽癌放疗后构音障碍患者舌的运动速度先于运动幅度受到肌肉纤维化的影响,送气与不送气舌尖音后续不同舌位元音时具有特异性的发音机制。

基于观测设备的语言发音研究综述

技术的进步是推动科学研究的重要动力。在语音学研究中,观测技术的进步有效推进了研究的发展。笔者发现,一些常见的语音观测设备在我国少数民族语言语音研究中很少使用,在一定程度上不利于少数民族语言研究的发展,因此,有必要对常见的语音观测设备进行系统介绍,以促进更多研究者使用这些观测设备来进行少数民族语言的语音研究。本文介绍四种常见语音观测设备:磁共振成像、超声、电磁发音仪和电子腭位仪,并分别阐述这些设备的原理、可获取的研究数据、适用范围和优缺点。

基于可视化发音模型的语音训练研究

本研究利用电磁发音仪对元音的发音生理特征进行了分析和探讨,并基于3D的发音生理模型进行了可视化的语音训练研究。本文汇报了两项实验的研究结果,其中实验1通过EMA分别记录了中国英语学习者、美国标准发音人和英国标准发音人在英语元音发音时的舌运动特征。并从发音生理的角度,对比了学习者和美、英本族语者的元音发音差异,并对影响可懂度的学习者的问题元音,如/■/、/I/、/■/等提供了纠正型的发音反馈意见。实验2对比了两组受试分别使用音频和可视化的3D发音模型进行国际音标学习的效果。两次测试结果均显示,使用3D发音模型的受试小组在元音、辅音和声调的得分要高于使用音频的受试小组的得分,表明可视化的3D发音模型比音频更有助于学习者的语音学习。本文的研究结果对可视化的发音训练模式融入语音课堂具有一定的推动意义。

听障学生和健听学生鼻韵母声学及运动学的分析研究

本研究通过分析听障学生和健听学生普通话鼻韵母的声学和运动学数据,探讨其发音数据差异及不同发音特征间的关系。利用三维电磁发音仪采集14名听障学生和10名健听学生的鼻韵母发音数据,排除其中4名发音错误率较高的听障学生的数据不予分析,然后采用语音学软件和数据处理软件分别提取鼻韵母的声学数据和运动学数据,对试验数据作t检验及相关性分析。试验结果表明,与健听学生相比,听障学生的第一共振峰频率(F1)、第二共振峰频率(F2)、舌位以及声学—运动学关系在不同音值下的差异具有统计学意义(P<0.05或P<0.01);听障学生/en/和/eng/所得垂直运动数据—F1关系与健听学生相同。本文研究结论或可为听障患者康复训练提供指导依据,帮助听障患者提高发音准确率。

汉语态度语音的韵律、嗓音和调音运动特征

语音是态度传递的重要媒介之一,态度的表达和感知都与一定的语音特征相关联。文章使用电磁发音仪,从声学和生理角度,考察了汉语在"友好—敌对"和"强势—弱势"表达时,语音产出的韵律(基频、音强、时长)、嗓音和调音运动(舌位前后和高低、嘴唇圆展度和开口度)特征。结果发现,相比友好/弱势,敌对/强势的基频更高、音强更大、时长更短,声带更紧,舌位高低运动范围扩大,嘴唇更突出。这一结果说明,态度的语音表达不仅依靠韵律变化,嗓音和口腔发音器官运动调节也同样重要。文章不仅增进了对态度表达在生理层面上的认识,还为态度语音合成、对外汉语的态度语音教学提供了一定的理论基础。