基于级联预测的病理语音声学特征到发音动作特征转换研究

针对传统仪器采集构音障碍患者发音动作特征存在时间长、舒适性差的问题,提出一种基于BLSTM的特征转换模型,将容易提取的声学特征经转换模型映射为发音动作特征。利用同步记录的声学特征和发音动作特征训练一个基于BLSTM的特征转换模型;针对转换精度过低的问题,提出一种级联预测结构,将表征发音器官运动的信息添加到模型的输入端,弥补单一声学特征揭示发音器官内部联系时的局限性。在TORGO数据集上的实验结果表明,相比于基线模型,级联预测特征转换模型能将平均皮尔逊相关系数提升11.61%,平均均方根误差减小4.10%,验证了提出的级联预测特征转换模型的有效性。

汉语三维发音动作合成和动态模拟

本文以帮助聋儿言语康复为出发点,从聋儿音频发音数据中获得了聋儿易错发音文本以及聋儿易混淆发音文本对。设计了一个数据驱动的3D说话人头发音系统,该系统以EMA AG500设备采集的发音动作为驱动数据,逼真模拟了汉语的发音,从而可使聋儿观察到说话人嘴唇及舌头的运动情况,辅助聋儿发音训练,纠正易错发音。最后对系统的性能进行了人工评测,结果表明:3D说话人头发音系统可以有效地模拟说话人发音时口腔内外器官的发音动作。此外,本文还用基于音素的CM协同发音模型合成的方法,合成了聋儿易错发音文本的发音动动作,并用RMS度量了合成发音动作与真实发音动作的误差,得到了均值为1.25mm的RMS误差值。

运动性构音障碍患者发音时构音运动学特征:基于电磁发音动作描记仪的研究

目的利用电磁发音动作描记仪(EMA)探讨脑受损后运动性构音障碍患者发音时构音器官的运动学特征。方法收集2017年10月至2018年10月本院运动性构音障碍患者6例(构音障碍组)及年龄和性别相似的健康受试者10例(健康对照组)。运用Frenchay构音障碍评定法对患者构音障碍严重程度进行评定,运用EMA对两组构音器官运动学特征进行测评。采集运动数据的微型传感器分别粘贴于受试者唇、舌(舌尖、舌面、舌根)及下颌处,参考传感器粘贴于鼻梁处,所有微型传感器均粘贴于受试者矢状面中轴线上,以追踪和采集受试者各构音器官的运动学参数(包括持续时间、速度、加速度、运动距离及位移运动轨迹),评估时所有受试者均进行音节重复任务,发音材料由声母(/d/、/t/、/j/、/q/、/g/、/k/、/b/和/p/)和韵母(/a/、/ia/或/iu/)构成,产生有汉语意义的不同音节,每个音节重复3次。利用Praat软件和Matlab软件对音频和运动数据进行处理。与健康受试者比较,分析构音障碍患者的构音运动学特征。结果 Frenchay构音障碍量表评估显示,患者构音障碍严重程度为中度到极重度。EMA测评结果显示,与健康对照组相比,构音障碍组发不送气音和送气音时,舌尖、舌面、舌根和唇的运动速度、加速度和运动距离减少(t> 2.422, P <0.05),下颌运动速度、加速度和运动距离两组比较无显著性差异(t <1.016, P> 0.05);舌尖、舌根和下颌运动持续时间延长(t> 3.369, P <0.05),舌面和唇运动持续时间两组比较无显著性差异(t <2.146, P>0.05)。发不送气音与送气音相比,健康对照组发送气音时舌尖、舌根和下颌运动持续时间增加(t> 2.156, P <0.05),而构音障碍组各构音运动学参数比较均无显著性差异(t <1.675, P> 0.05)。两组运动学参数和同步声音音频图像分析显示,构音障碍组构音运动速度和加速度随时间变化未呈现一定规律;声音音频变化无规律,连续发三个/da/音时持续时间不均等;构音运动上下位移与前后位移协调性差,运动轨迹与健康对照组相比存在明显差异,前后位移幅度较健康受试对照组偏小。结论 EMA通过对构音器官的运动学参数进行量化测评,可揭示脑损伤后构音障碍患者的构音运动学特征。

基于隐马尔科夫模型的中文发音动作参数预测方法

发音动作参数描述发音过程中唇、舌、颚等发音器官的位置与运动。本文对给定文本与语音情况下中文发音动作参数的预测方法进行了研究。首先,设计并实现了基于电磁发音仪的发音动作参数采集与预处理方法,通过头部运动规整与咬合面规整保证了发音动作参数的可靠性;其次,将隐马尔科夫模型应用于中文发音动作参数预测,采用包含声学参数与发音动作参数的双流模型结构实现从声学参数到发音动作参数的映射,并且分析对比了建模过程中不同上下文属性、模型聚类方式以及流间相关性假设对于中文发音动作参数预测性能的影响。实验结果表明,当采用三音素模型、双流独立聚类并且考虑流间相关性的情况下,可以获得最优的预测性能。

基于发音动作的中英文元音交叉语言对比研究

本文通过电磁发音仪(Electro Magnetic Articulography,EMA)AG500,以200帧/秒的采样率采集了英语和汉语的标准发音动作数据,然而,交叉语言比较的首要任务就是要消除特定说话人声道特性及其它个人生理特性等音素而引起的固有差别,本文采用了基于说话人归一化的普氏算法来进行说话人归一化处理,获得了英汉相似音素发音的元音对比最小对,最后成功揭示了2种语言易混淆元音发音文本对在口腔内外发音动作上的区别。

基于多普勒雷达的发音动作检测与命令词识别

本文提出了一种基于多普勒微波雷达的发音动作检测与命令词识别方法.该方法利用微波雷达的多普勒特性检测发音过程中面部肌肉的微小变化,实现不依赖语音声学信号的命令词识别.本文首先设计实现了一个基于多普勒微波雷达的发音动作检测系统,并基于此系统构建了一个包含2个说话人的命令词识别数据库.然后,本文研究了基于支持向量机和卷积神经网络模型的雷达数据分类方法,并对比了不同模型和特征组合在单话者建模和多话者建模情况下的命令词识别性能.实验结果表明,本文设计的数据采集系统可以有效检测发音动作,所构建的卷积神经网络分类器可以取得90%以上的命令词识别准确率.

融合发音动作特征和声学特征的病理语音检测

为提高听障患者病理语音的检测效果,提出一种融合发音动作特征和声学特征的检测方法。分析病理语音和正常语音发音动作特征的差异,提取位移、速度两种发音动作特征,提取梅尔倒谱系数、基频、共振峰3种声学特征,对两类特征归一化处理,使用核主成分分析法进行降维,在支持向量机、随机森林、多层感知机中测试特征的检测性能。实验结果表明,发音动作特征和声学特征同样有效,两类特征构成的融合特征检测效果优于单一特征,验证该方法提高了病理语音的检测效果。

基于发音动作的中英文辅音交叉语言对比研究

本文着眼于语音可视化,目的在于揭示中英文辅音的发音运动。然而,交叉语言比较的首要任务是消除特定说话人生理特性等音素引起的固有差别,本文采用了基于说话人归一化的普氏算法来进行说话人归一化处理,接着利用分层聚类分析算法和多维标度定位算法对相似发音对进行了量化的比较,从而获得了英汉相似音素发音的元音对比最小对和辅音对比最小对,并揭示了这2种语言的易混淆发音文本对在发音动作上的区别。

语言发音模型研究综述

对各种语言发音模型进行了综述,分别讨论了言语声音模型和言语动作模型。言语声音模型研究语言发音的声学原理,利用声音信号处理技术重构语音信号波形,由于对声源和共鸣之间的关系的认识不同,以及对共鸣的分析方法的不同,产生了3种不同的语言发音模型,第一种是频谱分析模型,第二种是共振峰模型,第三种是生理发音模型。言语动作模型研究发音器官的运动过程,利用图像信号处理技术重构发音器官的发音动作,根据建模方法的不同,言语动作模型可以分为3类:生理机能模型、几何特征模型、统计参数模型。

双模态融合特征下的说话人识别

为提高说话人识别的准确率,提出一种双模态融合特征的算法。提取韵律特征和伽玛通滤波倒谱系数两种声学特征,计算其统计特性;提取舌、唇和下颌分别相对于鼻梁的发音动作参数,获得参考点发音动作特征;将声学特征和参考点发音动作特征进行融合,对其进行嵌入式特征选择,获得双模态融合特征;通过支持向量机、高斯混合模型-支持向量机进行分类。实验结果表明,参考点发音动作特征识别效果优于传统发音动作特征识别效果,双模态融合特征识别率明显高于单模态特征的识别率,验证了所提方法的有效性。

普通话双模态情感语音数据库的设计与评价

针对包含发音动作参数和情感语音的双模态汉语普通话数据库非常匮乏的问题,设计包含中性、高兴、愤怒及悲伤4种情感的普通话语音库。该语音库由10名被试录制的1 440段音频及发音动作数据组成,文本长度有双音节词和句子两种类型。为了确保该数据库的有效性,邀请普通话较好、听力正常的10名评价者组成评价小组,对数据库内所有音频文件进行评价。根据评价小组评价结果结合发音动作数据的稳定性进行筛选,得到语音质量较好、发音动作参数稳定的双模态情感语音数据库。该数据库可用于开展情感语音的发音动作研究,进而单独或联合作为情感语音识别算法的样本数据,对情感语音识别率的提高具有积极的作用。

复合音和“无序原则”

特征理论是人类语言编码的一个重要成分。绝大多数元音、辅音都遵循"无序原则"(Duanmu 1994),即在一个音的时段里,每个发音器官不能做两个或更多"有序"动作(如[-圆,+圆]、[-后,+后])。复合音泛指一些常见例外,如塞擦音、双元音、鼻冠音、啧音、内爆音、喷音等,每个音似乎需要两个或更多的有序动作。文章系统分析各种疑难的复合音,证明其中有的不是单音,而是两个音的有序组合。其他的复合音经过重新分析,全部符合"无序原则"。文章解决了一些长期疑难,使得特征理论更加简单。

藏语拉萨话中的同化现象

藏语拉萨话语音变化中有丰富的同化现象.所谓同化,就是原来不相同或不相近的音素,由于受邻近音素的影响而变得相同或相近。同化作用是某一种或几种发音动作范围的扩大。这种发音动作是同化因素的属性,它使被同化音素失去某一特征,而与同化音素的特征相接近。同化作用可以从不同的角度去归类。从同化音素与被同化音素的距离远近分,有内部同化与外部同化之别。在藏语里,内部同化指同化现象在同一音节内进行;外部同化指同化现象在两个音节之间进行。同化作用的类别。

浅谈教师的语言素养

教师的语言应当规范清楚、准确简洁、合乎逻辑、富于启发性和感染力,并带有幽默感。一、规范清楚。教师讲课必须语言规范,吐字清楚。授课要用普通话。发音规范的关键是舌、唇发音动作正确,幅度要够,调值要足,四声要对。

怎样学习儿化

儿化具有辨义、区别词性、表达思思感情的作用,对生动地朗读课文起到重要的作用,所以我们应该认真学习。二、掌握儿化的发音规律。在儿化韵里,“儿”不再是一个单独的音节,它已和前头的韵腹融合在一起,成为韵腹不可分割的一部分。儿化词语的发音,并非没有规律可循,主要是原音节中的主要元音起卷舌作用。如“花儿”,在发“花”的韵母ua的时候,舌头就已经卷起。儿化韵有以下两种情况:

协同发音和时域调节

协同发音指的是与不同语音音段相联系的发音态势的相互交叠,推而广之,也指它的声学效应。由于协同发音的缘故,音段随着它们所处的环境而变化。因此,tea(茶)里的/t/可能是展唇的,而two(二)里的/t/则可能是比较圆唇的,它预示着后接元音的圆唇特性。同样,choose(选择)里的/u/由于前后辅音的影响要比 poof(呸)里的/u/的舌位靠前些;而 man(人)里的元音又不象 bad(坏)里的元音,它可以鼻化。协同发音这个术语是由P.

腭音与腭化音

围绕腭音与腭化音产生的一些分歧,包括语音特征、定义、分类和表征方案等,其主要根源是从被动发音部位来定义和区分腭音类。从主动发音器官模型出发,腭音类可以表征为舌冠和舌体的组合活动。这个方案可以给分散在国际音标表不同子表中的龈后音[(50)],龈腭音[?]、硬腭音[(34)]和腭化音[s(41)]、[x(41)]一个统一的表征和有效的内部区分,还能简明的表达世界语言中普遍存在、又表现各异的各种腭化现象。

音节时间结构与拉萨藏语的声调起源

本文认为声调不是与载调单位抽象连接的自主音段,而是音节产生的有机组成部分。通过对拉萨藏语音节产生中的辅音、元音、声调等发音动作的时间结构关系的考察,让声调重新回归音节,并以此为基础讨论藏语的声调起源问题。

音系学与语音学的接面

1.引言语音学与音系学研究都涉及人类语言的声音:语音学研究涉及语音的物理性质,音系学研究涉及语音的模式。由于这两门学科都在这一共同领域内进行研究,因此理应在许多地方产生接面。然而从历史上看,两者的接面很有限,主要限于区别特征理论(例如,Jakobson ＆Halle,Phonology in Relation to Phonetics,1968)。Chomsky与Halle的The Sound Patternof English(1968)一书发表之后,研究的范围扩大,包括语法组织的问题(例如,Fromkin,