发音过程中舌头运动的3D可视化方法

研究中文发音过程中舌头运动的3D可视化问题.根据核磁共振数据构建舌头精细的3D模型,在此基础上,提取舌背表面处3个点的EMA数据为驱动源,利用弹簧网技术真实再现中文发音过程中的舌头运动.为了验证文中建模和舌头运动合成方法的有效性,使用计算机图形学的方法模拟舌头运动的细节效果,并对比其与由语言学家亲自拍摄的"普通话发音器官动作特征"的X光影像.实验表明,文中方法实现的3D舌头运动符合真实的舌头运动情况,拥有广泛的应用前景.

虚拟人舌运动可视化在发声中的研究

发音障碍是听力残疾者和言语残疾者的显著特征之一。舌部作为发音的主要器官,在发音训练中起重要作用。如果将发音可视化引入发音障碍康复训练中,可以让聋人和言语残疾者直观地看到发音过程中舌位及舌形的变化,则康复训练时将起到事半功倍的效果。在研究舌部解剖结构及其运动特征的基础上,通过建立三维舌体肌肉模型,结合发音中舌的X光图片和电子颚位图仪等相关数据,实现舌体模型仿真发音中常见的运动及形状,进而利用这种可视化技术,帮助听力残疾者和言语残疾者达到矫正和康复的目的。

可视化协同发音合成研究综述

可视语音应用于教学、通信、电子商务等领域,可进一步提高人机交互的友好性和方便性,近年来得到广泛关注。可视化协同发音合成是研究可视语音的重要环节之一,阐述可视化协同发音的基本概念,介绍有代表性的描述方法,并对基于图像和基于模型方法这两种重要的合成方法的研究现状进行评述。总结两种方法的优缺点,并展望其发展方向。

基于生理的舌头建模与仿真

针对舌头的建模与仿真,提出一个基于解剖学和生物力学的精确的三维舌头模型.首先是解剖学建模,依据核磁共振影像数据构建了舌头的三维模型,其内部的肌肉和肌纤维由一种基于解剖学资料的交互式肌肉标记法标记得到;然后是生物力学建模,采用精细的生物力学建模技术来体现舌头的弹性特性,包括舌头肌肉的主动和被动收缩特性;最后基于有限元方法计算得到舌头模型的动态形变.实验结果表明,该模型具有很高的精确性,能够根据肌肉激励生成逼真的舌头运动,合成高真实感的舌头动画.

普通话发音过程中的舌3维运动控制模型

目的言语发音过程中发音器官及其运动形态的精确可视化对发音机制的理解、言语疾病的诊断和治疗以及人机言语交互研究都具有重要意义。舌作为言语产生的重要器官,因其运动速度快、变形复杂、发音过程中不可见等原因,可视化比较困难。为此,提出一种基于统计模型法研究汉语普通话元辅音发音时舌的3维动态控制模型。方法首先采集普通话元辅音发音过程中讲话人的磁共振图像(MRI),采用手动标记法提取舌轮廓并建立静态3维网格模型;其次以模型顶点为变量,通过线性主成分分析法提取控制参数并建立舌运动控制方程;最后对发音过程中舌运动控制仿真效果进行评估。结果共提取含舌尖、舌体、舌背和下颌在内的6个3维模型运动控制参数,下颌参数控制下颌张合引起的舌旋转运动,舌体和舌背参数分别控制舌前后、拱起和凹陷运动,舌尖参数分别控制舌尖上下、前后和上翘运动,所提取的6个参数可以表达87. 4%的舌3维运动变化,仿真效果优于其他语言的运动控制结果。结论本文方法可以有效应用于汉语普通话发音的舌建模与3维运动控制,降低舌3维运动建模的复杂性,研究结果可以为汉语普通话发音过程中的器官可视化提供有用信息。