采用非对称唇形轮廓模型提高汉语唇形识别效果

通过分析人脸正面和侧面图像的特点,建立起一种新的唇形轮廓描述模型,能够提取出嘴唇的突出度信息,同时通过计算部分参数对时间的导数,来获得唇形轮廓的动态信息。通过对小词库试验,对比单纯采用正面图像轮廓的描述方法,该方法能够将识别效果平均提高25%以上,克服了以往对唇形轮廓提取时,通常都采用人脸的正面图像,不能反映出嘴唇的突出度信息的局限。

面向残疾人的汉语可视语音数据库

将人机交互领域中研究的唇读技术应用于康复工程之中,设计了一个基于视觉语言的语音合成系统。该系统特别针对后天致残,丧失语音能力的人设计,采用了一种特定条件下的汉语可视语音数据库。不同于现有的数据库,该数据库的设计具有以下特点:采用了非对称唇形轮廓模型,提取了嘴唇突出度的信息;针对汉语音节的特点,增强了汉字音节中信息变化过程;兼顾未来唇读技术的发展,以音节为基本元素,具有可扩充性。采用运动检测和数学形态学的办法提取唇动图像序列中的唇形区域,并从中提取非对称唇形轮廓模型特征参数,同时通过计算部分参数对时间的差分,来获得唇形轮廓的动态信息。基于隐马尔可夫模型的学习和识别实验表明,该数据库的设计方法合理,所选的唇动特征用能够将识别效果平均提高25%。

恒牙初期Ⅱ类1分类错患者唇形的研究

目的通过对Ⅱ类1分类错患者唇侧位形态的研究,分析不同生长型和性别对唇侧位形态的影响。方法选取145例恒牙初期Ⅱ类1分类错患者为研究对象,在其正畸治疗前拍摄的头颅定位侧位片上测量上下唇侧面的长度和厚度,分别采用t检验和单因素方差分析比较不同性别和不同生长型患者唇形态的差异。结果恒牙初期Ⅱ类1分类错患者中,男性的上下唇长度均大于女性(P<0.05),男性上下唇的厚度与女性的差异无统计学意义(P>0.05);不同生长型患者的上唇侧位形态无明显差异,而水平生长型患者的下唇外翻较垂直生长型患者更明显。结论性别及生长型对恒牙初期Ⅱ类1分类错患者的唇侧位形态有影响。

基于主成分分析的唇部轮廓建模

研究了基于主成分分析(PCA)的唇部轮廓建模方法。首先,对5 000个样本唇部轮廓进行标定并对标定的坐标数据进行Procrustes分析,使数据归一化。然后,通过PCA算法寻找形变模式,在保持形变范围内最大限度地降低数据维数并利用所得到的均值和特征向量构建唇部轮廓模型。最后,利用PCA得到的前16种模式所建立的模型对5 000个样本原始的唇部轮廓进行重构。实验结果显示:PCA得到的前4种模式分别描述了唇部角度、下唇、尺度以及唇角等的形变信息,其余模式描述了唇部更细致的形变,模型重构的唇部轮廓与相应样本原始唇部轮廓的每个特征点之间平均差异均不大于0.6个像素宽。结果表明所建唇部模型能满足特征定位精度要求。

基于改进的snake模型的嘴唇轮廓提取

为了更好地利用snake模型来提取彩色图像中的物体轮廓,提出一种改进的snake算法。此方法首先自动生成snake的初始模型,然后在GVF-snake的基础上重新设计了snake的外部能量函数,采用色彩聚类算法对原始图像进行分割,利用像素到聚类中心的距离增强图像并进行差分运算,提取有意义区域的边缘梯度,对GVF向量场进行了归一化处理并改进了平滑因子。实验结果证明,改进后的算法,特别是在处理彩色图像时,大大优于原始方法,提高了轮廓提取的精度且有较好的鲁棒性。

利用汉语语音音素帧间相关性的唇形特征识别

为了进一步提高针对汉语语音的唇形特征识别效果,分析实际汉语语音发音过程中声母韵母之间音素的变换规律,以及连读等发音习惯而造成的口形变化,利用唇形特征所对应的音素帧间的相关性,采用二阶隐马尔可夫模型来对唇形特征参数序列进行学习和识别,从而分析汉语唇形识别效果.基于独立汉字发音的实验表明,在针对特定人的识别条件下,在最优的加权因子(m∶n=1.5∶1)特征组合条件下,针对同一组融合得到的特征向量,考虑了音素帧间的相关性后,识别率提高了1.2%.可见汉语音节中音素帧间的相关性与唇形特征的变化规律相对应,有利于提高唇形识别的效果.

视觉驱动的语音合成系统中唇形轮廓的傅里叶描述

为了能够自动、快速地表示唇读系统中所必须的唇形轮廓特征,将傅里叶描述子用于唇形轮廓的描述和识别过程中,采用边界傅里叶变换的方法,得到非对称唇形模型中唇形轮廓的傅里叶描述子,用来刻画唇动过程中唇形轮廓的形状信息,并将傅里叶描述子φ作为唇形轮廓的特征向量,应用于基于隐马尔可夫模型(HMM)的视觉驱动语音合成系统。基于独立汉字发音的实验表明,单纯采用前15或20个傅里叶描述子就能够有效地刻画唇形轮廓描述,达到唇形识别的目的。

一种基于MASM的口形轮廓特征提取方法及听视觉语音识别

提出了一种用于听视觉语音识别的基于 MASM的口形轮廓提取方法 ,这种方法只需要少量的训练数据就可以实现对大量口形轮廓的准确提取。还引入了一种口形轮廓的平滑修正方法 ,该方法利用口形连续变化的特点 ,对错误轮廓进行修正。实验证明 ,利用该方法提取轮廓的准确率比常规 ASM模型高出 2 0个百分点 ;将该口形轮廓特征引入到听视觉语音识别中 。

一种基于椭圆变形模板的唇动跟踪算法

本文给出了一种新的唇动跟踪算法框架,算法结合目标的形状、运动及彩色信息,综合利用可变形模板、光流、Kalman滤波技术,得到一种快速、鲁棒的跟踪结果。该算法使用多条椭圆弧段构成唇模板,基于彩色YCrCb信息进行光流估计,由于利用模型约束的特征光流技术,故不需加入任何附加的平滑性约束;最后借助扩展Kalman(EKF)滤波器将形状与运动信息有机结合起来,给出有效的融合解,而不必直接计算光流;该算法同时利用光流测量方程给出的误差测度及EKF给出的估计方差对虚假边缘点做出判断与舍弃,提高了算法的鲁棒性。文中还给出了相应的实例。

基于改进的level set嘴唇轮廓定位方法

根据嘴唇的几何分布特性,提出一种基于多方向的水平集方法(Multi-Level set)来进行嘴唇轮廓的定位。Multi-Level set方法通过对嘴唇图像多个方向的滤波得到新的边缘检测函数来增强嘴唇轮廓的梯度信息,然后利用能量函数最小化来使初始曲线向嘴唇轮廓靠近,达到说话人嘴唇轮廓的精确定位。实验证明用Multi-Level set方法定位嘴唇轮廓的准确率比level set提高了7.32%。

基于Matlab唇形合成参数提取平台的实现

唇形轮廓的准确提取是唇形合成的基础。实现了基于Matlab的唇形参数提取平台,平台实现的主要功能包括:文件读取,关键点标记,文件播放及显示,参数提取及数据存储。考虑到边缘检测的局限性,平台采用手动标记的方法标记关键点,得到了较理想的唇形曲线及唇形人脸动画参数(FAP)。实验证明,该方法简单、有效。

138例恒牙列初期骨性Ⅲ类错唇形的研究

目的研究性别、生长型与骨性Ⅲ类错患者侧位唇形的关系。方法 选取138例恒牙列初期骨性Ⅲ类错患者的头颅侧位片,测量唇部矢状向及垂直向伸展度。结果 恒牙列初期骨性Ⅲ类错患者中,男性唇矢状向及垂直向伸展度均大于女性,但差异无统计学意义(P>0.05)。生长型对骨性Ⅲ类错患者唇形影响表现为:水平生长型相对平均生长型和垂直生长型患者的上下唇较短、较厚且外翻明显。垂直生长型患者相对平均生长型和水平生长型患者的上下唇较长、较薄但无明显外翻。结论 性别及生长型与恒牙列初期骨性Ⅲ类错患者的唇侧位形态有一定关系。

恒牙列初期安氏Ⅱ类1分类错唇形面部硬组织相关因素的多元线性回归分析

目的:研究不同生长型恒牙列初期安氏Ⅱ类1分类错患者唇形的面部硬组织影响因素。方法:选取144例恒牙列初期安氏Ⅱ类1分类错患者头颅侧位片,测量唇部矢状向位置及伸展度,并与其可能相关的面部硬组织相关因素进行多元线性回归分析。结果:①各生长型上唇矢状向位置及伸展度均与上颌硬组织相关。②水平生长型组下唇矢状向位置及伸展度与上下颌硬组织均相关。③平均生长型组及垂直生长型组下唇矢状向位置及伸展度与下颌硬组织相关。结论:影响不同生长型的安氏Ⅱ类1分类错的唇矢状向位置及伸展度的面部硬组织影响因素存在差异。

基于内唇轮廓标定的唇印提取算法

针对现有特征唇印提取中信息处理量较大、识别率不高等问题,本文提出了基于内唇轮廓的特征唇印提取算法。算法首先在基元图像上对内唇轮廓特征点进行标定,建立基元唇印模型,然后通过均值计算构造普通模型,并利用Gabor变换对基元唇印和普通模型进行联合特征信息提取,最后通过相似度对比选择出特征唇印,以实现身份识别。仿真实验验证,本文的特征唇印提取算法在较低时空消耗下,具有较高的识别率,具有有效性和可用性。

语音驱动的唇型合成系统的实现

通过对语音和唇形的信号采集,设计了12个外唇线关键点和9个内唇线关键点的提取方案,同时建立起语音、唇形数据库,并对其进行参数提取和统计分析,从而建立了汉语普通话语音、唇型之间的关联模型,在此基础上实现了语音驱动的唇形合成系统。

基于区域生长分水岭算法嘴唇轮廓的提取

嘴唇是人脸部的重要特征,对嘴唇轮廓的提取有着非常重要的应用价值.本文针对彩色的嘴唇图像,采用基于区域生长的分水岭算法对嘴唇的轮廓进行提取.算法首先通过RGB三个分量,进行灰度转换,之后对图像采用区域生长算法进行处理,然后用中值滤波进行去噪和平滑处理,最后,应用分水岭算法得到嘴唇的轮廓.实验证明,此方法实现简单,达到了预期效果,性能良好.

基于嘴部状态分类的内唇开度估计算法

为了准确地识别嘴部张合程度,提出了一种基于嘴部状态分类的内唇开度估计算法。将嘴部局部图像从RGB空间转化到YIQ空间,利用牙齿、嘴唇和舌头所对应的Q值的极值点数量和位置分布将嘴部状态分为3类,对每一类分别确定不同的一阶差分范围,使得能在有舌头、牙齿存在的情况下准确地定位出内唇边界点的位置,进而计算出内唇开度值。实验结果表明,基于嘴部状态分类的内唇开度估计算法计算出的内唇开度估计值与实际值之间的相关度达95%,比经典的Saha方法提高了5%。

用于说话人识别的实时唇线提取方法

实现了一种用于说话人识别的实时唇线提取方法。该方法首先将原始图像变换到CIELAB颜色空间,然后对所得图像的L和a分量分别进行直方图统计。根据图像特性、L和a坐标轴的意义等先验知识,直接快速地计算出用于分割出唇区域和嘴内区域的阈值,达到较准确的唇定位。然后采用新的能量函数指导变形模板法提取出唇线。实验表明,该方法简单快速,能够在一定程度上适应光照变化,以及由于不同人所带来的肤色、唇色不同的影响。

基于口鼻轮廓线行Ⅰ期单侧唇裂手术

目的探讨根据口鼻轮廓线设计并完成单侧唇裂Ⅰ期整复的手术方法。方法利用裂隙侧口鼻弯曲轮廓线为手术切口的唇裂手术方式,对196例Ⅰ期单侧唇裂患者进行口唇畸形和鼻部畸形整体设计和矫正,包括:1)手术切口线设计在口鼻弯曲的轮廓线上,和弯曲轮廓线重叠,易于隐蔽;2)充分地剥离及松解组织畸形的异常附着;3)患侧鼻翼软骨和黏膜向内向上,鼻翼软骨内侧脚向外向下旋转,矫正患侧鼻翼软骨;4)唇部肌肉的重叠或褥式缝合重建患侧人中嵴的高度;5)保持人中嵴皮肤的完整性。观察术后的鼻唇效果和对称性。结果患者的患侧上唇形态、唇峰长短、鼻孔大小、鼻小柱形态、鼻翼形态和鼻底塌陷程度,较术前均有明显改善,鼻唇外形接近于正常外形,术后轮廓线上的瘢痕不明显,整复效果满意。结论根据口鼻轮廓线设计单侧唇裂Ⅰ期整复手术方案,能取得良好外形美观效果。

改良下唇旁正中-颌下入路在上颌骨(次)全切除术中的应用

目的探讨一种新的改良下唇旁正中-颌下入路在上颌骨(次)全切除术中的应用价值。方法对11例上颌骨肿瘤患者采用改良下唇旁正中-颌下入路进行上颌骨(次)全切除术。术后对患者面形恢复、面神经及腮腺功能状态、眶区并发症等进行分析。结果随访6~36个月,所有患者面形恢复良好,切口瘢痕隐蔽,均无面神经、腮腺导管损伤症状,也无下睑水肿、睑外翻、溢泪等眶区并发症。结论改良下唇旁正中-颌下入路行上颌骨(次)全切除术可有效降低下睑水肿、睑外翻、溢泪等眶区并发症的发生率,且切口瘢痕隐蔽,未增加其他并发症的发生,值得临床推广。