读唇术揭穿机场大劫案真相

读唇术是一项古老的宗教秘术，具体产生的时间已无从考证。掌握读唇术的古代僧侣和神父，根据信徒或忏悔者的细微嘴唇部位动作，辨别出对方心里在说什么，然后把通过读唇所获得的内容告诉对方，以显示神奇来征服对方。现代的语音学家们利用科学仪器分析出人类发音时唇部肌肉和喉部器官的运动规律，把读唇术发展为语音学的一个分支。美国和欧洲的一些大学中均开设了读唇术课程，读唇术已广泛应用于语音研究、精神病治疗、聋哑人语言学习和刑事侦查等方面。英国伦敦谢尔顿侦探事务所的女侦探杰西卡·瑞丝是世界上为数不多的掌握复杂读唇术的人士之一。今年31岁的杰西卡确实与众不同——她的双耳失聪，却是—位出色的侦探。在2002年震惊全球的英国希思罗国际机场大劫案中，杰西卡就是凭借着读唇术而再次大显身手。

听障成人汉语单字唇读语言理解偏误分析

目的探讨以手语为第一语言的听障成人汉语单字唇读语言理解的偏误及其特点。方法对103例以手语为第一语言的听障成人进行汉语单字唇读语言理解测试,采用偏误分析法,分析其音节、声母和韵母理解偏误。结果听障成人单字唇读语言理解中音节偏误率为54.85%,出现偏误次数最多的音节是che和wa;声母中舌尖音的理解偏误数量(349次)和偏误率(59.80%)最高,最容易出现偏误;韵母中唇读韵母u更容易出现理解偏误,韵母理解偏误集中表现为鼻韵母偏误,偏误率为21.19%。结论以手语为第一语言的听障成人普遍存在汉语单字唇读语言理解偏误,且音节、声母、韵母的理解偏误表现不同。

视觉语言——唇读综述

本文介绍了目前唇读研究的现状与发展水平 ,详细阐述了唇读研究的内容和方法 ,以及唇读研究的意义 ,旨在引起大家对此新兴研究方向的关注与兴趣 ,从而积极参与对唇读问题的研究 。

语音编码在聋生唇读汉字语音识别中的作用

本研究探讨了聋生唇读汉字语音识别中语音编码、助听器、音素可见性的作用。结果表明,编码方式、助听器与音素之间的交互作用在正确率和反应时上都显著,音素可见性在唇读汉字语音识别过程中作用明显,助听器明显作用于单韵母语音识别过程。尽管语音编码、口形运动编码与手指语编码共同作用于聋生唇读汉字语音识别的过程,但手指语编码与口形运动编码的作用明显不如语音编码,语音编码内在强力支持着聋生唇读汉字语音识别的过程,起着中间调节器的功能。

助听器对听障学生唇读汉字语音识别的作用

本研究探讨了听觉障碍学生唇读语音识别中助听器和音素可见性的影响。结果表明,助听器与音素可见性之交互作用在正确率上表现显著,在反应时上不显著,音素可见性在唇读语音识别过程中作用明显,助听器明显作用于单韵母、复韵母的语音识别过程。

基于句子级的唇读语料库及其切分算法

论文对适合唇读研究的连续音节双模态语料库及其语料切分算法的设计和研究工作进行了讨论。介绍了基于句子级的双模态语料库HITBi-CAVDatabaseII的设计和建立,形式化地讨论了该库的主要特点及基于语音能量的语料切分算法的可行性。该切分算法在基于能量的语音切分算法基础上,结合了双模态语料库的一些特征,实现了对语料的自动切分。

聋生唇读语音识别中熟悉效应的实验研究

本研究采用2×3两因素被试内实验设计探讨了聋生唇读语音识别中熟悉效应和音素可见性的影响。结果表明:(1)聋生唇读语音识别的熟悉效应仅在单韵母识别中起到了显著的作用。(2)在熟悉教师提供汉字口形的情况下,聋生唇读语音识别的显著性差异存在于每一个音素水平之间,识别的正确率从高到低依次为单韵母、复韵母、声母。(3)在陌生教师提供汉字口形的情况下,聋生唇读语音识别的显著差异仅表现在单韵母和声母之间。

聋人唇读的大脑机制研究

摘 要 特定区域整合模型与信息传输接替模型提供了聋人唇读不同的大脑机制,前者认为聋人唇读是由特定大脑皮层(如STS,后扣带回等)加工的结果,听觉皮层并未参与视觉语言认知加工;后者认为聋人唇读的大脑机制与正常人无声唇读的大脑机制基本相似,是通过皮层下的连接区域(如屏状核)激活了视觉皮层、听觉皮层等。但更多的证据支持信息传输接替模型。聋人的听觉皮层具有可塑性,早期的语言经验对言语加工神经通路的建立具有很大的影响。

编码方式在听障学生唇读汉语元音识别中的作用研究

本研究采用3×6两因素被试内实验设计,探讨了编码方式和视素可见性对听觉障碍学生唇读汉语元音识别的影响。结果表明,编码方式和视素可见性共同交互作用于唇读汉语元音识别过程,在正确率和反应时上都表现显著,视素可见性和编码方式在识别效果上表现出不同的特点,视素可见性在唇读汉语元音识别中的作用显著,语音编码在唇读汉语元音识别中发挥着中间调节器的功能。

唇读识别中的基本口型分类

1引言自然人机交互方式使得人同计算机的交流不再局限于键盘、鼠标等外设.而是通过语言及手势、表情、唇动等形体语言来进行,从而使得人机交互变得像人与人之间的交流一样轻松自如.唇读通常被视为说话过程中伴随的辅助信息,它有助于对说话者提供信息的更准确理解.减弱噪音干扰.

正常大学生唇读语音识别编码方式的实验研究

本研究探讨了编码方式和音素可见性对正常大学生唇读语音识别的影响。结果表明:编码方式和音素可见性共同交互作用于语音识别的过程,在正确率和反应时上都表现显著。编码方式、音素可见性在识别的效果上分别表现出不同的特点。

在DCT域进行LDA的唇读特征提取方法

为解决视觉语言特征提取这个唇读技术中最关键的难题,提出一种新的基于DCT和LDA的特征提取方法。为提取对不同口型最具分类能力的特征矢量,首先基于DCT对视觉语言部位变换降维,然后基于LDA算法从DCT系数提取对口型分类性能最优的特征矢量。在特定人与非特定人的唇读数据库上以及实时唇读识别的实验都表明,该方法唇读识别率比传统的人工直接选择DCT系数法以及PCA提取法有明显提高。

计算机唇读研究进展

计算机唇读是利用计算机对说话者的唇动等视觉语音信息进行分析以识别出其所说内容的过程,并可与听觉语音信息相融合以进一步提高计算机的识别率,从而使人机交互更加自然。本文从计算机唇读系统的各环节入手综述了该领域的研究进展,并讨论了现有诸方法的优缺点,最后提出了有待进一步研究的问题。

口语教学对听觉障碍学生唇读语音识别技能发展的作用研究

本研究以65名听觉障碍学生为被试,采用2×3两因素混合实验设计探讨了音素可见性与口语教学在唇读语音识别中的作用。结果发现,教学方式与音素可见性的交互作用在正确率上表现显著,在反应时上不显著。音素的可见性在唇读语音识别过程中作用显著,识别单韵母、复韵母、声母的正确率依次降低,反应时逐渐延长。口语教学有利于促进听障学生唇读技能的发展,主要体现在单韵母、复韵母识别过程,而在声母识别中作用不显著。

唇读信息对听力损失患者语句识别的影响

目的通过比较听力障碍患者在单一听觉模式和视听结合模式下的噪声下语句识别率,分析唇读信息对耳聋患者噪声下语句感知能力的影响。方法选择中度感音神经性听力损失患者14名,年龄55.4±9.1岁,均为语后聋。分别在单一听觉模式和视听结合两种模式下,应用中文普通话版嘈杂语噪声下语句识别表对患者进行噪声下语句识别率测试(言语强度30dB SL,信噪比5dB)。结果 14例患者在单一听觉模式下语句识别率为73.79%±7.95%,在视听结合模式下语句识别率为86.57%±5.42%,后者高于前者,差异有统计学意义(P<0.05)。结论在噪声环境下,唇读信息对听力损失患者的语句识别有明显的提高作用。

听障学生汉语唇读面部加工方式的差异:来自眼动的证据

为探讨高低唇读理解能力听障学生唇读面部加工方式的差异,研究采用视频—图片匹配范式并结合眼动技术,考察高低唇读能力组语前-语中-语后和整体面部加工方式。结果发现,虽然两组都表现出社会协调模式,但高唇读能力组社会协调分数更高,且眼部维持时间更长。表明高唇读能力者整体加工和眼部、口形并行加工能力强,支持凝视假说和社会协调模式;低唇读能力者整体加工效率低,更依赖口形,未能通过补偿策略获得良好的补偿效果。

唇读研究进展综述

将计算机唇读技术和语音识别技术进行融合,提高语音识别效果的方法,引起了一些研究者的关注,并已取得了长足的进步,但仍有许多难题需要突破。为了引起更多研究者对此研究领域的兴趣和关注,参与到唇读技术的研究,共同推进该领域的发展,就目前唇读技术的发展现状做了详细的介绍。总结一些主要的传统方法及相关方面的新技术,主要关注点为视觉特征提取方法、识别技术和音视频的信息融合算法。

基于唇部灰度能量图的唇读方法

针对单视觉通道唇读系统的唇部特征提取问题,提出了基于唇部灰度能量图的特征提取方法.该方法将表示字或词的图像序列投影到二维灰度能量图上,不但统一了输入数据的维数,而且较好地保留了序列图像的运动信息.针对模板匹配方法对模板的依赖问题,文中将单训练样本唇部灰度能量模板图推广至多训练样本.文中还就唇部定位提出中心定位法.实验结果表明:在单帧图像特征维数相同的情况下,文中唇读方法的识别率比传统的对单帧图像分别提取特征的方法有较大的提高,运算时间明显缩小;双训练样本比单训练样本的识别率平均提高了11.29%;唇部精确定位后的识别率比定位前提高2%以上,系统最高识别率达90.63%.

聋校听障教师与健听教师汉语唇读理解能力比较

为了考察聋校教师的汉语唇读理解能力,研究以健听教师与听障教师为被试,采用视频-图片匹配范式,以汉字、词语、语句为材料,测量不同被试汉语唇读理解的正确率和反应时。结果发现:1)聋校教师汉语唇读理解语言级别的正确率由高到低依次为词语、语句、汉字,反应速度由快到慢依次为词语、汉字、语句;2)健听教师汉语唇读理解的正确率显著高于听障教师,反应速度无显著性差异。研究结果表明,与健听教师相比,听障教师汉语唇读理解能力有待提高;聋校教师的汉语唇读理解能力受语言级别的影响明显,具有汉语唇读理解词语的优势。

无声唇读过程中的听觉皮层激活

用功能性磁共振成像（ＦＭＲＩ）观察听觉正常人，发现大脑的听觉语言感受区除可被听觉刺激激活外，还能被无声唇读所激活。