一种稳健的基于VisemicLDA的口形动态特征及听视觉语音识别

视觉特征提取是听视觉语音识别研究的热点问题。文章引入了一种稳健的基于Visemic LDA的口形动态特征,这种特征充分考虑了发音时口形轮廓的变化及视觉Viseme划分。文章同时提出了一利利用语音识别结果进行LDA训练数据自动标注的方法。这种方法免去了繁重的人工标注工作,避免了标注错误。实验表明,将'VisemicLDA视觉特征引入到听视觉语音识别中,可以大大地提高噪声条件下语音识别系统的识别率;将这种视觉特征与多数据流HMM结合之后,在信噪比为10dB的强噪声情况下,识别率仍可以达到80％以上。

一种基于MASM的口形轮廓特征提取方法及听视觉语音识别

提出了一种用于听视觉语音识别的基于 MASM的口形轮廓提取方法 ,这种方法只需要少量的训练数据就可以实现对大量口形轮廓的准确提取。还引入了一种口形轮廓的平滑修正方法 ,该方法利用口形连续变化的特点 ,对错误轮廓进行修正。实验证明 ,利用该方法提取轮廓的准确率比常规 ASM模型高出 2 0个百分点 ;将该口形轮廓特征引入到听视觉语音识别中 。

听视觉刺激对长期听力损失患者语言处理的影响

目的:研究听视觉刺激对听力损失患者大脑中与语言处理相关脑区神经活动的影响,为患者的康复治疗提供理论支撑。方法:募集12个听力损失患者和12个性别年龄匹配的正常听力受试者。首先构建每个参与者个体化虚拟数字脑,然后将虚拟视觉刺激信号施加到已构建虚拟数字脑的次级视觉皮层;将虚拟听觉刺激信号施加到已构建虚拟数字脑的初级听觉皮层。最后,观察这些刺激信号在听力损失患者脑皮层中所诱发的神经活动变化。结果:同正常受试者相比,虚拟视觉刺激信号抑制了听力损失患者听觉皮层和布洛卡区的神经活动,并通过最短因果路径削弱了布洛卡区的激活。相反,虚拟听觉刺激信号抑制了听力损失患者视觉皮层的激活,但通过最短因果路径增强了布洛卡区的神经活动。此外,听力损失患者也呈现了减弱的视觉诱发的威尼克区的激活。结论:目前的研究表明,视觉刺激通过削弱听觉皮层和布洛卡区的神经活动抑制了听力损失患者的语言处理。相反,听觉刺激通过抑制视觉皮层的活动,增强布洛卡区的神经活动,从而改善了听力损失患者的语言处理。

PDE-5抑制剂联合听视觉性刺激Rigiscan检测与夜间勃起功能检测在ED评估中的对比研究

目的:对比研究磷酸二酯酶5抑制剂(PDE-5i)联合听视觉性刺激(AVSS)RigiScan检测与阴茎夜间勃起功能检测(NPT),探讨PDE-5i联合AVSS检测在ED评估中的临床价值。方法:2017~2018年诊断为勃起功能障碍(ED)的166例患者,年龄21~63岁,中位年龄31岁;病程3个月至10年,平均14月;所有患者均完成NPT检测和PDE-5i联合AVSS检测,对比其检测结果。NPT正常的患者认为是心理性ED,异常的患者认为是器质性ED。结果:对比NPT检查,万艾可联合AVSS检测准确率与希爱力联合AVSS检测准确率无统计学差异(78.1%vs 79.7%,P>0.05)。PDE-5i联合AVSS检测在评估心理性ED中的敏感性达到78.9%,特异性达到90.7%,整体准确率达到81.9%。根据PDE-5i联合AVSS检测结果将患者分为勃起正常组及异常组,两组在年龄、病程、IIEF-5评分及阴茎头部硬度≥60%的维持时间方面存在统计学差异(P<0.05)。受试者工作特征(ROC)曲线说明PDE-5i联合AVSS检测能够准确的反映患者勃起功能的情况。结论:药物联合AVSS检测简单、经济、有效,具有较好的敏感性与特异性,可作为ED患者病因评估的首选筛查方法。

面向听视觉信息的多模态人格识别研究进展

人格识别分析是人格计算研究中一个重要的研究内容,在人类行为分析、人工智能、人机交互、个性化推荐等方面具有重要的应用价值,是近年来心理学、认知学、计算机科学等领域中的一个多学科交叉的热点研究课题。本文介绍了与人格识别相关的各种人格类型表示理论和人格识别数据库,阐述了面向听视觉信息的各种听视觉人格特征提取技术,如手工特征和深度特征,并在此基础上对面向听视觉信息人格识别的多模态融合方法做了详细的分类和归纳,最后概括了面向听视觉信息的多模态人格识别发展趋势,并进行了展望。

基于三流DBN模型的听视觉情感识别

为更好地对听视觉情感信息之间的关联关系进行建模,提出一种三流混合动态贝叶斯网络情感识别模型(T_AsyDBN)。采用MFCC特征及基于基频和短时能量的局域韵律特征作为听觉输入流,在状态层同步。将面部几何特征和面部动作参数特征作为视觉输入流,与听觉输入流在状态层异步。实验结果表明,该模型优于有状态异步约束的听视觉双流DBN模型,6种情感的平均识别率从52.14%提高到63.71%。

基于改进异步DBN模型的听视觉融合情感识别

提出了一个改进的三特征流听视觉融合异步动态贝叶斯网络情感模型(VVA_Asy DBN),采用面部几何特征(GF)和面部主动外观模型特征(AAM)作为两个视觉输入流,语音Mel倒谱特征(MFCC)作为听觉输入流,且视觉流的状态和听觉流的状态可以存在有约束的异步。在e NTERFACE’05听视觉情感数据库上进行了情感识别实验,并与传统的多流同步隐马尔可夫模型(MSHMM),以及具有两个听觉特征流(语音MFCC和局域韵律特征LP)和一个视觉特征流的听视觉异步DBN模型(T_Asy DBN)进行了比较。实验结果表明,VVA_Asy DBN获得了最高识别率75.61%,比视觉单流HMM提高了12.50%,比采用AAM、GF和MFCC特征的MSHMM提高了2.32%,比T_Asy DBN的最高识别率也提高了1.65%。

听觉和视觉线索在人工耳蜗植入儿童感知汉语声调中的作用

目的 考察在安静环境和噪声环境下,提供视觉线索是否能帮助人工耳蜗植入儿童准确辨识汉语声调。方法 招募80名学龄前人工耳蜗植入儿童(研究组)和50名健听儿童(对照组),在安静及噪声环境下,通过听录音或看视频并选择与之对应的卡通图片方式,考察儿童在依靠听觉单一线索和依靠听、视觉双线索条件下声调的辨识情况。结果 在安静及噪声环境下,视觉线索会帮助人工耳蜗植入儿童更好地辨认汉语声调,但效果取决于具体声调:在安静环境下,二声在音视频条件下识别率显著高于仅音频条件(P<0.05);在噪声环境下,一声和三声在音视频条件下识别率显著高于仅音频条件(P<0.05)。结论人工耳蜗植入儿童可借助视觉线索(即说话人的面部表情)更准确地辨识汉语声调,为言语康复中声调的感知训练提供启示。

听、触、视觉锻炼联合肢体训练在缺血缺氧性脑病新生儿康复过程中的应用价值

目的:探究听、触、视觉锻炼联合肢体训练在缺氧缺血性脑病(HIE)新生儿康复过程中的应用价值。方法:将2018年7月—2019年7月赣南医学院附属兴国医院收治的HIE新生儿88例纳入研究,按照随机数字表法分为肢体训练组和联合训练组,各44例。肢体训练组采用肢体训练进行康复训练,联合训练组在其基础上增加听、触、视觉锻炼。观察两组患儿生长发育情况,智力发育指数(MDI)、运动发育指数(PDI)评分,格塞尔发育量表(Gesell)、新生儿20项行为神经评分法(NBNA)评分,以及不良事件发生情况。结果:与肢体训练组相比,联合训练组训练后生长发育情况较优,差异均有统计学意义(P<0.05)。与肢体训练组相比,联合训练组训练后MDI、PDI评分均较高,差异均有统计学意义(P<0.05)。与肢体训练组相比,联合训练组训练后Gesell、NBNA评分均较高,差异有统计学意义(P<0.05)。与肢体训练组相比,联合训练组不良事件发生率较低,差异有统计学意义(P<0.05)。结论:HIE新生儿采用听、触、视觉锻炼联合肢体训练可促进智力、运动发育,极大的降低永久性脑损伤的概率,减少不良事件的发生。

利用视觉强化测听技术进行低龄儿童人工耳蜗调机

目的探讨视觉强化测听系统(Visual Reinforcement Audiometry,VRA)与耳蜗调试软件相结合的方式在低龄儿童的人工耳蜗调试中的可行性。方法对收集的20例2岁以下且耳蜗结构正常人工耳蜗植入患者,全部使用澳大利亚品牌人工耳蜗产品。神经反应测试(Neural Response Telemetry,NRT)测试结果波形分化良好,利用视觉强化测听(VRA)系统结合Custom Sound 4.3调机软件测得1、3、5、8、11、14、17、20、22号电极的T值,同时测试该9个电极的NRT(听神经复合动作电位)。对9个电极的VRA阈值与NRT阈值进行二元变量相关分析。结果通过VRA测得的T值在第1号(r=0.882,P<0.001)、3号(r=0.869,P<0.001)、5号(r=0.618,P<0.001)、8号(r=0.801,P<0.001)、11号(r=0.784,P<0.001)、14号(r=0.877,P<0.001)、17号(r=0.741,P<0.001)、20号(r=0.806,P<0.001)、22号(r=0.763,P<0.001)电极均与NRT阈值高度相关。结论低龄儿童人工耳蜗的开机调试中,利用视觉强化测听系统有助于得到有效的T值。

婴幼儿视觉强化测听法及其进展

婴幼儿视觉强化测听法及其进展陶征，王燕英，胡苛婴幼儿测听在儿童听力检测中占有很重要的地位。这是因为能否尽早地检测出儿童听力有否缺陷，以便及早地进行干预，是关系到听力损失的儿童将来听觉语言康复效果的关键。视觉强化测听法（ｖｉｓｕ－ａｌｒｅｉｎｆｏｒｃｅ...

英语听说新模式探究——视觉听读训练

本文从高职高专学校对听说能力要求的提高与学生实际听说水平的矛盾入手,归纳分析了学生在听说方面存在的问题,提出了英语听说教学新模式即视觉听读训练模式。这种模式能够充分发挥听觉和视觉等感官的综合作用,使学生快速掌握纯正的语音、语调,理解语义,培养语感,增强反应能力,从而迅速提高听力理解能力和语言运用能力。

视觉强化测听在聋幼儿行为测听中应用

目的：探讨视觉强化测听和游戏测听在耳聋幼儿行为测听中的应用。方法：采用视觉强化测听和游戏测听对耳聋幼儿进行行为测听，并总结两种方法在聋幼儿测试的应用体会。结果：两种方法均能获得听力损失不同程度的行为测听听阈曲线，结合其他客观听力检查，综合分析，可全面了解聋幼儿听觉系统的功能状态。结论：在测试中需要讲究方法和技巧才能使检测结果接近实际听阈。

应用传统布景箱与计算机动画进行视觉强化行为测听的比较

目的比较使用传统布景箱与使用计算机动画进行视觉强化行为测听中受试小儿向定位声源转头次数的差异,为顺利进行视觉强化行为测听提供参考依据。方法将平均年龄1.5岁小儿30例随机分为两组:布景箱组与计算机动画组,分别使用传统布景箱与计算机动画作为视觉奖励物进行视觉强化行为测听,比较小儿对视觉强化物失去兴趣之前向定位声源转头的次数。结果布景箱组与计算机动画组小儿转头次数分别为10.5次和14.7次,二者之间差异有统计学意义(P<0.05)。假阳性率分别为:(8.7±9.1)%与(4.2±8.6)%。结论使用计算机动画行视觉强化行为测听,较传统的布景箱引发的小儿向定位声源转头的次数更多,有利于视觉强化行为测听的顺利完成。

多媒体视觉强化测听法在人工耳蜗调试中的应用

目的应用多媒体视觉强化测听法获得低龄人工耳蜗植入患儿的听反应阈值（T值）。方法对5例植入诺尔康CS-10A型人工耳蜗者（植入时年龄12～18个月，平均15±2．55个月）分别于开机后1、3、6、9个月进行调试（每例4次），应用多媒体视觉强化测听法获得T值，并在开机后3、6、9、12个月通过助听听阈测试及婴幼儿有意义听觉整合问卷量表（IT—MAIS）进行评估。结果20次调试均成功获得了T值，5例受试者各次评估的助听听阈在30～50dBHL之间，平均为38．03±4．72dBHL；IT—MAIS得分随着时间的推移呈上升趋势，开机后12个月的平均得分为36．2±2．95分（满分为40分）。结论通过多媒体视觉强化测听法能够较准确地获得低龄人工耳蜗植入儿童的听反应阈值并满足日常听声需求，可推广应用至小儿行为听力测试。

追光逐影,医信融通的开拓者——中国工程院院士王振常教授

王振常院士是中国卫生学界首位中国工程院信息与电子工程学部院士,是我国听觉和视觉系统影像感知与解析领域的带头人,长期从事生理病理信息探测感知技术及仪器的科学研究。学术成果主要包括:1)突破传统影像学依靠单一结构信息诊断的局限,建立人体复杂系统影像多模式多维度协同与生理病理多要素信息关联诊断体系,形成新范式,并由此创建听觉传导通路多要素协同感知方法,进而阐明搏动性耳鸣病症机制和诱因,引领了该方向的国际前沿研究;2)突破人体微小结构无法精确辨识的难题,主持研制全球首台分辨尺度达50μm的骨质专用电子计算机断层扫描(computed tomography,CT)仪器,实现信息获取能力从亚毫米级到十微米级的跨越,成功探索出专而精的国产CT仪器高性能发展新路径。3)基于信息技术与医学的交叉融合,实现听视觉系统微小病症检出效能的大幅跃升,带动了医学影像学重构。多项研究成果被选入国际共识、教科书及全国统编教材,并在行业中普及应用,惠及亿万患者。

多模式汉语连续语音识别中视觉特征的提取和应用

本文对在汉语多模式汉语语音识别系统中利用视觉特征进行了研究 ,给出了基于多流隐马尔科夫模型 (Multi streamHMM ,MSHMM)的听视觉融合方案 ,并对有关视觉特征的两项关键技术 :嘴唇定位和视觉特征提取进行了详细讨论。首先 ,我们研究了基于模板匹配的嘴唇跟踪方法 ;然后研究了基于线性变换的低级视觉特征 ,并与基于动态形状模型的特征作了比较 ;实验结果表明 ,引入视觉信息后无噪环境下语音识别声学层首选错误率相对下降 36 0 9% 。

婴幼儿听神经病

目的对12名婴幼儿听神经病患者进行临床资料和听力学特征的讨论,了解婴幼儿听神经病的临床听力学特点。方法对我院门诊2004年-2006年确诊的婴幼儿听神经病12例进行临床资料分析。(1)听力学检查:视觉强化测听(VRA)、声导抗测试、畸变产物耳声发射(DPOAE)、瞬态诱发性耳声发射(TEOAE)、听性脑干反应(ABR)、听性稳态反应(ASSR)、40Hz听觉相关电位(40HzAERP);(2)辅助检查:颞骨CT扫描及血液维生素B12、叶酸及同型半胱氨酸含量测定。结果发病年龄为0-2岁,其中1岁以内发病者8例,占66.7%。进行视觉强化测听的8例(15耳)中重度至极重度聋12耳(占80%),听力图为上升型3耳(占20%),下降型4耳(占26.7%),平坦型8耳(占53.3%)。10例(20耳)完成声导抗测试,鼓室曲线图为As型或C型者12耳(占60%),20耳同侧及对侧镫骨肌反射均未引出反应。10例(19耳)行DPOAE检查,8耳各频率均检出反应,8耳在低频、3耳在低频和高频有个别频率未引出反应;另2例(4耳)行TEOAE检查,3耳各频率均引出反应,1耳低频和高频各有一频率未引出;对侧白噪声抑制效应均消失。12例(23耳)中,10例(19耳)ABR各波均未引出,2例(4耳)可见I波。ASSR阈值比主观听阈低的占76.9%,且两者之间无明显相关性。40HzAERP检出率为100%,阈值比主观听阈高的占66.7%,且两者之间无明显相关性;6例CT扫描,5例未见异常,1例示双侧中耳乳突炎及双侧上颌窦、筛窦炎;8例生化检查者中5例叶酸含量升高,3例同型半胱氨酸降低。结论婴幼儿听神经病有一定的特殊性:听力损失程度较重,易合并中耳疾病而混淆诊断。耳声发射正常、ABR和镫骨肌反射引不出及影像学检查不支持蜗后占位性病变等是诊断婴幼儿听神经病的主要标准,ASSR和40 Hz AERP可以辅助诊断。新生儿听力筛查时OAE应与快速ABR联合使用,以提高检出率。