面向未来的交互信息技术——听觉视觉双模态语音识别(AVSR)(下)

３ＳＩＴ在ＡＶＳＲ方面的研究进展中科院声学所语音交互信息技术研究中心（ＳＩＴ）主要从事与语音有关的交互信息技术的研究，涵盖了识别、合成、编码等技术领域。ＳＩＩＴ在ＡＶＳＲ领域的研究始于１９９６年，经过两年多的研究，在信号分析基础技术、采集与分析的集...

汉语听觉视觉语音识别(CAVSR)双模态数据库的建立与结构

介绍了汉语双模态数据库的研究背景、采集系统、语料选择和存储结构. 采用国际通 用模式，建立具有华人特征的汉语双模态数据库.

彩色多普勒超声联合阴茎海绵体注射和听觉视觉性刺激在勃起功能障碍诊断中的价值

目的:评估彩色多普勒超声联合阴茎海绵体注射和听觉视觉性刺激在勃起功能障碍诊断中的临床应用价值。方法:对120例临床诊断为勃起功能障碍的患者进行阴茎海绵体内注射血管活性药物和辅助眼镜式影像仪给予听觉视觉性刺激,采用彩色多普勒超声测量阴茎海绵体动脉直径(CAD)、收缩期峰值流速(PSV)、舒张末期流速(EDV)、阻力指数(RI)、背深静脉(DDV)流速。结果:非血管性、动脉性和静脉性ED患者左右深动脉血流参数和注射前后阴茎海绵体动脉直径增大率差异无统计学意义(P>0.05);彩色多普勒超声联合阴茎海绵体注射和听觉视觉性刺激在诊断动脉性血勃起功能障碍敏感度与特异度均为100%,诊断静脉性血勃起功能障碍敏感度为100%,特异度为96%。结论:彩色多普勒超声联合阴茎海绵体注射和听觉视觉性刺激在诊断各类型血管性ED及区别非血管性ED中具有较高的临床价值,值得推广应用。

汉语听觉视觉双模态信息的互补作用

从汉语听觉视觉双模态数据库CAVSR1.0中选出 10个人的视听数据 ,每人发 14个音节 /ba,bi,bian ,biao ,bin ,de ,di,dian ,duo,dong,gai,gan ,gen ,gu/ .感知实验的样本分单语音信号、语音信号 +视觉信号、单视觉信号 3类 .单语音信号、语音信号+视觉信号分别包括 5种声学条件 :无噪语音信号 ,信噪比S/N为 0 ,-8,-12 ,-16dB的语音信号 .由 2 0名观察者进行感知识别 .通过对实验结果分析 ,发现人类对单视觉信号有较强的识别能力 ;声母的发音方法、发音部位和韵母造成了视觉上的不同差异 ;在噪声环境下 ,视觉信息对听觉信息有非常明显的补偿作用 ,可以使正确识别率大幅度提高 .

重型颅脑损伤视觉听觉P300特征及与智商的相关性

目的探讨重型颅脑损伤患者视觉和听觉P300的特征及与智商的相关性和其应用价值。方法采用中国修订韦氏成人智力量表与Neuroscan-ERP仪对29名重型颅脑损伤患者(外伤组)和46名健康志愿者(对照组)进行智测及视觉、听觉P300检测,分析其特征和相关性。结果外伤组智商均值明显低于对照组(P<0.01);视觉P300包括P2、N2和P3成分,听觉P300包括N1、P2、N2、P3成分。外伤组P300波形分化不良,视觉P300各成分的波幅和潜伏期均较对照组明显降低和延长(P<0.05);听觉P300的P2波幅和N2、P3的波幅及潜伏期也明显降低和延长(P<0.05)。视觉和听觉P300各成分中仅P3潜伏期与总智商呈负相关(r=-0.30^-0.42,P<0.05)。结论重型颅脑损伤患者治疗终结后智能仍明显下降,视觉和听觉P300的波幅和潜伏期亦明显异常,且P3潜伏期与智商呈负相关,可作为评估智能损害的一项神经电生理参考指标。

听觉与视觉——音乐与舞蹈的逆向表达

音乐与舞蹈有着密不可分的关系,音乐听觉感知能力使舞蹈动作更趋于美的感染力,它们相互支撑并相互依存,舞蹈在音乐作用下给人美的视觉,音乐在人的内心舞蹈,给人予美的听觉。

语言加工的视觉—听觉双通道整合效应研究:方法与发现

语言加工是人脑在视觉—听觉双通道整合机制下对多模态的语言信息进行编码、转换、存储和提取的过程。本文旨在分析国外对语言加工的视觉—听觉双通道整合效应的研究,并进一步验证语言信息输入的多模态性以及视觉—听觉交互作用对语言加工的影响力。

正常青年人视觉、听觉诱发的ERP的比较

35例正常青年人同时进行视觉、听觉不同刺激模式检测的事件相关电位(ERP)进行比较分析,我们发现不同刺激模式诱发出的ERP各波的潜伏期,波幅均不相同,尤其是不同模式的靶与非靶刺激诱发的P_2波的波幅有明显的差距(P<0.05)。本文对其原因和不同年龄的P_3波在颅顶有不同的分布部位以及其中一些人P_3波电位值两半球不对称性的机理进行了初步探讨。

论音乐教学中内心“视觉”与“听觉”的培养

音乐教学既要注重技能的训练,更要重视素质的培养通过内心"视觉""听觉"形成艺术形象是音乐教学活动中进入审美高潮的重要标志。因此,课堂上要注重培养学生的内心想象力,引导他们大胆自由地发挥听觉想象和视觉想象,成为一名有创新意识的人。

视觉与听觉联合分散干预结合预防性护理对功能性鼻内镜手术患者术后疼痛程度及并发症发生率的影响

目的探讨视觉与听觉联合分散干预结合预防性护理在功能性鼻内镜手术(FESS)患者中的应用效果。方法选择2018年6月至2019年6月收治的98例FESS术后患者为研究对象,根据入院顺序将其分为对照组和观察组,每组49例。对照组予以常规护理,观察组在常规护理基础上采用视觉与听觉联合分散干预结合预防性护理。比较两组的护理效果。结果观察组VAS评分为(2.16±0.44)分,低于对照组的(5.67±0.59)分(P<0.05);观察组中重度疼痛率为12.24%,低于对照组的30.61%(P<0.05)。观察组并发症总发生率为6.12%,低于对照组的20.41%(P<0.05)。干预后,观察SNOT-20、SF-36评分均优于对照组(P<0.05)。结论视觉与听觉联合分散干预结合预防性护理能减轻FESS患者术后疼痛程度,减少并发症,提高生活质量。

古典名著改编影视作品中听觉与视觉的互动关系——以87版《红楼梦》为例

在众多影视作品中,对于古典文学名著的改编与创新往往富有较大的挑战性。在最大化还原文学作品的主要思想基调的同时,还需意识到改编即是艺术创造,而影视艺术创造的魅力是以视觉与听觉的形式传递到观众群体,因此,如何把握古典名著影视作品中听觉与视觉间的互动关系,就成为了影视文艺工作者值得深入探讨的问题。

双模型语音识别中的听视觉合成和模型同步异步性实验研究

研究了双模型语音识别系统中前合成和后合成两种听觉视觉合成方法 ;同时在后合成方法中引入了考虑听觉和视觉同步异步特点的复合模型。仿真实验证明了在声学噪音环境下 ,后合成方法能够带来比较理想的识别效果 ;考虑听觉和视觉同步异步性的模型可以有效地提高识别率。

艺术通感视觉化符号转译研究

艺术通感是通过对艺术图形符号的再现和再创行为,与视觉特征有着千丝万缕的联系。在艺术创作过程中,视觉、听觉与触觉之间的相互通感对艺术创作起着主导作用,味觉和嗅觉之间的通感辅助作用也是不能忽视的。创作者扮演着翻译的角色,将多样化的感官体验迅速而准确的转译为视觉化符号,并在由符号引导的艺术通感体验中完成信息的有效传播。

为幼儿创设良好的听觉环境

环境是幼儿园教育的一种重要手段。《幼儿园工作规程》明确指出,要为幼儿创设与教育相适应的良好环境。近几年来,幼教工作者从方方面面对幼儿园教育环境的创设进行了深入的研究和广泛的实践,取得了丰富的经验,也充实了环境教育的理论。但是,一些研究多从视觉、触觉环境的角度出发,为幼儿提供一个以用眼观察、用手操作的感知世界,而听觉环境却被忽视了。事实上。

中国中老年人感觉障碍与抑郁症状的关联探索——基于CHARLS的队列研究

目的:探索感觉障碍与抑郁症状的纵向关联,为抑郁的预防提供依据。方法:采用中国健康与养老追踪调查(CHARLS)2011—2020年的数据。感觉障碍由听觉障碍和视觉障碍两个指标构成,听觉障碍和视觉障碍均为自报。根据听觉和视觉情况将研究对象分为4组:无听觉和视觉障碍(NSI)组、仅听觉障碍(HI)组、仅视觉障碍(VI)组、听觉和视觉双重障碍(DSL)组。抑郁症状根据简版流调用抑郁自评量表(CESD-10)进行评估。采用Cox比例风险模型检验感觉障碍与抑郁症状的纵向关联。结果:共纳入12952例研究对象,其中HI组745例(5.8%),VI组2756例(21.3%),DSL组671例(5.2%)。在随访期间(中位随访时间5.42年),共5498例研究对象检出抑郁症状。Cox比例风险模型结果显示,在未调整模型中,HI组、VI组和DSI组出现抑郁症状的风险均高于NSI组(P<0.05)。调整了社会人口学、行为生活方式及健康相关因素后,HI组出现抑郁症状的风险是NSI组的1.24倍(95%CI:1.09~1.41),VI组出现抑郁症状的风险是NSI组的1.20倍(95%CI:1.11~1.29),DSI组出现抑郁症状的风险是NSI组的1.37倍(95%CI:1.21~1.56)。结论:自我报告的VL、HL或DSL与抑郁症状之间存在纵向关联,应重点关注VL和HL患者的心理健康状况。

早期帕金森病患者脑干听觉诱发电位及视觉诱发电位研究

目的:探讨早期帕金森病患者是否存在视觉传导通路及脑干听觉传导通路的损害。方法:选取48例HoehnYahr分级≤2.5级PD患者(PD组)和52例年龄、性别与之相匹配的健康体检者(对照组)进行视觉诱发电位及脑干听觉诱发电位检测。结果:PD组视觉诱发电位与对照组相比各波潜伏期均有延长,差异有统计学意义(P<0.05),而P100波幅未见明显差异。PD组与对照组脑干听觉诱发电位比较,各波峰潜伏期及峰间潜伏期差异均无统计学意义(P>0.05)。结论:VEP是一种无创且简便易行的检测方法,可以为PD的早期诊断提供有效帮助,可能对评估PD病情严重程度也具有重要价值。

何以耳朵能制造“抽象”——艺术抽象的生理哲学论(之一)

人类感知和确立外部世界的途径主要依赖生理的条件获取“形象”,在哲学上,肉身感官形象和艺术创造形象可分为具象与抽象两类。视觉的“眼见为实”表明了眼睛的具象性——空间的具象性,听觉的“耳听为虚”,表明了耳朵的抽象性——时间的抽象性。这是人类最特有的生理/文化现象。基于人的生理构造的艺术抽象,声音能够先于视觉走向“抽象”的生理/文化的基本条件,体现了耳朵感官基础上的声音抽象的可能性与必然性。声音的抽象也就是对时间的抽象。这是音乐之所以抽象的时间逻辑,也是建立在视听生理基础上的抽象维度。人类的生理基础决定了人的行为方式,人类的文化行为决定了人的精神行为。人的视听感官的矛盾决定了人类在抽象、抽象思维和抽象艺术上的对立与统一。人类抽象意识、抽象概念和抽象艺术的存在使自身摆脱了一般生命的限度,进入了一个智慧生命的阶段。从人类听觉艺术抽象化的发展来看,追寻时间的抽象意义一直是抽象艺术的绝对维度,因此,我们可以研判,视觉艺术的抽象化发生与发展也一定是建立在空间维度上的时间意义的发生与发展。

脑机接口技术在医学临床中的应用进展

在医学临床应用中,脑机接口(Brain-Computer Interface,BCI)技术发展迅速,尤其在神经康复、感官修复及精神健康治疗等方面取得重要突破。BCI技术实现了中风、脊髓损伤患者通过意念操控外骨骼实现日常生活动作,而植入式视觉假体则为失明患者带来视觉恢复的可能。在精神健康领域,BCI技术被应用于情绪识别、疲劳检测和精准康复治疗,有助于改善患者生活质量和社会功能。随着市场规模持续扩大和技术迭代,BCI将在更多医疗领域和日常生活中发挥作用。

基于通道的内源性注意对声音诱发闪光错觉的影响

声音诱发闪光错觉是指当视觉闪光伴随不相等数量的听觉声音在100 ms内相继或同时呈现时,个体会错觉性地知觉到视觉闪光的个数与听觉声音的数量相等。研究采用经典的声音诱发闪光错觉范式,将注意以内源性的方式指向视觉通道或者听觉通道,考察了基于通道的内源性注意对声音诱发闪光错觉的影响。结果发现,当注意内源性地指向视觉通道时,相对于基线条件,裂变错觉的量显著减小;当注意内源性地指向听觉通道时,相对于基线条件,裂变错觉的量存在增大的趋势。说明了基于通道的内源性注意可以影响声音诱发闪光错觉中的裂变错觉,但不影响融合错觉。