双模型语音识别中的听视觉合成和模型同步异步性实验研究

研究了双模型语音识别系统中前合成和后合成两种听觉视觉合成方法 ;同时在后合成方法中引入了考虑听觉和视觉同步异步特点的复合模型。仿真实验证明了在声学噪音环境下 ,后合成方法能够带来比较理想的识别效果 ;考虑听觉和视觉同步异步性的模型可以有效地提高识别率。

基于图像识别的道路障碍检测方法研究

目前道路工况巡视、无人驾驶等领域需要应用道路障碍自动识别、检测技术,论文提出了基于图像识别的道路障碍检测方法,通过应用双视觉识别模型实现道路障碍检测,论文首先阐述了摄像机视觉模型,在此基础上提出了双视觉模型,重点对基于图像的障碍物检测算法进行了详细阐述,通过本算法提高了道路障碍检测的自动化处理效率。

汉语听觉视觉双模态信息的互补作用

从汉语听觉视觉双模态数据库CAVSR1.0中选出 10个人的视听数据 ,每人发 14个音节 /ba,bi,bian ,biao ,bin ,de ,di,dian ,duo,dong,gai,gan ,gen ,gu/ .感知实验的样本分单语音信号、语音信号 +视觉信号、单视觉信号 3类 .单语音信号、语音信号+视觉信号分别包括 5种声学条件 :无噪语音信号 ,信噪比S/N为 0 ,-8,-12 ,-16dB的语音信号 .由 2 0名观察者进行感知识别 .通过对实验结果分析 ,发现人类对单视觉信号有较强的识别能力 ;声母的发音方法、发音部位和韵母造成了视觉上的不同差异 ;在噪声环境下 ,视觉信息对听觉信息有非常明显的补偿作用 ,可以使正确识别率大幅度提高 .