在DCT域进行LDA的唇读特征提取方法

为解决视觉语言特征提取这个唇读技术中最关键的难题,提出一种新的基于DCT和LDA的特征提取方法。为提取对不同口型最具分类能力的特征矢量,首先基于DCT对视觉语言部位变换降维,然后基于LDA算法从DCT系数提取对口型分类性能最优的特征矢量。在特定人与非特定人的唇读数据库上以及实时唇读识别的实验都表明,该方法唇读识别率比传统的人工直接选择DCT系数法以及PCA提取法有明显提高。

基于耦合HMM的多传感异步信息融合分类策略

针对多传感异步信息融合分类问题,提出了一种新颖的基于耦合隐马尔可夫模型(CHMM)结构的中期融合分类策略,该策略既考虑到了多传感信息在时间上的相关性,又解决了信息流之间的异步问题;其次,通过限制信息流的状态数量和限制信息流之间的异步程度,简化了模型结构;此外,为解决CHMM的算法实现问题,提出了一种CHMM与双流HMM的等效变换方法,从而利用经典的HMM算法解决了CHMM的模型实现。最后在唇读语音双模态数据库上的实验证明,该异步信息融合策略实现了比早期同步融合更理想的识别结果,证明了该信息融合策略在异步信息融合分类上的有效性。