高显著性的时空金字塔精简描述符算法研究

当传统时空金字塔层数较多时,特征描述符的维数会非常高,使得此类描述符在训练和测试阶段计算效率非常低。此外,在时空金字塔的分层及每层立方体单元的划分中,至今仍然采用手动划分视频,使得视频划分策略没有强的理论依据。鉴于以上缺点,提出一种高显著性的时空金字塔精简描述符算法。形成的新描述符是所有时空金字塔层中每个立方体单元局部特征的权重和,而不是把所有立方体单元局部特征描述符串联起来形成一个巨大的特征描述符,每个立方体单元的权重可以通过偏最小二乘法自动获取,由此产生的视频全局描述符精简并且具有高的显著性。此外通过观测其精细立方体单元的权重,还可以展现出显著性时空金字塔每个立方体单元及每层金字塔的贡献,由此,可以根据权重自动划分视频。采用HMDB51和YouTube两个动作数据库进行实验验证,与时空金字塔描述符和超稀疏编码向量相比,此描述符精简并能在低维度下取得较好的识别效果。

一种基于SOM与脉冲神经网络的音频识别方法

近年来,在人工神经网络技术的推动下,音频分类技术不断提高。然而,传统人工神经网络存在计算功耗大、时域信号处理困难等问题。脉冲神经网络由于其事件驱动的特性,有着低功耗、可解释、时域处理能力强等特点,非常适用于音频信号处理任务。提出一种基于SOM时空特征稀疏编码和SNN有监督分类的音频识别方法,利用MFCC进行时-频域转换后,再利用SOM实现对时间序列音频信号的稀疏编码,不同于其他基于误差反向传播的有监督学习,利用带积分的STDP学习规则训练权重,并且通过使用兴奋抑制双监督训练方法,可以使得SNN有效提取和分析音频信号中的空间特征与时间特征,最终所提方法在TIDIGITS数字音频数据集上取得了96.47%的分类准确度。