基于时域膜电位归一化算法训练脉冲神经网络

由于脉冲神经网络(Spike Neural Network,SNN)具有的时间特性使其比人工神经网络更容易发生梯度消失或梯度爆炸等问题,因此本文提出时域膜电位归一化方法。通过调整神经元膜电位的分布,减少网络内部的协变量移位,来保证训练深度脉冲神经网络的稳定。通过实验验证了本文方法的有效性,在CIFAR-10数据集上的识别精度达到了88.12%。

基于脉冲频率与输入电流关系的SNN训练算法

脉冲神经网络(spiking neural network,SNN)以异步事件驱动,支持大规模并行计算,在改善同步模拟神经网络的计算效率方面具有巨大潜力。然而,目前SNN仍然面临无法直接训练的难题,为此,受到神经科学领域关于LIF(leaky integrate-and-fire)神经元响应机制研究启发,提出了一种新的基于频率编码的SNN训练算法。通过仿真实验对LIF神经元发放脉冲频率进行建模,得到LIF神经元脉冲频率与输入电流之间显示表达关系,并将其导数作为梯度,解决了SNN训练过程中离散脉冲事件产生的不可微性问题,使得可利用BP算法对SNN进行训练。现有基于频率编码的方法采用时间信用分配机制进行参数更新,通常具有较差的学习效率,为此,采用LIF神经元响应机制更新网络参数,提高了学习效率。在MNIST和CIFAR10数据集上的实验结果验证了所提方法的有效性,分类精度分别达到了99.53%和89.46%,在CIFAR10数据上的识别精度相较于先前研究者提高了4.22个百分点,在学习效率方面相较于先前采用时间信用分配方法提高了一倍左右。