基于自适应时间步脉冲神经网络的高效图像分类

脉冲神经网络(Spiking neural network,SNN)由于具有相对人工神经网络(Artifcial neural network,ANN)更低的计算能耗而受到广泛关注.然而,现有SNN大多基于同步计算模式且往往采用多时间步的方式来模拟动态的信息整合过程,因此带来了推理延迟增大和计算能耗增高等问题,使其在边缘智能设备上的高效运行大打折扣.针对这个问题,本文提出一种自适应时间步脉冲神经网络(Adaptive timestep improved spiking neural network,ATSNN)算法.该算法可以根据不同样本特征自适应选择合适的推理时间步,并通过设计一个时间依赖的新型损失函数来约束不同计算时间步的重要性.与此同时,针对上述ATSNN特点设计一款低能耗脉冲神经网络加速器,支持ATSNN算法在VGG和ResNet等成熟框架上的应用部署.在CIFAR10、CIFAR100、CIFAR10-DVS等标准数据集上软硬件实验结果显示,与当前固定时间步的SNN算法相比,ATSNN算法的精度基本不下降,并且推理延迟减少36.7%~58.7%,计算复杂度减少33.0%~57.0%.在硬件模拟器上的运行结果显示,ATSNN的计算能耗仅为GPU RTX 3090Ti的4.43%~7.88%.显示出脑启发神经形态软硬件的巨大优势.