面向神经形态感知的人工脉冲神经元的研究进展

近年来,随着人工智能技术和脉冲神经网络(SNN)的迅猛发展,人工脉冲神经元的研究逐渐兴起。人工脉冲神经元的研究对于开发具有人类智能水平的机器人、实现自主学习和自适应控制等领域具有重要的应用前景。传统的电子器件由于缺乏神经元的非线性特性,需要复杂的电路结构和大量的器件才能模拟简单的生物神经元功能,同时功耗也较高。因此,最近研究者们借鉴生物神经元的工作机制,提出了多种基于忆阻器等新型器件的人工脉冲神经元方案。这些方案具有功耗低、结构简单、制备工艺成熟等优点,并且在模拟生物神经元的多种功能等方面取得了显著进展。文章将从人工脉冲神经元的基本原理出发,综述和分析目前已有的各种实现方案。具体来说,将分别介绍基于传统电子器件和基于新型器件的人工脉冲神经元的实现方案,并对其优缺点进行比较。此外,还将介绍不同类型的人工脉冲神经元在实现触觉、视觉、嗅觉、味觉、听觉和温度等神经形态感知方面的应用,并对未来的发展进行展望。希望能够为人工脉冲神经元的研究和应用提供有益的参考和启示。

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络(SNNs)的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法(cross-spike error backpropagation,CSBP),将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。

基于脉冲神经网络的时空交互图像分类

脉冲神经网络作为人工智能发展的重要方向之一,在神经形态工程和类脑计算领域得到了广泛的关注.为解决脉冲神经网络泛化性差、内存和时间消耗较大等问题,本文提出了一种基于脉冲神经网络的时空交互图像分类方法.首先引入时间有效训练算法弥补梯度下降过程中的动能损失;其次融合空间随时间学习算法,提高网络对信息的高效处理能力;最后添加空间注意力机制,增强网络对空间维度上重要特征的捕捉能力.实验结果表明,改进后的方法在CIFAR10、DVS Gesture、CIFAR10-DVS这3个数据集上的训练内存占用分别减少了46.68%、48.52%、10.46%,训练速度分别提升了2.80倍、1.31倍、2.76倍,在保证精度的情况下,网络性能得到有效提升.

基于低时延和高精度脉冲神经网络的目标检测

人工神经网络(artificial neural network,ANN)在众多领域取得了显著进展,但其对计算资源和能耗的高需求限制了其在硬件端的部署和应用.脉冲神经网络(spiking neural network,SNN)因其低功耗和快速推理的特性,在神经形态硬件上表现出色.然而,SNN的神经元动态和脉冲发放机制导致其训练过程复杂,目前主要研究集中在图像分类任务上,本文尝试将SNN应用于更为复杂的计算机视觉任务.本文以YOLOv3-tiny网络为基础,提出了Spiking YOLOv3模型,其符合SNN特性的网络模型,在检测任务上实现了更高的准确度,并将平均推理时间减少至约原来工作的1/4.此外,我们还分析了ANN-SNN转换过程中产生的转换误差,并采用量化激活函数对Spiking YOLOv3模型进行了优化以减小转换误差.优化后的模型平均推理时间减少至约原来的1/2,并在VOC与UAV数据集上实现在ANN-SNN无损转换,显著提升了基于该模型的检测效率.

基于脉冲神经网络的近红外信号的分类研究

脉冲神经网络(Spiking Neural Network,SNN)是研究脑机接口(Brain-Computer Interface,BCI)的新方向。与传统人工神经网络不同,SNN使用离散脉冲信号传递和处理信息,模拟神经元的生物电活动,目前主要应用在脑电图(Electroencephalogram,EEG)中,而近红外信号的分类大多数以传统机器学习和卷积神经网络(Convolutional Neural Network,CNN)为主。受SNN在EEG分类应用的启发,将SNN应用于功能近红外光谱(Functional Near-Infrared Spectroscopy,fNIRS)分类任务,并采用频谱图SNN适应fNIRS数据特性。与传统方法和CNN相比,频谱图SNN在三元分类任务中表现出卓越性能,传统方法和CNN的分类准确率分别为75.7%和72.8%,频谱图SNN模型在同一任务上取得了显著的成功,分类准确率达80.49%。这表明,SNN模型可显著提高fNIRS脑机接口性能,为神经科学研究和BCI的发展提供了新的可能性。

用于双阈值脉冲神经网络的改进自适应阈值算法

脉冲神经网络(spiking neural network, SNN)由于在神经形态芯片上低功耗和高速计算的独特性质而受到广泛的关注。深度神经网络(deep neural network, DNN)到SNN的转换方法是有效的脉冲神经网络训练方法之一,然而从DNN到SNN的转换过程中存在近似误差,转换后的SNN在短时间步长下遭受严重的性能退化。通过对转换过程中的误差进行详细分析,将其分解为量化和裁剪误差以及不均匀误差,提出了一种改进SNN阈值平衡的自适应阈值算法。通过使用最小化均方误差(MMSE)更好地平衡量化误差和裁剪误差;此外,基于IF神经元模型引入了双阈值记忆机制,有效解决了不均匀误差。实验结果表明,改进算法在CIFAR-10、CIFAR-100数据集以及MIT-BIH心律失常数据库上取得了很好的性能,对于CIFAR10数据集,仅用16个时间步长就实现了93.22%的高精度,验证了算法的有效性。

基于脉冲序列标识的深度脉冲神经网络时空反向传播算法

尖峰放电的脉冲神经网络(SNN)具有接近大脑皮层的信号处理模式,被认为是实现大脑启发计算的重要途径。但是,目前对于深度脉冲神经网络的学习仍缺乏有效的监督学习算法。受尖峰放电速率标识的时空反向传播算法的启发,该文提出一种面向深度脉冲神经网络训练的基于时间脉冲序列标识的监督学习算法,通过定义突触后电位和膜电位反传迭代因子分别分析脉冲神经元的空间和时间依赖关系,使用替代梯度的方法解决反传过程中不连续可微的问题。不同于现有基于尖峰放电速率标识的学习算法,该算法能够充分反映脉冲神经网络输出的时间脉冲序列的动态特性。因此,所提算法非常适合应用于需要较长时间序列标识的计算任务,例如行为的时间脉冲序列控制。该文在静态图像数据集CIFAR10和神经形态数据集NMNIST上验证了所提算法的有效性,在所有这些数据集上都显示出良好的性能,这有助于进一步研究基于时间脉冲序列应用的大脑启发计算。

基于自适应时间步脉冲神经网络的高效图像分类

脉冲神经网络(Spiking neural network,SNN)由于具有相对人工神经网络(Artifcial neural network,ANN)更低的计算能耗而受到广泛关注.然而,现有SNN大多基于同步计算模式且往往采用多时间步的方式来模拟动态的信息整合过程,因此带来了推理延迟增大和计算能耗增高等问题,使其在边缘智能设备上的高效运行大打折扣.针对这个问题,本文提出一种自适应时间步脉冲神经网络(Adaptive timestep improved spiking neural network,ATSNN)算法.该算法可以根据不同样本特征自适应选择合适的推理时间步,并通过设计一个时间依赖的新型损失函数来约束不同计算时间步的重要性.与此同时,针对上述ATSNN特点设计一款低能耗脉冲神经网络加速器,支持ATSNN算法在VGG和ResNet等成熟框架上的应用部署.在CIFAR10、CIFAR100、CIFAR10-DVS等标准数据集上软硬件实验结果显示,与当前固定时间步的SNN算法相比,ATSNN算法的精度基本不下降,并且推理延迟减少36.7%~58.7%,计算复杂度减少33.0%~57.0%.在硬件模拟器上的运行结果显示,ATSNN的计算能耗仅为GPU RTX 3090Ti的4.43%~7.88%.显示出脑启发神经形态软硬件的巨大优势.

基于脉冲神经网络的轻量化SAR图像舰船识别算法

针对传统方法进行合成孔径雷达(SAR)图像目标识别存在参数多、能耗高等问题,提出了一种基于脉冲神经网络(SNN)的轻量化SAR图像舰船识别算法.首先,利用视觉注意力机制提取SAR图像视觉显著图,采用泊松编码器进行脉冲序列编码,能抑制背景噪声干扰.然后,结合泄漏整合发射(LIF)脉冲神经元和卷积神经网络,构建融合时序信息的SNN模型,能实现SAR图像舰船识别.最后,采用反正切函数作为反向传播时脉冲发射函数的梯度替代函数对SNN模型进行优化,能解决模型难以训练的问题.实验结果表明所提算法具有高精度、少参数、高效率和低能耗等优势,能实现SAR图像高效准确舰船识别.

基于坐标注意力脉冲神经网络的注视估计方法

针对传统相机在拍摄人眼运动时易产生动态模糊、时间分辨率低等问题,采用事件相机近眼拍摄构建Spiking-Eye数据集,并提出一种坐标注意力的脉冲神经网络模型(CA-SpikingRepVGG)。模型读取编码后的事件数据,经过带坐标注意力的主干网络进行特征提取,最后馈入检测头进行检测。实验结果显示:CA-SpikingRepVGG的平均检测精确率R_(P)达到了70.8%,与SpikingVGG-16比较,该模型的R_(P)提高了15.9%,召回率R_(r)提高了14.2%;仅需SpikingDensenet模型1/3的训练时间,比其R_(P)提高1.8%、R_(r)提高0.9%。结果表明:该模型在针对眼球运动这一场景下对人眼的检测追踪能力更强,可以很好地完成注视估计任务。

基于多子网络预训练的脉冲神经网络分类模型

脉冲神经网络(Spiking Neural Network,SNN)被认为是最符合生物大脑机制的类脑计算模型,凭借其事件驱动、高能效、可解释等特点吸引了越来越多的研究关注。然而,由于脉冲的二值输出与不可微分性,SNN的训练方法仍存在一定空缺。于是借鉴皮层记忆单元通过局部网络存储记忆信息的方式,提出一种基于多子网络预训练的脉冲神经网络分类方法。该方法使用样本标签信息优化了脉冲序列特征提取过程,采用改进的脉冲时间依赖可塑性学习规则预训练多个单类别特征提取子网络,并将预训练后的子网络进行无监督特征融合,有效提高了网络的特征分类能力。此外,在权重可视化与t-SNE可视化工具的帮助下,分析了方法的有效性。所提方法在MNIST与Fashion-MNIST数据集上分别取得了97.40%与88.81%的分类准确度。

基于脉冲神经网络的指挥智能体技术

针对现有智能体技术应用于军事指挥控制领域中时存在计算资源需求高、奖励值稀疏、收敛速度慢、推理效果差的问题,提出了一种基于脉冲神经网络(spiking neural network,SNN)和分层强化学习的指挥智能体技术。基于分层强化学习思想对军事指挥智能体进行建模,利用SNN构建智能体决策模型;通过ANN-SNN转换的学习算法获得基于SNN的指挥智能体;基于“墨子”兵棋推演软件开展对比试验,与现有智能体技术相比,提出方法对计算资源的需求较低,且具有较高的博弈对抗胜率。

支持抑制型脉冲神经网络的硬件加速器

现有脉冲神经网络加速器的设计过多关注于硬件层面的功能完备性,缺少算法层面的相关协同优化以保证硬件计算效率。此外,传统的事件驱动型脉冲神经网络加速器没有考虑到脉冲神经元模型中普遍存在的脉冲抖动现象,因此不能实现对抑制型脉冲神经网络的支持。为解决上述问题,采用软硬件结合的方式,提出了一种支持抑制型脉冲神经网络加速器的设计方法。软件优化层面通过对脉冲神经网络计算冗余性的分析,提出了相应的近似计算方法以大幅降低脉冲神经网络的计算量;硬件设计层面提出了解决脉冲抖动问题的计算模块,并在此基础上设计了与近似计算方法相适应的并行计算结构。为验证设计的合理性,在XilinxZC706 FPGA上部署了加速器原型FEAS。在主流数据集上的测试结果显示,相较以往脉冲神经网络的加速器部署,FEAS在保持97.54%原有模型精度的情况下获得超过一个数量级的性能提升。

基于广义基尼指数和脉冲神经网络的航空交流串联电弧故障检测

航空电缆在振动作用下很容易产生电连接器松动、线束断裂等情况,从而引起交流电弧故障。针对交流串联电弧故障时频域特征不明显而引起的故障检测问题,提出了一种基于广义基尼指数(generalized Gini indices,GGI)和脉冲神经网络(spiking neural network,SNN)的电弧故障检测方法。首先,提出用广义基尼指数对试验数据电流波形进行分析;其次判断正常周期和故障周期下的数值差距,然后与时域特征指标裕度、峭度、脉冲因子相比,所提指数对电流波形周期故障判断更准确;最后,将广义基尼指数转变成特征值,代入到积分泄漏发放(leaky integrate-and-fire,LIF)模型进行训练,进一步提高方法的普适性。试验结果表明,该方法能够快速有效地检测航空交流串联电弧故障。

脉冲神经网络硬件系统的膜电位存储复用机制

膜电位存储器是脉冲神经网络硬件系统的重要组成部分,传统系统中每一个神经元都匹配了一个独立的膜电位存储单元,这导致整个系统有较大的膜电位存储资源消耗。受计算机主存与Cache经典映射方法启发,文章提出了多对一、多对多以及全连接复用机制解决这一问题。在复用机制中,多个神经元可以按照不同的策略复用相同的存储单元以减少系统硬件成本。这三个复用机制也有着不同硬件实现复杂度和存储冲突概率,为解决上述问题提供了灵活的解决方案。

适合类脑脉冲神经网络的应用任务范式分析与展望

类脑脉冲神经网络(SNN)由于同时具有生物合理性和计算高效性等特点,因而在生物模拟计算和人工智能应用两个方向都受到了广泛关注。该文通过对SNN发展历史演进的分析,发现上述两个原本相对独立的研究方向正在朝向快速交叉融合的趋势发展。回顾历史,动态异步事件信息采集装置的成熟,如动态视觉相机(DVS)、动态音频传感(DAS)的成功应用,使得SNN可以有机会充分发挥其在脉冲时空编码、神经元异质性、功能环路特异性、多尺度可塑性等方面的优势,并在一些传统典型的应用任务中崭露头角,如动态视觉信号追踪、听觉信息处理、强化学习连续控制等。与这些物理世界的应用任务范式相比,生物大脑内部存在着一个特殊的生物脉冲世界,这个脉冲世界与外界物理世界互为映像且复杂度相似。展望未来,随着侵入式、高通量脑机接口设备的逐步成熟,脑内脉冲序列的在线识别和反向控制,将逐渐成为一个天然适合SNN最大化发挥其低能耗、鲁棒性、灵活性等优势的新型任务范式。类脑SNN从生物启发而来,并将最终应用到生物机制探索中去,相信这类正反馈式的科研方式将极大的加速后续相关的脑科学和类脑智能研究。

具有正则化约束的脉冲神经网络机器人触觉物体识别方法

拓展触觉感知能力是智能机器人未来发展的重要方向之一,决定着机器人的应用场景范围。由触觉传感器采集的数据是机器人完成触觉感知任务基础,但触觉数据具有复杂的时空性。脉冲神经网络具有丰富的时空动力学特征和契合硬件的事件驱动性,能更好地处理时空信息和应用于人工智能芯片给机器人带来更高能效。该文针对脉冲神经网络神经元脉冲活动离散性导致网络训练过程反向传播失效的问题,从智能触觉机器人动态系统角度,引入脉冲活动近似函数使脉冲神经网络反向传播梯度下降法有效;针对触觉脉冲数据量少导致的过拟合问题,融合正则化方法加以缓解;最后,提出具有正则化约束的脉冲神经网络机器人触觉物体识别(Spiking neural network Tactile dropout,SnnTd;Spiking neural network Tactile dropout-l2-cosine annealing,SnnTdlc)算法。相较于经典方法TactileSGNet,Grid-based CNN,MLP和GCN,SnnTd正则化方法触觉物体识别率在EvTouchContainers数据集上比最好方法TactileSGNet提升了5.00%,SnnTdlc正则化方法触觉物体识别率在EvTouch-Objects数据集上比最好方法TactileSGNet提升了3.16%。

脉冲神经网络权重量化方法与对抗鲁棒性分析

类脑芯片中的脉冲神经网络(SNNs)具有高稀疏性和低功耗的特点,在视觉分类任务中存在应用优势,但仍面临对抗攻击的威胁。现有研究缺乏对网络部署到硬件的量化过程中鲁棒性损失的度量方法。该文研究硬件映射阶段的SNN权重量化方法及其对抗鲁棒性。建立基于反向传播和替代梯度的监督训练算法,并在CIFAR-10数据集上生成快速梯度符号法(FGSM)对抗攻击样本。创新性地提出一种感知量化的权重量化方法,并建立与对抗攻击的训练与推理相融合的评估框架。实验结果表明,在VGG9网络下,直接编码对抗鲁棒性最差。在权重量化前后,4种编码和4种结构参数组合方式下,推理精度损失差与层间脉冲活动的平均变化幅度分别增大73.23%和51.5%。该文指出稀疏性因素对鲁棒性的影响相关度为:阈值增加大于权重量化bit降低大于稀疏编码,所提对抗鲁棒性分析框架与权重量化方法在PIcore类脑芯片中得到了硬件验证。

基于DT-LIF神经元与SSD的脉冲神经网络目标检测方法

相对于传统人工神经网络(ANN),脉冲神经网络(SNN)具有生物可解释性、计算效率高等优势。然而,对于目标检测任务,SNN存在训练难度大、精度低等问题。针对上述问题,该文提出一种基于动态阈值LIF神经元(DT-LIF)与单镜头多盒检测器(SSD)的SNN目标检测方法。首先,设计了一种DT-LIF神经元模型,该模型可根据累积的膜电位动态调整神经元的阈值,以驱动深层网络的脉冲活动,提高推理速度。同时,以DT-LIF神经元为基元,构建了一种基于SSD的混合SNN。该网络以脉冲视觉几何群网络(Spiking VGG)和脉冲密集连接卷积网络(Spiking DenseNet)为主干(Backbone),具有由批处理归一化(BN)层、脉冲卷积(SC)层与DT-LIF神经元构成的3个额外层和SSD预测框头(Head)。实验结果表明,相对于LIF神经元网络,DT-LIF神经元网络在Prophesee GEN1数据集上的目标检测精度提高了25.2%。对比AsyNet算法,所提方法的目标检测精度提高了17.9%。

基于高低阈值的脉冲神经元抗噪学习算法

脉冲神经元的动态阈值学习算法在训练神经元的过程中通过改变阈值的大小,可以有效提高神经元的抗噪能力。然而,动态阈值的使用又会降低神经元的学习精度,且在与基于梯度下降的学习算法结合使用时容易导致神经元沉默。基于此,提出了一种改进的基于梯度下降的高低阈值抗噪算法,使用高低阈值来避免神经元的学习精度损失,并在神经元沉默时使用虚拟激发脉冲来继续学习过程,同时使用动态的学习速率来降低高低阈值对学习周期的影响程度。实验结果表明,该算法可以显著提高神经元的抗噪能力,并且能够保证学习精度和收敛速度,适用于基于梯度下降的脉冲神经元学习算法。