具有混合奖惩信号的脉冲时间依赖可塑性算法

近年来,具有生理学基础的脉冲时间依赖可塑性(Spiking Timing-Dependent Plasticity,STDP)规则在脉冲神经网络中得到了越来越多的应用.由STDP规则和奖惩机制相结合的R-STDP(reward-modulated STDP)学习算法在改善脉冲神经网络的性能上有良好的效果.但R-STDP算法在训练多层脉冲神经网络时,仍存在反馈信号仅作用于网络末层、中间层无法获得有用奖惩信号.为此,利用自编码器的无监督特性,提出一种具有混合奖惩信号的MR-STDP(Mix Reward-modulated STDP)算法.在中间层中增加重构层以够建基于卷积自编码器的奖惩信号因子模型,通过比较卷积层和重构层的神经元脉冲发放时间,获取中间层网络权重调整的指导因子信号.指导因子信号是对比层间自编码器的输入层与重构层的相同位置神经元所发放的脉冲序列相似性度量指标,并将其与R-STDP相结合,使得中间层能够获得权重指导信号.在MNIST和COVID-19 CT数据集上的实验结果表明,该方法取得了比R-STDP更高的精度,且中间层网络的学习效率大幅提高.

突触长时程可塑性的动力模型

突触长时程可塑性使突触效能加强(长时程增强,LTP)或突触效能减弱(长时程压抑,LTD)是神经系统中潜在的学习和记忆。兴奋神经元突触的LTP和LTD是由突触前和突触后活动的精确定时所诱导。突触长时程可塑性传递改变涉及许多复杂的过程;例如,突触可塑性的两种形式由不同时程的Ca2+进入突触细胞诱导。我们给出了突触可塑性的LTP和LTD合成的过程、动力学模型及突触增强变化的预测模型,当用预测尖峰的不同频率训练和Poisson分布训练时,将产生不同的突触前和突触后的平均电压。

基于脉冲时间依赖可塑性的自适应神经网络抗扰能力研究

为探究生物神经网络的自组织抗扰特性,进而为电子系统的电磁仿生防护提供新的思路和方法,本文基于神经网络中信息传递的机制和脉冲时间依赖突触可塑性(STDP)机制,探讨了突触可塑性与生物自适应特性的关系,然后选取Izhikevich神经元模型作为基本单元,以STDP机制调节的突触为桥梁,构建了四层的前馈神经网络模型,最后分析了该网络的自适应抗扰能力。仿真结果表明,基于STDP机制的神经网络具有很好的抗扰能力,且这种特性与STDP机制密切相关。基于此仿真工作将进一步进行领域转换,搭建模拟生物神经系统信息处理机制的神经元及突触的单元电路,并以该单元电路为基础设计具有自适应抗扰的电子电路。

反脉冲时间依赖可塑性学习机制的光学实现

突触可塑性为神经网络的学习机制提供了基础。基于单个半导体光放大器(SOA)的非线性偏振旋转(NPR)和交叉增益调制(XGM)效应实现了反脉冲时间依赖可塑性(anti-STDP)学习机制。通过调整SOA驱动电流,可以实现长时程增强窗口(LTP)和长时程抑制窗口(LTD)的高度和宽度调整,能更好地模拟神经网络。实验测量得到的anti-STDP曲线与生物系统中测量得到的学习曲线相吻合。使用该anti-STDP光路得到的学习曲线的时间窗口约为几百皮秒,其速度是人类大脑STDP学习机制的108倍。由于该anti-STDP光路系统简单,且SOA易于与其他器件集成,该anti-STDP光路可以用于实现大规模超快神经拟态计算系统。

一种离散时间调度的图像自分类脉冲神经网络

针对现有脉冲神经网络(SNN)图像分类模型中存在的资源占用高和运算较复杂等实际约束问题,为寻求更加轻量高效的机器视觉解决方案,提出了一种新型的基于离散时间调度的SNN图像自分类模型。通过高斯差分归一化和首脉冲时间编码完成了从灰度图像到脉冲序列的转换;结合经典的脉冲时间依赖可塑性算法与强化学习的奖惩机制,实现了网络自分类;通过引入竞争性机制和双重约束条件,保证了脉冲传递的稀疏性和学习特征的特异性,有效抑制了过拟合的出现。在Face/Moto数据集上的实验结果表明:相较于传统SNN分类模型,权重更新算法复杂度由O(n^(2))降低为O(1),脉冲编码模式简化了近90%,网络训练参数减少了60%以上;模型开始迭代6次后权重近乎收敛,分类准确率由40%迅速上升至90%,在迭代20次后分类性能趋于稳定,最终准确率达到了93.4%;当训练样本比例减少至原先的40%后,模型的分类准确率仍能稳定保持在80%左右。所提模型可为高效率低功耗的小型智能化硬件终端的边缘计算方案实现提供参考。

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络(SNNs)的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法(cross-spike error backpropagation,CSBP),将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。

基于多子网络预训练的脉冲神经网络分类模型

脉冲神经网络(Spiking Neural Network,SNN)被认为是最符合生物大脑机制的类脑计算模型,凭借其事件驱动、高能效、可解释等特点吸引了越来越多的研究关注。然而,由于脉冲的二值输出与不可微分性,SNN的训练方法仍存在一定空缺。于是借鉴皮层记忆单元通过局部网络存储记忆信息的方式,提出一种基于多子网络预训练的脉冲神经网络分类方法。该方法使用样本标签信息优化了脉冲序列特征提取过程,采用改进的脉冲时间依赖可塑性学习规则预训练多个单类别特征提取子网络,并将预训练后的子网络进行无监督特征融合,有效提高了网络的特征分类能力。此外,在权重可视化与t-SNE可视化工具的帮助下,分析了方法的有效性。所提方法在MNIST与Fashion-MNIST数据集上分别取得了97.40%与88.81%的分类准确度。

基于生物突触可塑性的仿生分层脉冲神经网络事件相机对象识别系统

脉冲神经网络(SNNs)以稀疏脉冲时间编码、异步事件驱动的方式天然地适合处理事件相机输出的事件流数据。为了提高现有的仿生分层脉冲神经网络对事件相机对象的特征提取和分类性能,本文提出一种基于生物突触可塑性的仿生分层脉冲神经网络事件相机对象识别系统。该系统首先基于脉冲神经元电位对原始事件流进行自适应分割以提高系统计算效率,然后使用基于生物突触可塑性的仿生分层脉冲神经网络对事件流数据进行多层的时空特征提取并分类。在基于Gabor滤波器的事件驱动卷积层提取初级视觉特征之后,网络使用基于无监督脉冲时间依赖突触可塑性(STDP)规则的特征层提取频繁出现的显著特征,以及基于奖励调节STDP规则的特征层学习诊断性特征。本文提出的网络在四个基准事件流数据集上的分类精度均优于现有的仿生分层脉冲神经网络,并且本文方法对于较短的事件流输入数据也有很好的分类能力,对输入事件流噪声也具有较强的鲁棒性。综上,本文提出的网络能够提高该类网络对事件相机对象的特征提取和分类性能。

基于多层忆阻脉冲神经网络的强化学习及应用

人工神经网络(Artificial neural networks, ANNs)与强化学习算法的结合显著增强了智能体的学习能力和效率.然而,这些算法需要消耗大量的计算资源,且难以硬件实现.而脉冲神经网络(Spiking neural networks, SNNs)使用脉冲信号来传递信息,具有能量效率高、仿生特性强等特点,且有利于进一步实现强化学习的硬件加速,增强嵌入式智能体的自主学习能力.不过,目前脉冲神经网络的学习和训练过程较为复杂,网络设计和实现方面存在较大挑战.本文通过引入人工突触的理想实现元件-忆阻器,提出了一种硬件友好的基于多层忆阻脉冲神经网络的强化学习算法.特别地,设计了用于数据–脉冲转换的脉冲神经元;通过改进脉冲时间依赖可塑性(Spiking-timing dependent plasticity, STDP)规则,使脉冲神经网络与强化学习算法有机结合,并设计了对应的忆阻神经突触;构建了可动态调整的网络结构,以提高网络的学习效率;最后,以Open AI Gym中的CartPole-v0 (倒立摆)和MountainCar-v0 (小车爬坡)为例,通过实验仿真和对比分析,验证了方案的有效性和相对于传统强化学习方法的优势.

基于忆阻器突触的脉冲神经网络综述

忆阻器是一种具有非易失性、类突触可塑性和多值性的新型存储器件,能够模拟生物神经元和突触的功能,实现神经形态计算的存算一体化。脉冲神经网络是一种基于生物神经系统信息处理机制的第三代人工神经网络,具有高效性、并行性、稀疏性和自适应性的特点,能够处理复杂的时空信号。利用忆阻器构建的脉冲神经网络是神经形态计算的一个重要研究方向,已经在图像处理、语音识别、自然语言处理、机器学习等领域实现突破性的进展。本文总结忆阻器脉冲神经网络的基本原理、主要应用和存在的挑战,并对其未来的发展趋势和研究方向进行展望。

基于双阈值的ANN-SNN转换方法优化

脉冲神经网络作为第三代神经网络,能够克服许多人工神经网络中所存在的问题,如高功耗、鲁棒性较差等;通过对预训练好的人工神经网络模型进行转换是获取深度脉冲神经网络模型的一种主要方法,然而通过这种方法获取的脉冲神经网络的延迟较高,无法满足实时性要求;文章在双阈值转换方法的基础上,采用阈值平衡技术对转换过程进行优化,通过理论推导,提出了一种对称阈值LeakyReLU激活函数,并对人工神经网络到脉冲神经网络的转换流程进行了梳理;此外,采用了泄漏机制对转换后的脉冲神经网络模型结构进行了优化,并通过脉冲时序依赖可塑性学习规则对该结构进行训练;最终,在MNIST数据集与CIFAR-10数据集上进行了实验,结果表明,优化后脉冲神经网络的收敛速度与鲁棒性得到了大幅提升。

θ相移在单次学习过程中促进神经网络对空间位置顺序记忆的研究

θ相移是在大鼠海马中发现的位置细胞放电的特殊模式。随着大鼠在某个位置场中行进,相应位置细胞发放脉冲的相位(相对于局部电位中的θ节律)会逐渐提前。一些学者认为,该现象可以将大鼠在运动中所经过的一系列位置场的顺序编码成时间上压缩,并且多次重复出现的脉冲模式,因此可以促进大鼠对其在运动中经过的空间位置的顺序的记忆。本文建立了一个模型,对该现象进行了研究。首先,本文建立了能够产生θ相移现象的单个海马神经元模型。这一模型建立在HarrisKD等及MageeJC的电生理实验研究的基础上,根据神经元真实的生理特性来建模。并且以整合与发放的脉冲神经元模型取代H-H模型,大大简化了计算量。而模拟结果又能较好的重现实验中真实神经元的表现。为了研究θ相移对空间位置顺序记忆的作用,在单神经元模型的基础上,又建立了一个基于STDP的学习型神经网络。通过对网络的研究发现,空间位置顺序的信息在模拟中只要输入一次,就可以使该网络对这一顺序形成一定程度的记忆,并且有一定的比率能达到很高的准确率。而如果在单神经元模型中去除θ相移功能,则在单次学习过程中,根本无法形成对空间位置顺序的记忆,代表各个空间位置的神经元几乎同时发放,基本上不能代表顺序信息。

双层结构突触仿生忆阻器的时空信息传递及稳定性

现有计算机体系架构下的神经网络难以对多任务复杂数据进行高效处理,成为制约人工智能技术发展的瓶颈之一,而人脑的并行运算方式具有高效率、低功耗和存算一体的特点,被视为打破传统冯·诺依曼计算体系最具潜力的运算体系.突触仿生器件是指从硬件层面上实现人脑神经拟态的器件,它可以模拟脑神经对信息的处理方式,即“记忆”和“信息处理”过程在同一硬件上实现,这对于构建新的运算体系具有重要的意义.近年,制备仿生突触器件的忆阻材料已获得进展,但多聚焦于神经突触功能的模拟,对于时空信息感知和传递的关键研究较为缺乏.本文通过制备一种双层结构忆阻器,实现了突触仿生器件的基本功能包括双脉冲易化和抑制、脉冲时间依赖突触可塑性(spiking time dependent plasticity,STDP)和经验式学习等,还对器件的信息感知、传递特性和稳定性进行了研究,发现该器件脉冲测试结果满足神经网络处理时空信息的基本要求,这一结果可以为忆阻器在类脑芯片中的应用提供参考.

噪声对皮层神经网络放电特性的影响

为研究噪声对皮层神经网络的影响,构建了基于脉冲时间依赖突触可塑性(spike timing dependent plasticity,STDP)调节机制的多层前馈皮层神经网络模型,发现在STDP突触机制的调节下,一定强度的噪声可以促进不同规模网络各层神经元的同步放电活动。仿真实验表明,神经元间连接概率不同时,促进网络同步放电的噪声强度也不同;网络各层神经元平均放电频率随着输入噪声强度的增强和连接概率的增大而增大,且噪声使网络各层的平均放电率波动减小,网络整体放电更加均匀,研究结果有助于认识大脑皮层神经网络的自适应特性。

单眼形觉剥夺对小鼠视觉发育关键期内初级视皮层V1B区tLTP的影响

目的观察在脉冲时间依赖的刺激诱导模式下单眼形觉剥夺对小鼠视觉发育关键期内初级视皮层V1B区长时程增强（timing long-term potentiation,t LTP）的影响及其对应诱导时间窗的变化。方法选择健康C57BL/6小鼠28只,随机分为正常对照组和单眼形觉剥夺组,每组14只,单眼形觉剥夺组右眼褥式缝合3 d。七氟烷麻醉后,断头、取脑,置于含体积分数95%O2和5%CO2饱和的0~4℃脑片制备液中冷却1~2 min,切取后部2/5脑组织,行400μm冠状连续切片,在脉冲时间依赖的条件刺激诱导模式下采用红外可视膜片钳全细胞模式记录正常对照组、单眼形觉剥夺组（含剥夺侧皮层、非剥夺侧皮层）视皮层V1B区脑片Ⅱ/Ⅲ层锥体神经元NMDA介导的兴奋性突触后电位（excitatory postsynaptic potentials,EPSP）。结果正常对照组小鼠脑片初级视皮层V1B区Ⅱ/Ⅲ层锥体神经元予间隔Δt=10 ms的突触前后联合刺激后EPSP反应增加,可成功诱导t LTP,但当Δt=100 ms则未能诱导t LTP[Δt=＋10 ms：EPSP斜率（124.1±3.9）%;Δt=＋100 ms：EPSP斜率（100.4±3.3）%;P〈0.001）。单眼形觉剥夺组小鼠剥夺侧初级视皮层分别给予Δt=10 ms、100 ms的脉冲时间依赖的条件刺激均可诱导出t LTP[Δt=＋10 ms：EPSP斜率（130.8±1.7）%;Δt=＋100 ms：EPSP斜率（114.7±0.3）%;P〈0.001）。单眼形觉剥夺组小鼠非剥夺侧视皮层分别给予Δt=10 ms、50 ms的脉冲时间依赖的条件刺激均可诱导出t LTP[Δt=＋10 ms：EPSP斜率（129.6±1.5）%;Δt=＋50 ms：EPSP斜率（120.5±0.9）%],而当Δt=100 ms时,未能成功诱导t LTP[Δt=＋100 ms：EPSP斜率（101.1±0.6）%]。结论单眼形觉剥夺3 d可以改变小鼠初级视皮层V1B区兴奋性通路的脉冲时间依赖的突触可塑性。剥夺侧较非剥夺侧及正常视皮层t LTP诱导时间窗增宽,有助于从突触可塑性角度解释弱视内在神经突触机制。

基于STDP奖励调节的类脑面向目标导航

动物具有优秀的空间自主定位导航能力,能够实现在无先验环境信息下的导航定位和导航决策过程。针对智能体在连续空间中面向目标导航问题,研究了一种基于生物学放电时间依赖可塑性学习规则的智能体面向目标导航算法。首先分析了动物面向目标导航决策过程中的生理学机理,在此基础上,构建了基于脉冲神经网络的位置细胞和动作细胞模型。动作细胞间权值采用横向竞争模型更新,通过环境奖励信号的更新,采用放电时间依赖可塑性学习规则对位置细胞前馈动作细胞模型的突触权重进行权值调节,利用动作细胞群的脉冲放电现象表征智能体运动方向和速度。最后,对所提算法进行了仿真实验验证。仿真结果表明,所提出的类脑面向目标导航算法能够在单障碍环境中实现30 ms左右的规划速度,相比传统强化学习Q学习方法平均路径规划长度缩短了15.9%。

基于ZYNQ集群的神经形态计算加速研究与实现

基于脉冲神经网络(SNN)的神经形态计算由于工作机理更接近于生物大脑,被认为有望克服深度学习的不足而成为解决人工智能问题的更佳途径。但是如何满足高性能、低功耗和适应规模伸缩需求是神经形态计算系统需要解决的挑战性问题。基于FPGA异构计算平台ZYNQ集群,在NEST类脑仿真器上,重点解决了具有脉冲时间依赖可塑性(STDP)突触计算复杂度高、并行度低、硬件资源占用大的问题。实验结果表明,设计的方法在8节点ZYNQ 7030集群上,性能是Xeon E5-2620 CPU的14.7倍。能效比方面,是Xeon E5-2620 CPU的51.6倍,是8节点ARM Cortex-A9的20.6倍。

STDP与配对TBS诱导斑马鱼嗅球LTP的比较研究

目的 观察放电时间依赖的可塑性（spike timing-dependent plasticity,STDP）诱导方式和配对θ波刺激（paired theta burst stimulation,pTBS）两种方式是否可以诱导在体斑马鱼嗅觉感觉神经元-僧帽细胞（olfactory sensory neuron –mitral cell,OSN-MC）突触的长时程增强效应（long-term potentiation,LTP）现象,并比较两者是否拥有共同的分子机制.方法 采用全细胞打孔膜片钳技术,记录在体斑马鱼嗅球僧帽细胞兴奋性突触后电流（excitatory postsynaptic currents,EPSCs）,观察STDP与pTBS诱导LTP现象;进一步采用相互排斥实验,验证两者是否具有共同的分子机制.结果 斑马鱼OSN-MC突触既可以经STDP方式也可以由pTBS方式产生LTP现象,并且在pTBS产生LTP饱和的基础上STDP诱导方式还可以使突触反应进一步增强（P=0.004）,而在STDP诱导LTP饱和的基础上pTBS未能产生进一步的可塑性（P=0.45）.结论 STDP诱导方式与pTBS均可以诱导出LTP现象,并且STDP比pTBS诱导的LTP包含更多的分子机制.

TIME-DEPENDENT PLASTICIRY PRODUCED BY LTP OF C-FIBER EVOKED FIELD POTENTIALS IN SPINAL DORSAL HORN

Aim: Hippocampal long-term potentiation (LTP), an activity-dependent plasticity in synaptic transmission, is believed as a fundamental mechanism of learning and memory. This form of plasticity also exists in spinal dorsal horn. Our previous work showed that electrical as well as natural noxious stimulation of afferent C-fibers or acute injury of the sciatic nerve produces LTP of C-fiber evoked field potentials in spinal dorsal horn.

蝗虫记忆的新发现

突触可塑性（神经细胞之间联系的加强或减弱）已知在脊椎动物中依赖于输入信号是在一个神经元的信号峰电位之前还是之后，这个现象被称为”峰电位时间依赖可塑性”（STDP）。2007年8月9日出版的（Nature）上Cassenaer和Laurent首次在昆虫（蝗虫）上描述了STDP。他们的活体研究还表明，STDP是将从感觉器官到大脑记忆中心的神经通道上的嗅觉信息的神经编码得以保留下来的关键。这一发现为了解昆虫脑中回路动态、架构和学习之间的关系提供了新线索。