基于STDP规则的脉冲神经网络研究

人类对于生物系统信息的处理主要依赖于构成复杂神经网络的数十亿个神经元,并且信息以脉冲的形式进行传输。利用STDP学习算法构建基于LIF模型的两层脉冲神经网络结构,并对分类层算法进行改进,提出一种投票竞争机制。通过多次训练后对神经元表现类别进行竞争投票,优化同等神经元数量的网络机构在图像分类问题中的性能。在MNIST数据集上进行实验验证,结果表明,该投票竞争机制准确率达到98.1%,与同等网络规模下未采用投票竞争机制的脉冲神经网络相比,准确率平均提高了约6%,而且当神经元数目较少时,在不增加训练时间情况下,可以取得与更加复杂网络结构相同的训练结果。

一种改进的基于STDP规则的SOM脉冲神经网络

将脉冲神经网络的高效处理能力与自组织映射神经网络相结合,构造了一种基于突触可塑性(STDP)规则的SOM脉冲神经网络模型.该网络将输入和权值用脉冲发放时间编码,符合生物信息处理机制.用STDP规则调整权值,不需要通过学习率控制收敛速度,缩短网络训练时间.使用欧氏距离的平方计算权值和样本之间的相似度,与欧氏距离法相比简化了计算,便于硬件实现.基于MATLAB仿真平台,用该网络对UCI机器学习数据库中Iris数据集进行聚类后精度达到93.33%,比传统的SOM、K-means等聚类方法更具有优越性.

基于STDP学习规则的视网膜神经回路的特性

基于视网膜的生理解剖结构,构建了包括视锥细胞、水平细胞、双极细胞、AII无长突细胞、神经节细胞、外侧膝状体核和ON通路与OFF通路的视网膜神经回路模型,并在神经节细胞层和外侧膝状体核层的突触连接中引入STDP(Spike-Timing Dependent Plasticity)学习规则,通过添加单一图形刺激和交替图形刺激,比较神经节细胞和外侧膝状体核的电位发放、发放频率以及两者之间突触权重的变化,研究视网膜神经回路的信息传递特性.结果表明:构建的神经回路模型可有效地将光照强度信息转化为发放时序频率信息,且表现出生物视网膜的信息结构特性;STDP学习规则的引入使得外侧膝状体核层接收了相应的刺激模式并学习记忆了这种模式,且ON通路和OFF通路表现出学习独立性;STDP学习规则可以对交替出现的图形刺激,在突触权重的空间分布上进行叠加,且重叠部分的学习效果更加显著.

具有奖罚机制STDP的Spike-CNN模型的机械臂故障分类

在计算机视觉领域中,卷积神经网络取得了举世瞩目的成就,但其能耗问题一直未能得到很好解决.基于此问题,本文主要研究无监督学习范式下的Spike-CNN分类性能以及计算力.首先,本文设计了一种基于CNN和SNN的混合结构,在层级结构上实现脉冲机制;其次,为减少模型训练时间,本文提出了ReLU-ROC编码方案;最后,为使兴奋性神经元快速做出决策,本文提出了具有决策能力的RP-STDP学习方案:计算每对突触前与突触后兴奋性神经元的相对时间差.实验结果表明:以工业机器人采集到多元时间序列数据解决机械臂不同工作状态的3分类、4分类、5分类问题,在没有引入其他分类器的情况下,本文提出的具有奖罚机制的STDP的Spike-CNN方法平均准确率为LP1(91.07%)、LP2(96.66%)、LP4(93.95%).

仿生型脉冲神经网络学习算法和网络模型

为解决脉冲神经网络训练困难的问题,基于仿生学思路,提出脉冲神经网络的权值学习算法和结构学习算法,设计一种含有卷积结构的脉冲神经网络模型,搭建适合脉冲神经网络的软件仿真平台。实验结果表明,权值学习算法训练的网络对MNIST数据集识别准确率能够达到84.12%,具备良好的快速收敛能力和低功耗特点;结构学习算法能够自动生成网络结构,具有高度生物相似性。

脉冲神经网络:模型、学习算法与应用

脉冲神经网络是目前最具有生物解释性的人工神经网络,是类脑智能领域的核心组成部分.首先介绍各类常用的脉冲神经元模型以及前馈和循环型脉冲神经网络结构;然后介绍脉冲神经网络的时间编码方式,在此基础上,系统地介绍脉冲神经网络的学习算法,包括无监督学习和监督学习算法,其中监督学习算法按照梯度下降算法、结合STDP规则的算法和基于脉冲序列卷积核的算法3大类别分别展开详细介绍和总结;接着列举脉冲神经网络在控制领域、模式识别领域和类脑智能研究领域的应用,并在此基础上介绍各国脑计划中,脉冲神经网络与神经形态处理器相结合的案例;最后分析脉冲神经网络目前所存在的困难和挑战.

光脉冲神经网络研究进展

被称为第三代人工神经网络的脉冲神经网络,是最接近人脑的神经拟态算法。与传统人工神经网络相比,脉冲神经网络具有硬件友好性和更高的能量利用率。与电子学脉冲神经网络相比,光子计算的光脉冲神经网络具有速度快、能耗低、延迟低、并行度高以及抗电磁干扰的优势。介绍了光脉冲神经网络的起源,从光脉冲神经元、神经网络架构、学习训练算法等方面介绍了光脉冲神经网络的研究进展、存在的问题与挑战,并展望了光脉冲神经网络的前景。