脉冲Hopfield神经网络的鲁棒H-稳定性及其脉冲控制器设计(英文)

研究了脉冲Hopfield神经网络在Hopfield意义下的鲁棒稳定性 .通过应用Lyapunov函数法和Riccati不等式方法 ,得到了脉冲Hopfield神经网络鲁棒稳定和鲁棒渐近稳定的充分条件 ,在此基础上 ,设计出了易于实施的脉冲控制器来镇定Hopfield神经网络 .最后 ,给出了例子 .

时间尺度上带有离散和分布时滞的脉冲Hopfield神经网络周期解的存在性

通过使用Mawhin叠合度理论和一些分析技巧,在时间尺度上获得了一些使得带有离散和分布时滞的脉冲Hopfield神经网络存在周期解的充分条件,并将以前的一些结论在脉冲和时间尺度方面做了扩展,最后通过一个实例对所得到的结论进行了验证.

一类具变时滞脉冲Hopfield神经网络周期解的存在性和一致稳定性

对一类具变时滞脉冲Hopfield神经网络的周期解进行研究,输出函数满足Lipschitz条件,但不必是连续可微的。不建立合适的Lyapunov泛函,而是利用迭代和不等式技巧,得到该神经网络周期解的存在性与一致稳定性的一个充分条件,该条件简单且容易验证。数值算例及仿真结果验证了所得结论的正确性与有效性。

在时标上研究带有离散和分布时滞的脉冲Hopfield神经网络的周期解的全局指数稳定性（英文）

通过使用李雅普诺夫函数和一些分析技巧,在时间尺度上,获得了一些使得带有离散和分布时滞的脉冲Hopfield神经网络的周期解是全局指数稳定的充分条件,并将以前的一些结论在脉冲和时间尺度方面做了扩展,最后,给出一个实例去验证所得到的结论.

一种新型复合指数型局部有源忆阻器耦合的Hopfield神经网络

由忆阻耦合的神经网络模型,因其能更真实地反映生物神经系统的复杂动力学特性而被广泛研究.目前用于耦合神经网络的忆阻器数学模型主要集中在一次函数、绝对值函数、双曲正切函数等,为进一步丰富忆阻耦合神经网络模型,且考虑到一些掺杂半导体中粒子的运动规律,设计了一种新的复合指数型局部有源忆阻器,并将其作为耦合突触用于Hopfield神经网络,利用基本的动力学分析方法,研究了系统在不同参数下的动力学行为,以及在不同初始值下多种分岔模式共存的现象.实验结果表明,忆阻突触内部参数对系统具有调控作用,且该系统拥有丰富的动力学行为,包括对称吸引子共存、非对称吸引子共存、大范围的混沌状态和簇发振荡等.最后,用STM32单片机对系统进行了硬件实现.

基于脉冲神经网络的时空交互图像分类

脉冲神经网络作为人工智能发展的重要方向之一,在神经形态工程和类脑计算领域得到了广泛的关注.为解决脉冲神经网络泛化性差、内存和时间消耗较大等问题,本文提出了一种基于脉冲神经网络的时空交互图像分类方法.首先引入时间有效训练算法弥补梯度下降过程中的动能损失;其次融合空间随时间学习算法,提高网络对信息的高效处理能力;最后添加空间注意力机制,增强网络对空间维度上重要特征的捕捉能力.实验结果表明,改进后的方法在CIFAR10、DVS Gesture、CIFAR10-DVS这3个数据集上的训练内存占用分别减少了46.68%、48.52%、10.46%,训练速度分别提升了2.80倍、1.31倍、2.76倍,在保证精度的情况下,网络性能得到有效提升.

脉冲非对称卷积神经网络的图像与事件分类算法

为了提升模型性能的同时不引入额外的计算量与能量消耗,提出了一种脉冲非对称卷积算法。利用卷积核交叉部分的权重大的特点,采用多个尺寸的卷积核替换普通卷积的单个卷积核进行卷积运算与叠加,提高中心卷积核的决策作用,在推理阶段将脉冲非对称卷积层和批量归一化层进行合并,实现简化运算。结果表明,基于脉冲非对称卷积算法的图像与事件分类模型在DVS Gesture数据集上分类精度可达98.1%,同时不引入额外的计算量和能耗。

基于软阈值降噪的脉冲卷积神经网络轴承故障诊断方法

针对工业场景下滚动轴承信号易受噪声干扰,导致故障诊断准确率低和稳定性差的问题,本文提出一种基于软阈值降噪的脉冲卷积神经网络诊断方法。该方法使用软阈值滤波去噪,运用带时间标签的卷积层处理二维信号,增强动态特征提取能力。同时,通过引入IF和LIF神经元实现对时域和频域信息的联合编码,并采用替代梯度法进行端到端训练。实验结果显示,在信噪比为6dB时,所提方法的诊断准确率达100%,在信噪比为-6dB时诊断准确率达77.33%,优于其他常用方法,表明所提方法在噪声下具有良好的诊断效果和稳定性。

用于双阈值脉冲神经网络的改进自适应阈值算法

脉冲神经网络(spiking neural network, SNN)由于在神经形态芯片上低功耗和高速计算的独特性质而受到广泛的关注。深度神经网络(deep neural network, DNN)到SNN的转换方法是有效的脉冲神经网络训练方法之一,然而从DNN到SNN的转换过程中存在近似误差,转换后的SNN在短时间步长下遭受严重的性能退化。通过对转换过程中的误差进行详细分析,将其分解为量化和裁剪误差以及不均匀误差,提出了一种改进SNN阈值平衡的自适应阈值算法。通过使用最小化均方误差(MMSE)更好地平衡量化误差和裁剪误差;此外,基于IF神经元模型引入了双阈值记忆机制,有效解决了不均匀误差。实验结果表明,改进算法在CIFAR-10、CIFAR-100数据集以及MIT-BIH心律失常数据库上取得了很好的性能,对于CIFAR10数据集,仅用16个时间步长就实现了93.22%的高精度,验证了算法的有效性。

基于脉冲序列标识的深度脉冲神经网络时空反向传播算法

尖峰放电的脉冲神经网络(SNN)具有接近大脑皮层的信号处理模式,被认为是实现大脑启发计算的重要途径。但是,目前对于深度脉冲神经网络的学习仍缺乏有效的监督学习算法。受尖峰放电速率标识的时空反向传播算法的启发,该文提出一种面向深度脉冲神经网络训练的基于时间脉冲序列标识的监督学习算法,通过定义突触后电位和膜电位反传迭代因子分别分析脉冲神经元的空间和时间依赖关系,使用替代梯度的方法解决反传过程中不连续可微的问题。不同于现有基于尖峰放电速率标识的学习算法,该算法能够充分反映脉冲神经网络输出的时间脉冲序列的动态特性。因此,所提算法非常适合应用于需要较长时间序列标识的计算任务,例如行为的时间脉冲序列控制。该文在静态图像数据集CIFAR10和神经形态数据集NMNIST上验证了所提算法的有效性,在所有这些数据集上都显示出良好的性能,这有助于进一步研究基于时间脉冲序列应用的大脑启发计算。

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络(SNNs)的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法(cross-spike error backpropagation,CSBP),将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。

基于自适应时间步脉冲神经网络的高效图像分类

脉冲神经网络(Spiking neural network,SNN)由于具有相对人工神经网络(Artifcial neural network,ANN)更低的计算能耗而受到广泛关注.然而,现有SNN大多基于同步计算模式且往往采用多时间步的方式来模拟动态的信息整合过程,因此带来了推理延迟增大和计算能耗增高等问题,使其在边缘智能设备上的高效运行大打折扣.针对这个问题,本文提出一种自适应时间步脉冲神经网络(Adaptive timestep improved spiking neural network,ATSNN)算法.该算法可以根据不同样本特征自适应选择合适的推理时间步,并通过设计一个时间依赖的新型损失函数来约束不同计算时间步的重要性.与此同时,针对上述ATSNN特点设计一款低能耗脉冲神经网络加速器,支持ATSNN算法在VGG和ResNet等成熟框架上的应用部署.在CIFAR10、CIFAR100、CIFAR10-DVS等标准数据集上软硬件实验结果显示,与当前固定时间步的SNN算法相比,ATSNN算法的精度基本不下降,并且推理延迟减少36.7%~58.7%,计算复杂度减少33.0%~57.0%.在硬件模拟器上的运行结果显示,ATSNN的计算能耗仅为GPU RTX 3090Ti的4.43%~7.88%.显示出脑启发神经形态软硬件的巨大优势.

分布时滞脉冲控制策略的混沌神经网络的同步

提出一个新的分布时滞脉冲控制器,研究具有分布时滞的混沌神经网络的同步。基于新的脉冲时滞不等式,建立混沌神经网络的同步准则。通过数值算例,验证了分布时滞控制的有效性。

基于脉冲神经网络的轻量化SAR图像舰船识别算法

针对传统方法进行合成孔径雷达(SAR)图像目标识别存在参数多、能耗高等问题,提出了一种基于脉冲神经网络(SNN)的轻量化SAR图像舰船识别算法.首先,利用视觉注意力机制提取SAR图像视觉显著图,采用泊松编码器进行脉冲序列编码,能抑制背景噪声干扰.然后,结合泄漏整合发射(LIF)脉冲神经元和卷积神经网络,构建融合时序信息的SNN模型,能实现SAR图像舰船识别.最后,采用反正切函数作为反向传播时脉冲发射函数的梯度替代函数对SNN模型进行优化,能解决模型难以训练的问题.实验结果表明所提算法具有高精度、少参数、高效率和低能耗等优势,能实现SAR图像高效准确舰船识别.

基于坐标注意力脉冲神经网络的注视估计方法

针对传统相机在拍摄人眼运动时易产生动态模糊、时间分辨率低等问题,采用事件相机近眼拍摄构建Spiking-Eye数据集,并提出一种坐标注意力的脉冲神经网络模型(CA-SpikingRepVGG)。模型读取编码后的事件数据,经过带坐标注意力的主干网络进行特征提取,最后馈入检测头进行检测。实验结果显示:CA-SpikingRepVGG的平均检测精确率R_(P)达到了70.8%,与SpikingVGG-16比较,该模型的R_(P)提高了15.9%,召回率R_(r)提高了14.2%;仅需SpikingDensenet模型1/3的训练时间,比其R_(P)提高1.8%、R_(r)提高0.9%。结果表明:该模型在针对眼球运动这一场景下对人眼的检测追踪能力更强,可以很好地完成注视估计任务。

基于剪切波变换和脉冲耦合神经网络的图像融合方法研究

图像融合的目的是将多个来源的图像合并,从而产生1个包含所有原始图像信息的新图像。传统的图像融合方法可能损失一些重要信息或导致图像失真,因此研究新的图像融合方法具有重要意义。作为新兴技术,剪切波变换和脉冲耦合神经网络在图像融合中的应用潜力尚未被充分发掘。文章致力于研究这2种技术在图像融合中的效果,并提出结合两者的新方法。

基于脉冲耦合神经网络的图像分割算法分析

为进一步提高脉冲耦合神经网络(PCNN)在图像分割中的性能,文章研究了基于PCNN模型的图像分割算法,并探讨其模型简化算法,旨在减少其中的参数量,从而提高图像分割处理效率和分割效果。借助Girl属性图像进行仿真验证,通过与OTSU算法及LevelSet算法的分割效果进行对比,文章论证了算法的有效性及可行性。实验结果表明,该算法具有显著的分割效果。

基于脉冲神经网络的指挥智能体技术

针对现有智能体技术应用于军事指挥控制领域中时存在计算资源需求高、奖励值稀疏、收敛速度慢、推理效果差的问题,提出了一种基于脉冲神经网络(spiking neural network,SNN)和分层强化学习的指挥智能体技术。基于分层强化学习思想对军事指挥智能体进行建模,利用SNN构建智能体决策模型;通过ANN-SNN转换的学习算法获得基于SNN的指挥智能体;基于“墨子”兵棋推演软件开展对比试验,与现有智能体技术相比,提出方法对计算资源的需求较低,且具有较高的博弈对抗胜率。

离散Hopfield神经网络在职业院校学生综合素养评价中的应用研究

为克服教育评估中人为因素的干扰,提高评估的准确性和效率,该文探索将离散Hopfield神经网络应用到职业院校学生综合素养的评价中。Matlab仿真发现,通过设置合适的神经元平衡点,离散Hopfield神经网络可根据输入的指标数据对学生的职业综合素养给出有效的评估,评估结果与专家评估的结果完全一致。

支持抑制型脉冲神经网络的硬件加速器

现有脉冲神经网络加速器的设计过多关注于硬件层面的功能完备性,缺少算法层面的相关协同优化以保证硬件计算效率。此外,传统的事件驱动型脉冲神经网络加速器没有考虑到脉冲神经元模型中普遍存在的脉冲抖动现象,因此不能实现对抑制型脉冲神经网络的支持。为解决上述问题,采用软硬件结合的方式,提出了一种支持抑制型脉冲神经网络加速器的设计方法。软件优化层面通过对脉冲神经网络计算冗余性的分析,提出了相应的近似计算方法以大幅降低脉冲神经网络的计算量;硬件设计层面提出了解决脉冲抖动问题的计算模块,并在此基础上设计了与近似计算方法相适应的并行计算结构。为验证设计的合理性,在XilinxZC706 FPGA上部署了加速器原型FEAS。在主流数据集上的测试结果显示,相较以往脉冲神经网络的加速器部署,FEAS在保持97.54%原有模型精度的情况下获得超过一个数量级的性能提升。