基于一类新型激活函数的递归神经网络的多稳定性分析

本研究基于一类新型连续锯齿型激活函数研究了递归神经网络(Hopfield神经网络)的多稳定性。首先,通过区间剖分法、Brouwer不动点定理证明了基于该激活函数的n维神经网络模型至少具有7n个平衡点,并运用对角占优矩阵理论、局部稳定性判定定理等方法证明了其中4n个平衡点是局部指数稳定的,剩余的平衡点是不稳定的。其次,通过增加锯齿型激活函数的峰值点将激活函数推广到更一般的情况,得到了n维神经网络在含有k个峰值点的连续锯齿型激活函数中至少具有(2k+1)n个平衡点,其中(k+1)n个平衡点为局部稳定的。本研究设计的激活函数相较于现有的一些激活函数会产生更多的稳定平衡点,并且在增加峰值点的过程中不会增加神经网络的计算复杂度。最后,通过两个具体的数值算例验证了本研究结果的有效性。

ReLU激活函数深度网络的构造与逼近

研究ReLU激活函数深度网络的构造与逼近问题.以一个在[-1,1]上对x^(2)具有指数逼近阶的深度ReLU网络作为子网络,构造逼近任意n次多项式的深度网络,并给出其逼近误差的上界估计.借助一元正交切比雪夫多项式、张量积理论和函数逼近的方法,构造二元正交多项式和两个输入的深度网络,同时得到了对二元连续函数的逼近估计.

用新激活函数加快新ZNN模型求解时变矩阵Moore-Penrose逆

基于梯度的神经网络(GNN)和张神经网络(ZNN)是两种可用于求解时变矩阵Moore-Penrose逆问题的递归神经网络。与GNN相比,ZNN的计算精度更高。此外,本文提出了一种新的ZNN模型。因此,本文主要利用带有新优化激活函数的ZNN模型来求解时变行满秩(或列满秩)矩阵Moore-Penrose逆问题。这种带有新优化激活函数的ZNN模型可以在有限时间内加速求解时变矩阵的Moore-Penrose逆。通过Lyapunov理论分析,得到了收敛时间的上限。仿真结果进一步证实了理论分析,并证明了采用新优化的激活函数的ZNN模型在求解时变矩阵Moore-Penrose逆时的有效性。

具有一类不连续非单调激活函数的时滞递归神经网络的多稳定性分析

本文提出了一类不连续非单调激活函数,研究了具有这类激活函数的时滞递归神经网络的多稳定性。根据激活函数的几何特性和不动点定理,给出充分条件确保n维神经网络至少存在7n个平衡点,其中4n个是局部指数稳定的。然后,我们将结果推广到更一般的情况。在不增加充分条件的情况下,本文通过增加激活函数峰值点的数量k,得到n维神经网络可以具有 (2k+3)n 平衡点,其中是 (k+2)n 局部指数稳定的。与之前文献相比,总平衡点和稳定平衡点的数量大大地增加了,从而提高了递归神经网络的存储容量。最后,给出了一个例子来证明我们的理论结果。

面向存算一体架构中Tanh激活函数的绝对值电路设计

基于存算一体(CIM)架构的激活函数模拟实现方式使得神经网络变得更加接近非线性模型,针对其中Tanh函数负值难处理的问题,该文提出一种高速、高精度绝对值运算电路。该电路将输入电压经过比较器结果判断选择是否输出,利用反相比例取反电路控制负压输入并转换为正压通过开关输出,实现了离散输出功能的绝对值运算处理。与传统利用二极管全波整流绝对值电路相比,该电路有效避免了二极管难集成的问题,且速度快、功耗低、整体面积小。基于55 nm CMOS工艺进行设计,结果表明,在50 ns工作时钟周期下,经过绝对值电路转化后的输出电压与输入电压误差控制在1%以内,比较器的输出延时为5 ns,零点区域放大电压误差小于400μV。在1.2 V电源电压下,功耗为670μW,版图面积为4447μm^(2)。

嵌入式系统中激活函数的快速计算

本文总结了神经网络系统中常用的激活函数,并针对激活函数中幂函数的快速计算方法开展研究,利用嵌入式系统中浮点数的存储格式及泰勒级数展开,计算幂函数阶码和尾码,实现了幂函数的快速计算。嵌入式系统中的试验验证表明,计算速度得到了显著提高,实现了嵌入式系统中激活函数的快速计算。

基于Richards方程的冷杉树高曲线深度神经网络激活函数

【目的】提出一个基于理论生长方程(Richards公式)的激活函数,解决神经网络算法在森林生长建模时输出可能不符合生物学规律的问题,为神经网络在森林生长建模方面的应用提供一个新的思路和方法。【方法】以吉林省汪清林业局臭冷杉为研究对象,利用96株解析木数据,分别建立传统非线性回归模型、基于普通激活函数的深度神经网络模型和新的基于Richards激活函数的深度神经网络树高-胸径模型。【结果】相较基于普通激活函数的深度神经网络模型,新的基于Richards激活函数的深度神经网络模型具有明显的树高渐近线,更符合生物学规律。与传统非线性回归模型(直接使用Richards公式拟合)相比,新的基于Richards激活函数的深度神经网络模型精度略有提高,R2提升0.175%,均方根误差(RMSE)与平均绝对误差(MAE)分别降低2.282%和4.011%。【结论】提出一个基于Richards方程的深度神经网络激活函数,具有如下优点:1)输出一定存在一个合理的最大值;2)配合合理的神经网络结构可使输出一定大于1.3;3)将传统回归方法拟合得到的参数作为神经网络模型输入,能使神经网络的训练得到先验知识。

基于激活函数的LCC-S型无线电能传输系统建模和稳定性分析

基于电力电子器件的无线电能传输(WPT)系统是一种开关系统,其大信号模型是研究系统运行特性和稳定性的基础。建模的关键是如何描述系统中的非线性、离散开关变量,为解决这一问题,该文提出一种基于S型激活函数的建模方法。S型激活函数是连续、平滑、可微的且在一定值时具有饱和特性,因此可利用陡度因子较大的激活函数来近似开关的切换过程,将WPT系统由离散的开关系统转变为连续系统。该文以LCC-S型WPT系统为研究对象,构建其开环和闭环模式下激活函数模型,利用该模型分析控制器参数和系统参数对瞬态行为和稳定性的影响,并通过仿真和实验进行验证。结果表明,所构建的模型与仿真和实验结果吻合较好。该模型数学表达式结构简单统一,物理意义明确,是一个具有普遍意义的高精度大信号连续模型。

基于手写体数字识别的激活函数对比研究

针对手写体数据集在卷积神经网络训练时分别使用sigmoid、tanh、relu与mish激活函数进行实验,对这四种激活函数下训练集误差值收敛曲线以及测试集精度曲线进行算法结果分析,实验结果表明,mish激活函数在手写体数据集上进行卷积神经网络训练时效果更佳,而同样得出不同的训练数据集、激活函数的选择会影响算法对数据的拟合度和神经网络的收敛性。

用于图像分类的卷积神经网络中激活函数的设计

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign.分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验.实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆"坏死"现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好.

基于MNIST数据集的激活函数比较研究

本文基于卷积神经网络(CNN),在经典手写数字识别MNIST数据集上对比了四种常用激活函数:Sigmoid、Tanh、ReLU和Re LU6。通过详细阐述激活函数的基本原理并进行实验分析,可以发现,ReLU6函数在现有神经网络算法中表现出较好的性能,具有较高的准确性和稳定性。然而,激活函数的选择应根据不同任务和数据集特点进行调整,并关注新型激活函数的研究和应用,以进一步提高神经网络的性能、泛化能力和计算效率。本文旨在为研究者和从业者提供关于激活函数选择的参考和启示。

深度学习模型中不同激活函数的性能分析

近年来,人们为处理众多问题引入了各种类型的神经网络,神经网络取得了巨大的发展。任何神经网络使用的层次结构是线性和非线性函数的组合,其中最常见的非线性层是激活函数,如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。对深度学习神经网络中的激活函数进行了介绍,并对不同激活函数的输出范围、单调性、平滑性等特点进行了分析。通过在数据集上测试,对现在使用频率较高的激活函数进行了性能测试。对激活函数的分析将有助于进一步地在模型设计中进行选择。

多激活函数的立体神经网络设计

合适的激活函数和参数可大幅提高神经网络预测的准确率,因此,工作人员会耗费大量时间和精力对激活函数进行多轮对比测试,通过评价指标的表现做出最终选择。为减少这种无效科研工作时间,建立了激活函数池,将传统神经网络进行叠加,形成了立体神经网络。该网络可对激活函数池中的多个函数同时进行训练,自动调整参数,通过ROC和AUC对各个维度的网络进行评价,选出主网络对未知数据进行预测。该立体神经网络可以帮助工作人员节省大约25%的手工比对和调整参数时间,预测准确率与使用正确激活函数的传统神经网络持平。

高维数据中鲁棒激活函数的极端学习机及线性降维

极端学习机(extreme learning machine,ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于:1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding,RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function,RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.

基于改进sigmoid激活函数的深度神经网络训练算法研究

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数;个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效地增强了深度神经网络的训练;用DBN对MNIST数据集进行数字分类实验,实验表明双参数sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。

基于Softplus激活函数和改进Fisher判别的ELM算法

在极限学习机(extreme learning machine,ELM)网络中,对可加型隐单元的激活函数通常选择的是Sigmoid函数.因此,首先提出一种新型修正线性函数的近似平滑函数Softplus来替代它.Softplus激活函数因为更接近生物学的激活模型且具有一定的稀疏能力,可进一步优化网络性能.其次,为了使ELM算法训练的网络具有更好的分类性能,考虑了类内距和类间距的约束,提出了基于改进Fisher判别约束的ELM算法,从而使解析求得的输出权值更加利于分类,进一步改进了识别性能.最后,在手写数字库和人脸库上的实验证明了改进ELM算法的可行性和优越性.

关于改进的激活函数TReLU的研究

近年来深度学习在各个研究领域取得越来越多的成果,这些都离不开激活函数的发展.但现有的激活函数Tanh、Re LU和PRe LU在随着研究的深入暴露出越来越多的问题,比如存在"神经元死亡"和偏移现象,对噪声不具有鲁棒性.针对这些问题,结合Tanh和PRe LU的优点,提出了TReLU激活函数,通过参数α控制负半轴非饱和区间获得激活值,输出近似0均值,软饱和性对噪声鲁棒.实验结果表明,TReLU在四种不同的数据集上都取得了最好的效果,对不同优化方法具有鲁棒性,具有一定的实用价值.

一种改进激活函数的人工神经网络及其应用

提出了人工神经元的一种新颖的多参数可调激活函数,推导出相应的BP学习算法。在人工神经网络用于除草剂化合物活性预测的研究中,和传统BP算法的对比试验显示,本文的改进BP网络具有更快的收敛速度和更高的精度。

基于改进激活函数的用于台风等级分类的深度学习模型

针对特定任务中深度学习模型的激活函数不易选取的问题,在分析传统激活函数和现阶段运用比较广泛的激活函数的优缺点的基础上,将Tanh激活函数与广泛使用的ReLU激活函数相结合,构造了一种能够弥补Tanh函数和ReLU函数缺点的激活函数T-ReLU。通过构建台风等级分类的深度学习模型Typ-CNNs,将日本气象厅发布的台风卫星云图作为自建样本数据集,采用几种不同的激活函数进行对比实验,结果显示使用T-ReLU函数得到的台风等级分类的测试精度比使用ReLU激活函数的测试精度高出1.124%,比使用Tanh函数的测试精度高出2.102%;为了进一步验证结果的可靠性,采用MNIST通用数据集进行激活函数的对比实验,最终使用T-ReLU函数得到99.855%的训练精度和98.620%的测试精度,其优于其他激活函数的效果。

混合激活函数对BP算法收敛速度的影响

研究了不同激活函数选取对ＢＰ 网络收敛速度的影响，得出了采用组合激活函数可改善ＢＰ网络的收敛性的结论．以电力变压器的人工神经网络故障诊断为例所选取的ＴＴＳ（Ｔ表示为双曲正切函数，Ｓ表示为Ｓｉｇｍｏｉｄ 函数） 的组合激活函数方式，具有快速收敛性和较高的故障诊断精度．