应用动态激活函数的轻量化YOLOv8行人检测算法

针对传统激活函数不能特异性匹配每张特征图以达到最好的激活效果,设计一种动态激活函数,为特征图上的每个像素值添加各自的偏移量,以达到更优的区分目标和背景的效果;为使模型更好地关注目标,在主干加入注意力机制,以提高模型的准确性。针对需要监测行人流量和进行交通管理的场景,如闯红灯检测、自动驾驶等实时性高,硬件条件有限的场景,应用通道剪枝技术对模型低权重参数进行修剪,为适应硬件加速特性,改进了剪枝方法,使保留通道数始终为8的整数倍。在推理部署阶段,融合Conv和BatchNorm权重,进一步缩小模型,减少参数量和浮点运算量。最终实验表明,改进的模型性能比其他目标检测模型均有一定提升,其中,比YOLOv8原模型在AP0.5:0.95上提升了0.013,在AP0.5上提升了0.005,参数量减少了4.8×10~6。

激活函数在CNN模型中改进算法的研究

CNN,即卷积神经网络算法,是深度学习研究领域的重要分支,尤其是在图像识别领域,其已成为最为热门的研究对象。文章以图像识别为研究基础,先阐述卷积神经网络在图像识别中的进展,然后研究深度学习图像目标识别的传统算法,并在目标定位、特征提取、分类方法等方面与传统的目标识别算法进行了比较。在以上研究基础上,提出了一种新的卷积神经网络压缩激活函数模型,通过改进的CNN模型对卷积神经网络的结构进行了部分优化。实验验证了该模型的有效性,不仅降低了错误率,还大大减少了网络参数的数量,具有更强的学习能力。

基于改进激活函数的一维卷积神经网络电机轴承故障诊断的研究

提出了一种基于改进激活函数的一维卷积神经网络的电机轴承故障诊断的方法,该方法首先介绍了一维卷积神经网络的结构,然后详细说明了激活函数的改进点,最后通过仿真试验依次采用三种一维卷积神经网络对电机轴承故障进行分类,通过对比发现,此方法具有诊断准确率高、收敛速度快、无需人为提取故障特征等优点。

多模态高精度非线性激活函数协处理器设计

针对片上部署非线性激活函数产生的精度损失以及硬件资源开销大的问题,提出一种基于三分法指数方法的多模态高精度非线性激活函数协处理器设计.首先分析激活函数在不同拟合参数下的近似误差以及运算量,为设计提供指导;然后设计一种模块化的硬件框架,通过复用指数、对数、sigmoid模块并结合浮点计算单元,能够以较低的面积开销部署多种激活函数.在Xilinx的Vertix系列FPGA上完成原型测试,实验结果表明,在仅增加32个查找表的情况下,所提设计tanh和sigmoid的近似误差仅为2项拆分指数方法的65.02%和69.00%,同时拟合范围扩大60%;与高精度分段线性逼近方法相比,该设计在仅用4%的查找表数量的情况下,将近似误差缩小82%.

ReLU激活函数深度网络的构造与逼近

研究ReLU激活函数深度网络的构造与逼近问题.以一个在[-1,1]上对x^(2)具有指数逼近阶的深度ReLU网络作为子网络,构造逼近任意n次多项式的深度网络,并给出其逼近误差的上界估计.借助一元正交切比雪夫多项式、张量积理论和函数逼近的方法,构造二元正交多项式和两个输入的深度网络,同时得到了对二元连续函数的逼近估计.

基于一类新型激活函数的递归神经网络的多稳定性分析

本研究基于一类新型连续锯齿型激活函数研究了递归神经网络(Hopfield神经网络)的多稳定性。首先,通过区间剖分法、Brouwer不动点定理证明了基于该激活函数的n维神经网络模型至少具有7n个平衡点,并运用对角占优矩阵理论、局部稳定性判定定理等方法证明了其中4n个平衡点是局部指数稳定的,剩余的平衡点是不稳定的。其次,通过增加锯齿型激活函数的峰值点将激活函数推广到更一般的情况,得到了n维神经网络在含有k个峰值点的连续锯齿型激活函数中至少具有(2k+1)n个平衡点,其中(k+1)n个平衡点为局部稳定的。本研究设计的激活函数相较于现有的一些激活函数会产生更多的稳定平衡点,并且在增加峰值点的过程中不会增加神经网络的计算复杂度。最后,通过两个具体的数值算例验证了本研究结果的有效性。

基于ACON激活函数和卷积神经网络的滚动轴承故障诊断

针对滚动轴承故障诊断任务的泛化问题,提出一种基于ACON激活函数和卷积神经网络(CNN)的故障诊断方法(ACON-CNN模型)。构造一种自适应激活因子,利用ACON激活函数的自适应激活特性增强整个卷积神经网络的自适应特征能力;同时构造一种基于稀疏结构的神经元簇,增加诊断模型的稳定性。对CWRU轴承数据集以及航空轴承数据集的试验结果表明:针对同一轴承不同采集端故障数据的训练与识别中,ACON-CNN模型具有比原始CNN,FFT-CNN,LSTM-CNN更好的识别效率和鲁棒性;在不同轴承样本数据集的迁移学习中,ACON激活函数和稀疏神经元簇的综合作用也使ACON-CNN模型获得了更好的泛化性能和识别效果。

用新激活函数加快新ZNN模型求解时变矩阵Moore-Penrose逆

基于梯度的神经网络(GNN)和张神经网络(ZNN)是两种可用于求解时变矩阵Moore-Penrose逆问题的递归神经网络。与GNN相比,ZNN的计算精度更高。此外,本文提出了一种新的ZNN模型。因此,本文主要利用带有新优化激活函数的ZNN模型来求解时变行满秩(或列满秩)矩阵Moore-Penrose逆问题。这种带有新优化激活函数的ZNN模型可以在有限时间内加速求解时变矩阵的Moore-Penrose逆。通过Lyapunov理论分析,得到了收敛时间的上限。仿真结果进一步证实了理论分析,并证明了采用新优化的激活函数的ZNN模型在求解时变矩阵Moore-Penrose逆时的有效性。

具有一类不连续非单调激活函数的时滞递归神经网络的多稳定性分析

本文提出了一类不连续非单调激活函数,研究了具有这类激活函数的时滞递归神经网络的多稳定性。根据激活函数的几何特性和不动点定理,给出充分条件确保n维神经网络至少存在7n个平衡点,其中4n个是局部指数稳定的。然后,我们将结果推广到更一般的情况。在不增加充分条件的情况下,本文通过增加激活函数峰值点的数量k,得到n维神经网络可以具有 (2k+3)n 平衡点,其中是 (k+2)n 局部指数稳定的。与之前文献相比,总平衡点和稳定平衡点的数量大大地增加了,从而提高了递归神经网络的存储容量。最后,给出了一个例子来证明我们的理论结果。

mnist数据集上非线性激活函数relu的两个性质

非线性激活函数在卷积神经网络的结构中起重要的作用,卷积神经网络是将高维数的线性不可分数据经卷积神经网络处理后变成低维数的线性可分数据,非线性的激活函数就是将高维非线性数据转化成低维线性可分数据最强有力的工具。基于激活函数relu通过坐标对称变换和旋转变换得到两类新的激活函数,并验证了这两类新构建的非线性激活函数在mnist上和激活函数relu能起到同样的效果。

用于图像分类的卷积神经网络中激活函数的设计

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign.分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验.实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆"坏死"现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好.

基于Softplus激活函数和改进Fisher判别的ELM算法

在极限学习机(extreme learning machine,ELM)网络中,对可加型隐单元的激活函数通常选择的是Sigmoid函数.因此,首先提出一种新型修正线性函数的近似平滑函数Softplus来替代它.Softplus激活函数因为更接近生物学的激活模型且具有一定的稀疏能力,可进一步优化网络性能.其次,为了使ELM算法训练的网络具有更好的分类性能,考虑了类内距和类间距的约束,提出了基于改进Fisher判别约束的ELM算法,从而使解析求得的输出权值更加利于分类,进一步改进了识别性能.最后,在手写数字库和人脸库上的实验证明了改进ELM算法的可行性和优越性.

基于改进sigmoid激活函数的深度神经网络训练算法研究

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数;个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效地增强了深度神经网络的训练;用DBN对MNIST数据集进行数字分类实验,实验表明双参数sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。

关于改进的激活函数TReLU的研究

近年来深度学习在各个研究领域取得越来越多的成果,这些都离不开激活函数的发展.但现有的激活函数Tanh、Re LU和PRe LU在随着研究的深入暴露出越来越多的问题,比如存在"神经元死亡"和偏移现象,对噪声不具有鲁棒性.针对这些问题,结合Tanh和PRe LU的优点,提出了TReLU激活函数,通过参数α控制负半轴非饱和区间获得激活值,输出近似0均值,软饱和性对噪声鲁棒.实验结果表明,TReLU在四种不同的数据集上都取得了最好的效果,对不同优化方法具有鲁棒性,具有一定的实用价值.

混合激活函数对BP算法收敛速度的影响

研究了不同激活函数选取对ＢＰ 网络收敛速度的影响，得出了采用组合激活函数可改善ＢＰ网络的收敛性的结论．以电力变压器的人工神经网络故障诊断为例所选取的ＴＴＳ（Ｔ表示为双曲正切函数，Ｓ表示为Ｓｉｇｍｏｉｄ 函数） 的组合激活函数方式，具有快速收敛性和较高的故障诊断精度．

一种改进激活函数的人工神经网络及其应用

提出了人工神经元的一种新颖的多参数可调激活函数,推导出相应的BP学习算法。在人工神经网络用于除草剂化合物活性预测的研究中,和传统BP算法的对比试验显示,本文的改进BP网络具有更快的收敛速度和更高的精度。

高维数据中鲁棒激活函数的极端学习机及线性降维

极端学习机(extreme learning machine,ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于:1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding,RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function,RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.

基于激活函数四参可调的BP神经网络改进算法

为改善BP神经网络的性能,以标准Sigmoidal函数为基础,提出了一种四参数可调的激活函数模型.在学习过程中,它能同时对激活函数的陡度、位置及映射范围进行调节,具有更强的非线性映射能力.并推导出其在BP神经网络中的学习算法.仿真结果显示,改进后的激活函数与传统的标准Sigmoidal函数相比,收敛速度能提高10倍以上,收敛精度误差可减小到传统误差的0.4%以下,而且可以有效地减少隐层的结点数,学习能力可得到较大的提高.

基于改进激活函数的用于台风等级分类的深度学习模型

针对特定任务中深度学习模型的激活函数不易选取的问题,在分析传统激活函数和现阶段运用比较广泛的激活函数的优缺点的基础上,将Tanh激活函数与广泛使用的ReLU激活函数相结合,构造了一种能够弥补Tanh函数和ReLU函数缺点的激活函数T-ReLU。通过构建台风等级分类的深度学习模型Typ-CNNs,将日本气象厅发布的台风卫星云图作为自建样本数据集,采用几种不同的激活函数进行对比实验,结果显示使用T-ReLU函数得到的台风等级分类的测试精度比使用ReLU激活函数的测试精度高出1.124%,比使用Tanh函数的测试精度高出2.102%;为了进一步验证结果的可靠性,采用MNIST通用数据集进行激活函数的对比实验,最终使用T-ReLU函数得到99.855%的训练精度和98.620%的测试精度,其优于其他激活函数的效果。

新的组合激活函数BP网络模型研究

作者提出了一种新的 BP神经网络模型 ,其隐层激活函数采用中心参数可调的 Gaussian函数 ,输出层采用斜度可调的 Sigmoid函数 ,从而神经元具有了更强的信息存储、处理能力。由于采用组合函数 ,将 Gaussian函数良好的局部性和 Sigmoid函数良好的全局性相结合 ,提高了神经网络的收敛速度。几个典型实验的结果表明 ,与传统 BP网络模型相比 。